Study Command Center · 2026-07-12
DeepSeek Harness PM
JD 逐条拆解 × 14 天学习计划
在 07-08 作战包（情报+13 问）和 07-11 学习地图（五路调研）基础上升级：每条 JD 都拆到"在考什么 → 我有什么 → 缺什么 → 学什么 → 产出什么"，所有任务可打卡，进度存在本地。
学习优先级（必考概率 × 弹药缺口）
Part 1 · JD Line-by-Line
JD 逐条拆解：14 条，每条都是一道考题
▸ 展开每条看拆解；条目下的任务打完卡，标题会出现 ✓
主要职责（5 条）
职责 1规划 Harness 产品路线图，连接研究员、工程师、开源社区和广大用户✓ 已完成
不是"会画 roadmap"，是四方翻译能力：研究员要模型能力展示面、工程师要可维护性、社区要透明参与、用户要把活干完——路线图本质是给四股力设计优先级仲裁机制。
Not "can you draw a roadmap" — it's a four-way arbitration mechanism among researchers, engineers, community, and users.
深层含义研究员至上文化里，「连接」= 你拿着用户证据去找研究员，不是等他们来找你。路线图话语权靠证据密度，不靠职位。
弹药 / 缺口✓ 美团全链路 roadmap 实践✓ OpenClaw PR 一手体感△ 开源社区→roadmap 输入机制（issue 分诊/RFC/公开 roadmap）
历史事迹 · 证据链职责 2 ⭐定义与衡量「Agent 是否真的在更多场景下更深入帮助到更多人」的指标✓ 已完成
全 JD 密度最高的一句，自带三维框架：更多场景（breadth）× 更深入（depth）× 更多人（reach）。"你怎么定义 Agent 产品做得好"几乎必考。
This single line encodes a three-axis framework: breadth × depth × reach. The metrics question is near-certain.
陷阱题评测分数 ≠ 用户价值。好答案骨架：结果指标挂真实业务结果 + 过程指标暴露静默失败 + 反指标防 Goodhart（只优化完成率会催生"表面完成"）。
弹药 / 缺口✓ 美团三级认知跃迁（benchmark→后验打分→rank）✓ "静默失败最贵"判断△ 业界指标一手证据（METR 曲线/pass^k/churn 率）
历史事迹 · 证据链职责 3 ⭐与模型训练团队研究员深度沟通合作，实现模型与 Harness 的共同进化✓ 已完成
本岗位最稀缺的界面，与普通 AI 应用 PM 的分水岭。硬考点是共进化的具体机制：Harness→模型（失败 case→eval 集、RLVR、轨迹进后训练）；模型→Harness（新能力解锁新形态）；共同设计（工具 schema 与训练分布对齐）。
The rarest interface in the job. The concrete mechanisms — in both directions — are the hard test.
PM 的位置决定把哪些产品信号喂给训练（不是所有反馈都配进 RL environment）+ 把模型 roadmap 翻译成产品 roadmap 的时序（哪些功能等下代模型、哪些用工程 hack 先顶上）。
弹药 / 缺口✓ 美团"业务结果作 RL 奖励"一手经验△ Anthropic/Cursor/OpenAI 公开共进化机制细节
历史事迹 · 证据链职责 4帮助 Harness 产品内部落地，以内部真实任务作为产品和模型训练的重要反馈源✓ 已完成
dogfooding 的操作化：怎么让不情愿的内部团队用起来（找 killer 场景而非行政命令）、内部任务→benchmark 的转化流程、以及清醒认知——工程师重度用户 ≠ 广大用户（职责 2 的"更多人"会拉扯职责 4 的样本偏差）。
Dogfooding operationalization — and the sober awareness that internal engineers are a biased sample.
弹药 / 缺口✓ 她本人 = harness dogfooding 的极端样本（失败账本/夜间巡检）△ Anthropic 内部数据 / dogfooding 失灵案例
历史事迹 · 证据链职责 5协助项目管理✓ 已完成
最短但有毒——这是岗位的下坠通道：研究员文化里 PM 最容易滑成"排会议的"。面试不太考，但要有一句准备好的立场。
对策（本身就是 Harness 思维的自我示范）把项目管理做成自动化系统：agent 做进度看板/自动 standup，人保留判断、流程交给 agent——她已有一手实践。
历史事迹 · 证据链任职要求（6 条）
要求 1-22 年以上 PM 经验、产品逻辑清晰；本科及以上✓ 已完成
门槛条款。唯一注意点：6 年经验反而要防"过于资深/管理型"印象——全程保持 hands-on builder 人设。
要求 3 ⭐能设计系统性收集数据的方法（问卷、访谈、A/B、灰度），用统计学工具严谨科学分析数据✓ 已完成
终面官是量化出身，这条会被用量化标准审。Agent 统计的特殊难点是考点：非确定性输出→报数带 error bar；高方差→paired differences 省样本；随机化单元选错→结论作废；pass@k（能力）vs pass^k（可靠性）；LLM-as-judge 的 self-preference bias。
The interviewer is a quant. Agent-scenario statistics — error bars, pairing, randomization units, pass@k vs pass^k, judge bias — are exactly what he'll probe.
弹药 / 缺口✓ 美团 A/B 带 p 值（量化面试官眼里的好信号）✓ SQL 底子△ eval 统计学（Error Bars 论文）△ agent A/B 特殊性
历史事迹 · 证据链要求 4 ⭐Agent 产品高强度用户，对模型行为有品味有判断力（点名 CC / Cowork / Codex / Cursor / OpenCode / Copilot / Manus / OpenClaw / MCP / Memory / Subagent / Multi-Agent + PE / CE / Harness Engineering）✓ 已完成
JD 灵魂条款，筛「品味」：能对同一问题在不同 harness 里的不同解法做比较判断，不是用过多少工具。预期追问："X 和 Y 在 Z 机制上的取舍，你怎么看？"
品味题答题模版机制描述 → 设计动机 → 我的判断（什么条件下成立）→ 一手证据（自己撞过的 case）
弹药 / 缺口✓ interrupt/steering、memory 四层、multi-agent 对立验证、五种 surface△ Cowork 深度不足△ Codex 深度不足△ Manus 深度不足
历史事迹 · 证据链要求 5具备 UI/UX 设计素养，能在 AI 辅助下完成产品原型图、UI 设计✓ 已完成
全栈 builder 验证，不需要额外学习——已有证据如下。需要的是把作品整理成 30 秒能展示的形态。
历史事迹 · 证据链要求 6优秀中文沟通能力，能用英文与开源社区、用户社群书面沟通✓ 已完成
英文书面 = GitHub issue/PR/discussion 写作。
历史事迹 · 证据链加分项（3 条）
加分项AI 从业经验 · 小团队主导产品路线 · 深度参与开源社区✓ 已完成
✓ AI 从业：美团 AI 招聘✓ 主导路线：无 PRD 端到端（讲法要点是"主导"而非"参与"）△ 开源：把"参与过"变成"持续参与中"
历史事迹 · 证据链Part 2 · 14-Day Sprint
14 天学习计划
节奏设计：先啃三大必考（指标/共进化/统计）→ 工具实操补缺 → 产出物打包 → 演练冲刺。每天都有一个具体产出物——行动 > 顿悟。日期可整体平移，顺序别乱（前 4 天是后面所有演练的地基）。
必考题的知识地基。目标不是记数字，是能复述每个证据"证明了什么"。
把他们的框架装进你的案例——这是别的候选人做不到的一步。
岗位灵魂。四个一手案例 + 一张自己的闭环图 = 这题的全部。
量化面试官的主场，最容易被问穿也最容易加分的一块。
JD 点名工具里的第一缺口。用真实任务（别用玩具任务——拿你正在做的事喂它）。
他们做"桌面端 Agent"，Cowork 是最接近的对标物——这个缺口面试权重高。
Part 3 · Knowledge Base
五路调研知识库（精读材料）
07-11 五路深度调研的浓缩版。完整原文在飞书素材库《JD 逐条拆解与学习地图》。
TRACK AAgent 产品指标体系
- 三代指标演进：suggestion acceptance（2022）→ task/PR merge rate（2024-25）→ 自主时长 × 可靠性（2025-26）
- Copilot 官方研究：acceptance rate 与自评生产力也只有 ρ=0.24 弱相关——官方最强信号也只是弱信号
- Anthropic 内部口径：% of work covered（59%）× productivity uplift（+50%）二维矩阵——几乎就是 JD"更多场景×更深入"的原型
- METR RCT（必背）：资深开发者用 AI 实际慢 19%、自我感觉快 20%——39pp 感知偏差，主观满意度可与真实价值反向
- GitClear：2.11 亿行分析，churn 3.3%→7.1%、copy-paste 8%→18%——"写得更多"伴随"返工翻倍"；DORA 2025 新增 Rework Rate
- pass@k vs pass^k（τ-bench）：90% 单次成功 → k=8 全对只剩 57%；面向真实用户，可靠性 > 能力
- SWE-bench Verified 已被 OpenAI 弃用（污染：模型能复现 gold patch；有 agent 学会翻 .git 抄答案——Goodhart 活标本）
- 北极星候选：METR「50%-time horizon」（可托付任务时长，每 ~4-7 月翻倍）；终极候选：托付边界的扩张速度（按任务时长分桶的 completion/takeover rate）
- 五判断：站第三代 / 主观不当北极星 / 指标必须成对防 Goodhart / 看 P10 分位不看均值 / 托付边界天然抗刷
TRACK B模型 × Harness 共进化
- Boris Cherny 原话："昨天刚从 system prompt 删了 2000 token——Sonnet 4.5 不需要了。scaffolding 会被推进模型本体。"
- Cat Wu 机制：每次新模型发布触发完整 system prompt audit（删上代补偿）；"build features that don't fully work yet"——等下代模型关上能力差距
- Evals 是两个团队的沟通语言（Boris）；harness 的职责之一是给模型出足够难的题
- Cursor Composer（最完整公开案例）：训练环境=生产 harness（消除 train-test mismatch）；产品体验指标进 reward（"不说没证据的话"）；Composer 2 生产流量近实时回流、5 小时部署周期
- GPT-5.1-Codex-Max：compaction 从 harness trick 被训练进模型——机制被模型吸收的教科书
- 模型为 harness 训练的特性：interleaved thinking、context awareness（模型训练时就假设 harness 会注入容量警告）
- DeepSeek 自己的信号：V3.2 用 1800+ 环境、85000+ 指令做 agentic RL——缺的正是自有 harness 的真实失败分布
- ⚠️ 诚实红线：「编译错误回流训练」是媒体推演非陈德里原话
- 四判断：harness = 第一采集器 + 第一折旧品 / eval 是界面合同 / DeepSeek 机会 = 把合成环境升级成"生产即训练场" / 今天的 hack 是明天的训练 spec
TRACK C开源社区作为产品面
- 三种姿态：Anthropic 闭内核+开协议开生态 / OpenAI 客户端全开源（67K stars + $1M 基金）/ 无模型厂必须全开源换信任（OpenClaw 378K stars）
- Claude Code AI 分诊翻过车：bot 误判重复形成"自增强假重复链"——PM 的活是 AI 吞吐 + 人类申诉通道 + 误关率审计
- Cline：Plan/Act 双模式明确来自 Discord 用户访谈——社区→功能的直接因果样本
- MCP 标准化模板：私有协议→竞对采用→捐给基金会。「标准要赢就得舍得捐」
- DeepSeek 姿态：同时兼容两套 API 格式的"寄生生态"防守 + awesome 仓库里已有自研 Rust 终端 agent（进攻信号）
- 可主动抛的战略问题：自有 harness 与被集成的第三方 harness（尤其 OpenClaw 这类盟友）的竞合怎么处理？
- 判断：开源的不是代码是可验证的承诺——对有 shell 权限的 agent，开源≈安全审计权≈企业信任门票
TRACK DDogfooding 内部落地
- Anthropic 渗透率曲线：内部版 day 1 20% → day 5 50%，据此判断外部会火——渗透率增长曲线是质量的先行指标
- 会拆口径的 PM 才可信："Claude 写了 X% 代码"：官方 >80%（生产）；拆开看已合并约 50%、含脚本 90%、最重要工作在剩余 10%
- 40 万会话研究：用户做 70% 规划、Claude 做 80% 执行；专家成功率 28-33% vs 新手 15%——领域知识 > 编程能力
- ⚠️ dogfooding 失灵一手案例（引用它比成功案例更显深度）：三个 bug 穿透 code review + eval + dogfooding 存活数周，靠外部 Twitter 信号才定位——官方亲口承认内部信号不够
- OpenAI《Harness Engineering》：Codex 团队 100 万行、5 个月、零手写——面试直接对标这篇
- 方法论：dogfood for quality, interview real users for desirability；内部落地杠杆点是非工程团队（法务/财务才检验泛化）
- 判断：完整的"内部任务→训练反馈"闭环没有任何公司公开细节——这岗位做的就是 secret sauce，可以说破
TRACK E统计严谨性与实验方法
- Error Bars 五主张（Evan Miller @ Anthropic）：报 SEM / clustered SE（聚类后标准误可大 3 倍）/ 问题内重采样 / paired differences（免费消掉题目难度方差）/ power analysis 先行
- 现场心算（必练）：n=500、p=0.7 → SEM≈2%、95%CI ±4% → 单模型 2% 分差通常不显著。满分结构：先问 n → paired 压 MDE → resample → power analysis
- pass^k 统计结构：GPT-4o retail 域 pass^1 ~61% → pass^8 ~25%。能力归模型，一致性归 harness——harness 是可靠性杠杆
- A/B 特殊性：用户级随机化 + 确定性 hash；任务级指标聚合到用户级再推断；CUPED 可检出小 30-50% 的效应；OpenAI 直接买下 Statsig
- Copilot 三层灰度漏斗（最完整公开）：offline evals（4000+ 测试进 CI）→ 内部 canary → 生产灰度；Cursor 未公开（说破这点显功课）
- LLM-as-judge 陷阱：self-preference 10-25% / position bias 60-75%（position-swap 解）/ 单次判定 flip rate ~13.6%；永远不用同族模型当自己的 judge
- 信号梯队：即时信号做灰度门禁、滞后信号做季度校准、定期回归验证代理指标预测力
Part 4 · One-liners
12 条金句速记
每条背后是一整段论证（在知识库里）——背论证，不是背句子。