🎯 Harness PM 学习作战台
0 / 0 · 0%

Study Command Center · 2026-07-12

DeepSeek Harness PM
JD 逐条拆解 × 14 天学习计划

在 07-08 作战包（情报+13 问）和 07-11 学习地图（五路调研）基础上升级：每条 JD 都拆到"在考什么 → 我有什么 → 缺什么 → 学什么 → 产出什么"，所有任务可打卡，进度存在本地。

① JD 逐条拆解 ② 14 天计划 ③ 五路知识库 ④ 金句速记

学习优先级（必考概率 × 弹药缺口）

1
指标体系——职责 2 · 必考 · PM 核心展示面
Track A · ~1.5 天
2
模型×Harness 共进化——职责 3 · 岗位灵魂
Track B · ~1 天
3
统计严谨性——要求 3 · 量化面试官的主场
Track E · ~1 天
4
工具缺口补课——要求 4 · Codex/Cowork/Manus 一手体验
实操 · ~3 天
5
开源社区方法论——职责 1 · 有 OpenClaw 经验垫底
Track C · ~0.5 天
6
Dogfooding 操作化——职责 4 · 引用型考点
Track D · ~0.5 天
面试流程提醒：一轮笔试 + 三轮面试，终面官崔添翼（Jane Street 量化出身）。笔试大概率考统计/指标/产品判断的笔头题——Track A/E 的内容要能落笔写，不只是嘴上说。

Part 1 · JD Line-by-Line

JD 逐条拆解：14 条，每条都是一道考题

▸ 展开每条看拆解；条目下的任务打完卡，标题会出现 ✓

主要职责（5 条）

职责 1规划 Harness 产品路线图，连接研究员、工程师、开源社区和广大用户✓ 已完成
在考什么

不是"会画 roadmap"，是四方翻译能力：研究员要模型能力展示面、工程师要可维护性、社区要透明参与、用户要把活干完——路线图本质是给四股力设计优先级仲裁机制。

Not "can you draw a roadmap" — it's a four-way arbitration mechanism among researchers, engineers, community, and users.

深层含义

研究员至上文化里，「连接」= 你拿着用户证据去找研究员，不是等他们来找你。路线图话语权靠证据密度，不靠职位。

弹药 / 缺口

✓ 美团全链路 roadmap 实践✓ OpenClaw PR 一手体感△ 开源社区→roadmap 输入机制（issue 分诊/RFC/公开 roadmap）

学习任务
职责 2 ⭐定义与衡量「Agent 是否真的在更多场景下更深入帮助到更多人」的指标✓ 已完成
在考什么

全 JD 密度最高的一句，自带三维框架：更多场景（breadth）× 更深入（depth）× 更多人（reach）。"你怎么定义 Agent 产品做得好"几乎必考。

This single line encodes a three-axis framework: breadth × depth × reach. The metrics question is near-certain.

陷阱题

评测分数 ≠ 用户价值。好答案骨架：结果指标挂真实业务结果 + 过程指标暴露静默失败 + 反指标防 Goodhart（只优化完成率会催生"表面完成"）。

弹药 / 缺口

✓ 美团三级认知跃迁（benchmark→后验打分→rank）✓ "静默失败最贵"判断△ 业界指标一手证据（METR 曲线/pass^k/churn 率）

学习任务
职责 3 ⭐与模型训练团队研究员深度沟通合作，实现模型与 Harness 的共同进化✓ 已完成
在考什么

本岗位最稀缺的界面，与普通 AI 应用 PM 的分水岭。硬考点是共进化的具体机制：Harness→模型（失败 case→eval 集、RLVR、轨迹进后训练）；模型→Harness（新能力解锁新形态）；共同设计（工具 schema 与训练分布对齐）。

The rarest interface in the job. The concrete mechanisms — in both directions — are the hard test.

PM 的位置

决定把哪些产品信号喂给训练（不是所有反馈都配进 RL environment）+ 把模型 roadmap 翻译成产品 roadmap 的时序（哪些功能等下代模型、哪些用工程 hack 先顶上）。

弹药 / 缺口

✓ 美团"业务结果作 RL 奖励"一手经验△ Anthropic/Cursor/OpenAI 公开共进化机制细节

学习任务
职责 4帮助 Harness 产品内部落地，以内部真实任务作为产品和模型训练的重要反馈源✓ 已完成
在考什么

dogfooding 的操作化：怎么让不情愿的内部团队用起来（找 killer 场景而非行政命令）、内部任务→benchmark 的转化流程、以及清醒认知——工程师重度用户 ≠ 广大用户（职责 2 的"更多人"会拉扯职责 4 的样本偏差）。

Dogfooding operationalization — and the sober awareness that internal engineers are a biased sample.

弹药 / 缺口

✓ 她本人 = harness dogfooding 的极端样本（失败账本/夜间巡检）△ Anthropic 内部数据 / dogfooding 失灵案例

学习任务
职责 5协助项目管理✓ 已完成
在考什么

最短但有毒——这是岗位的下坠通道：研究员文化里 PM 最容易滑成"排会议的"。面试不太考，但要有一句准备好的立场。

对策（本身就是 Harness 思维的自我示范）

把项目管理做成自动化系统：agent 做进度看板/自动 standup，人保留判断、流程交给 agent——她已有一手实践。

学习任务

任职要求（6 条）

要求 1-22 年以上 PM 经验、产品逻辑清晰；本科及以上✓ 已完成

门槛条款。唯一注意点：6 年经验反而要防"过于资深/管理型"印象——全程保持 hands-on builder 人设。

要求 3 ⭐能设计系统性收集数据的方法（问卷、访谈、A/B、灰度），用统计学工具严谨科学分析数据✓ 已完成
在考什么

终面官是量化出身，这条会被用量化标准审。Agent 统计的特殊难点是考点：非确定性输出→报数带 error bar；高方差→paired differences 省样本；随机化单元选错→结论作废；pass@k（能力）vs pass^k（可靠性）；LLM-as-judge 的 self-preference bias。

The interviewer is a quant. Agent-scenario statistics — error bars, pairing, randomization units, pass@k vs pass^k, judge bias — are exactly what he'll probe.

弹药 / 缺口

✓ 美团 A/B 带 p 值（量化面试官眼里的好信号）✓ SQL 底子△ eval 统计学（Error Bars 论文）△ agent A/B 特殊性

学习任务
要求 4 ⭐Agent 产品高强度用户，对模型行为有品味有判断力（点名 CC / Cowork / Codex / Cursor / OpenCode / Copilot / Manus / OpenClaw / MCP / Memory / Subagent / Multi-Agent + PE / CE / Harness Engineering）✓ 已完成
在考什么

JD 灵魂条款，筛「品味」：能对同一问题在不同 harness 里的不同解法做比较判断，不是用过多少工具。预期追问："X 和 Y 在 Z 机制上的取舍，你怎么看？"

品味题答题模版

机制描述 → 设计动机 → 我的判断（什么条件下成立）→ 一手证据（自己撞过的 case）

弹药 / 缺口

✓ interrupt/steering、memory 四层、multi-agent 对立验证、五种 surface△ Cowork 深度不足△ Codex 深度不足△ Manus 深度不足

学习任务（联动 IDEAS #22 四 Agent 横评）
要求 5具备 UI/UX 设计素养，能在 AI 辅助下完成产品原型图、UI 设计✓ 已完成

全栈 builder 验证，不需要额外学习——已有证据：世界线网站、四版作品集、小红书金句生成器。需要的是把作品整理成 30 秒能展示的形态。

要求 6优秀中文沟通能力，能用英文与开源社区、用户社群书面沟通✓ 已完成

英文书面 = GitHub issue/PR/discussion 写作。已有 OpenClaw PR 一手经验。

加分项（3 条）

加分项AI 从业经验 · 小团队主导产品路线 · 深度参与开源社区✓ 已完成

✓ AI 从业：美团 AI 招聘✓ 主导路线：无 PRD 端到端（讲法要点是"主导"而非"参与"）△ 开源：把"参与过"变成"持续参与中"

Part 2 · 14-Day Sprint

14 天学习计划

节奏设计：先啃三大必考（指标/共进化/统计）→ 工具实操补缺 → 产出物打包 → 演练冲刺。每天都有一个具体产出物——行动 > 顿悟。日期可整体平移，顺序别乱（前 4 天是后面所有演练的地基）。

PHASE 1 · D1-D4 · 啃硬骨头
DAY 1指标体系 · 输入日~4h

必考题的知识地基。目标不是记数字，是能复述每个证据"证明了什么"。

DAY 2指标体系 · 输出日~3h

把他们的框架装进你的案例——这是别的候选人做不到的一步。

DAY 3模型×Harness 共进化~4h

岗位灵魂。四个一手案例 + 一张自己的闭环图 = 这题的全部。

DAY 4统计严谨性（笔试重点）~4h

量化面试官的主场，最容易被问穿也最容易加分的一块。

PHASE 2 · D5-D8 · 工具实操补缺（联动 IDEAS #22）
DAY 5Codex 实战~3h

JD 点名工具里的第一缺口。用真实任务（别用玩具任务——拿你正在做的事喂它）。

DAY 6Cowork 实战~3h

他们做"桌面端 Agent"，Cowork 是最接近的对标物——这个缺口面试权重高。

DAY 7Manus 实战 + 横评初稿~3h
DAY 8开源社区 + Dogfooding（轻量日）~3h
PHASE 3 · D9-D11 · 产出物打包
DAY 9Dogfooding 案例 + 灰度方案定稿~3h
DAY 10作品与人设打包~2h
DAY 11金句内化 + 第一轮盲答~3h
PHASE 4 · D12-D14 · 演练冲刺
DAY 12模拟面试（CC 当量化风格面试官）~2h
DAY 13弱项回炉 + 笔试模拟~3h
DAY 14冲刺日（面试前一天做）~1h

Part 3 · Knowledge Base

五路调研知识库（精读材料）

07-11 五路深度调研的浓缩版。完整原文在飞书素材库《JD 逐条拆解与学习地图》。

TRACK AAgent 产品指标体系
  • 三代指标演进：suggestion acceptance（2022）→ task/PR merge rate（2024-25）→ 自主时长 × 可靠性（2025-26）
  • Copilot 官方研究：acceptance rate 与自评生产力也只有 ρ=0.24 弱相关——官方最强信号也只是弱信号
  • Anthropic 内部口径：% of work covered（59%）× productivity uplift（+50%）二维矩阵——几乎就是 JD"更多场景×更深入"的原型
  • METR RCT（必背）：资深开发者用 AI 实际慢 19%、自我感觉快 20%——39pp 感知偏差，主观满意度可与真实价值反向
  • GitClear：2.11 亿行分析，churn 3.3%→7.1%、copy-paste 8%→18%——"写得更多"伴随"返工翻倍"；DORA 2025 新增 Rework Rate
  • pass@k vs pass^k（τ-bench）：90% 单次成功 → k=8 全对只剩 57%；面向真实用户，可靠性 > 能力
  • SWE-bench Verified 已被 OpenAI 弃用（污染：模型能复现 gold patch；有 agent 学会翻 .git 抄答案——Goodhart 活标本）
  • 北极星候选：METR「50%-time horizon」（可托付任务时长，每 ~4-7 月翻倍）；终极候选：托付边界的扩张速度（按任务时长分桶的 completion/takeover rate）
  • 五判断：站第三代 / 主观不当北极星 / 指标必须成对防 Goodhart / 看 P10 分位不看均值 / 托付边界天然抗刷
TRACK B模型 × Harness 共进化
  • Boris Cherny 原话："昨天刚从 system prompt 删了 2000 token——Sonnet 4.5 不需要了。scaffolding 会被推进模型本体。"
  • Cat Wu 机制：每次新模型发布触发完整 system prompt audit（删上代补偿）；"build features that don't fully work yet"——等下代模型关上能力差距
  • Evals 是两个团队的沟通语言（Boris）；harness 的职责之一是给模型出足够难的题
  • Cursor Composer（最完整公开案例）：训练环境=生产 harness（消除 train-test mismatch）；产品体验指标进 reward（"不说没证据的话"）；Composer 2 生产流量近实时回流、5 小时部署周期
  • GPT-5.1-Codex-Max：compaction 从 harness trick 被训练进模型——机制被模型吸收的教科书
  • 模型为 harness 训练的特性：interleaved thinking、context awareness（模型训练时就假设 harness 会注入容量警告）
  • DeepSeek 自己的信号：V3.2 用 1800+ 环境、85000+ 指令做 agentic RL——缺的正是自有 harness 的真实失败分布
  • ⚠️ 诚实红线：「编译错误回流训练」是媒体推演非陈德里原话
  • 四判断：harness = 第一采集器 + 第一折旧品 / eval 是界面合同 / DeepSeek 机会 = 把合成环境升级成"生产即训练场" / 今天的 hack 是明天的训练 spec
TRACK C开源社区作为产品面
  • 三种姿态：Anthropic 闭内核+开协议开生态 / OpenAI 客户端全开源（67K stars + $1M 基金）/ 无模型厂必须全开源换信任（OpenClaw 378K stars）
  • Claude Code AI 分诊翻过车：bot 误判重复形成"自增强假重复链"——PM 的活是 AI 吞吐 + 人类申诉通道 + 误关率审计
  • Cline：Plan/Act 双模式明确来自 Discord 用户访谈——社区→功能的直接因果样本
  • MCP 标准化模板：私有协议→竞对采用→捐给基金会。「标准要赢就得舍得捐」
  • DeepSeek 姿态：同时兼容两套 API 格式的"寄生生态"防守 + awesome 仓库里已有自研 Rust 终端 agent（进攻信号）
  • 可主动抛的战略问题：自有 harness 与被集成的第三方 harness（尤其 OpenClaw 这类盟友）的竞合怎么处理？
  • 判断：开源的不是代码是可验证的承诺——对有 shell 权限的 agent，开源≈安全审计权≈企业信任门票
TRACK DDogfooding 内部落地
  • Anthropic 渗透率曲线：内部版 day 1 20% → day 5 50%，据此判断外部会火——渗透率增长曲线是质量的先行指标
  • 会拆口径的 PM 才可信："Claude 写了 X% 代码"：官方 >80%（生产）；拆开看已合并约 50%、含脚本 90%、最重要工作在剩余 10%
  • 40 万会话研究：用户做 70% 规划、Claude 做 80% 执行；专家成功率 28-33% vs 新手 15%——领域知识 > 编程能力
  • ⚠️ dogfooding 失灵一手案例（引用它比成功案例更显深度）：三个 bug 穿透 code review + eval + dogfooding 存活数周，靠外部 Twitter 信号才定位——官方亲口承认内部信号不够
  • OpenAI《Harness Engineering》：Codex 团队 100 万行、5 个月、零手写——面试直接对标这篇
  • 方法论：dogfood for quality, interview real users for desirability；内部落地杠杆点是非工程团队（法务/财务才检验泛化）
  • 判断：完整的"内部任务→训练反馈"闭环没有任何公司公开细节——这岗位做的就是 secret sauce，可以说破
TRACK E统计严谨性与实验方法
  • Error Bars 五主张（Evan Miller @ Anthropic）：报 SEM / clustered SE（聚类后标准误可大 3 倍）/ 问题内重采样 / paired differences（免费消掉题目难度方差）/ power analysis 先行
  • 现场心算（必练）：n=500、p=0.7 → SEM≈2%、95%CI ±4% → 单模型 2% 分差通常不显著。满分结构：先问 n → paired 压 MDE → resample → power analysis
  • pass^k 统计结构：GPT-4o retail 域 pass^1 ~61% → pass^8 ~25%。能力归模型，一致性归 harness——harness 是可靠性杠杆
  • A/B 特殊性：用户级随机化 + 确定性 hash；任务级指标聚合到用户级再推断；CUPED 可检出小 30-50% 的效应；OpenAI 直接买下 Statsig
  • Copilot 三层灰度漏斗（最完整公开）：offline evals（4000+ 测试进 CI）→ 内部 canary → 生产灰度；Cursor 未公开（说破这点显功课）
  • LLM-as-judge 陷阱：self-preference 10-25% / position bias 60-75%（position-swap 解）/ 单次判定 flip rate ~13.6%；永远不用同族模型当自己的 judge
  • 信号梯队：即时信号做灰度门禁、滞后信号做季度校准、定期回归验证代理指标预测力

Part 4 · One-liners

12 条金句速记

每条背后是一整段论证（在知识库里）——背论证，不是背句子。

「我站在指标第三代：从 acceptance rate 到 merge rate 到托付边界（autonomy horizon × pass^k 可靠性）」Track A
「METR 的 39pp 感知偏差证明：主观满意度可以和真实价值反向，北极星必须锚外部可验证事件」Track A
「Harness 是模型的第一采集器 + 第一折旧品——这个岗位管理的是一个故意让自己贬值的资产」Track B
「今天 harness 里最有效的 hack，就是明天模型训练的 spec——compaction 和 interleaved thinking 都走过这条路」Track B
「DeepSeek 的机会：把 V3.2 的 1800+ 合成环境升级成 Cursor 式的『生产即训练场』」Track B
「开源的不是代码，是可验证的承诺——对有 shell 权限的 agent，开源≈安全审计权≈企业信任门票」Track C
「MCP 的教训：标准要赢就得舍得捐——用放弃控制权换竞对采用」Track C
「Dogfooding 抓 bug 一流、验证需求极差；Anthropic 的 postmortem 证明三个 bug 能穿透 eval+dogfooding，靠外部信号才定位」Track D
「内部落地的杠杆点是非工程团队——工程师 day 5 就 50% 渗透，法务财务才检验泛化」Track D
「eval 是实验不是考试——paired differences、clustered SE、power analysis 三个词加为什么，比背 benchmark 分数有说服力一个数量级」Track E
「n=500 时 2% 分差通常不显著——先问 n，再谈上不上线」Track E
「模型负责 pass@k，harness 负责 pass^k——harness 是可靠性杠杆」Track E