The Dark Arts of Skill Engineering - Paul Bakaus, Renaissance Geek (Impeccable)

关键观点

1. 01

   提示词只是起点，技能应被视为运行环境扩展

   作者最初依赖几十行自然语言规则，希望模型自动避开常见 AI 设计风格，但结果并不稳定。模型的输出受到训练分布中高概率模式的强烈牵引，精心编写数百行提示也难以持续改变这种倾向。因此，技能设计需要从“打包一个提示”转向“扩展整个智能体运行环境”，使用脚本、工具、状态和控制流程共同约束行为。

   为什么重要: 这种重构把可靠性问题从文案技巧提升为系统工程问题，使技能更可控、可测试，也更容易跨任务复用。

   支撑证据

   prompting is sort of like the starter level, but harness engineering is where you should end up.

   作者最初依赖几十行自然语言规则，希望模型自动避开常见 AI 设计风格，但结果并不稳定。模型的输出受到训练分布中高概率模式的强烈牵引，精心编写数百行提示也难以持续改变这种倾向。因此，技能设计需要…展开观点

   作者最初依赖几十行自然语言规则，希望模型自动避开常见 AI 设计风格，但结果并不稳定。模型的输出受到训练分布中高概率模式的强烈牵引，精心编写数百行提示也难以持续改变这种倾向。因此，技能设计需要…展开观点收起观点

   作者最初依赖几十行自然语言规则，希望模型自动避开常见 AI 设计风格，但结果并不稳定。模型的输出受到训练分布中高概率模式的强烈牵引，精心编写数百行提示也难以持续改变这种倾向。因此，技能设计需要从“打包一个提示”转向“扩展整个智能体运行环境”，使用脚本、工具、状态和控制流程共同约束行为。

   为什么重要: 这种重构把可靠性问题从文案技巧提升为系统工程问题，使技能更可控、可测试，也更容易跨任务复用。

   支撑证据

   prompting is sort of like the starter level, but harness engineering is where you should end up.

2. 02

   用盲评子智能体削弱自我评审偏差

   让同一个模型评价自己刚刚完成的工作，类似于自己批改作业，它会锚定既有方案并倾向于给出较高评价。Impeccable 的 critique 功能让两个彼此不可见的子智能体分别工作：一个模拟设计总监，判断层级、审美套路和启发式问题；另一个运行确定性检测器并收集浏览器证据。主线程最后综合两份独立结果，避免将大量细小 lint 问题误判为整体设计失败，也避免把“未检测到规则错误”等同于优秀设计。

   为什么重要: 该模式适用于设计评审、代码审查、安全审计、RFC 评议和候选结果排序，能减少单一判断路径的过度自信。

   支撑证据

   So the first sub agent does act like a design director... The second sub agent runs deterministic detector and also collects browser evidence. And then once both of those results come in, the main thread synthesizes both into one critique.

   让同一个模型评价自己刚刚完成的工作，类似于自己批改作业，它会锚定既有方案并倾向于给出较高评价。Impeccable 的 critique 功能让两个彼此不可见的子智能体分别工作：一个模拟设计总…展开观点

   让同一个模型评价自己刚刚完成的工作，类似于自己批改作业，它会锚定既有方案并倾向于给出较高评价。Impeccable 的 critique 功能让两个彼此不可见的子智能体分别工作：一个模拟设计总…展开观点收起观点

   让同一个模型评价自己刚刚完成的工作，类似于自己批改作业，它会锚定既有方案并倾向于给出较高评价。Impeccable 的 critique 功能让两个彼此不可见的子智能体分别工作：一个模拟设计总监，判断层级、审美套路和启发式问题；另一个运行确定性检测器并收集浏览器证据。主线程最后综合两份独立结果，避免将大量细小 lint 问题误判为整体设计失败，也避免把“未检测到规则错误”等同于优秀设计。

   为什么重要: 该模式适用于设计评审、代码审查、安全审计、RFC 评议和候选结果排序，能减少单一判断路径的过度自信。

   支撑证据

   So the first sub agent does act like a design director... The second sub agent runs deterministic detector and also collects browser evidence. And then once both of those results come in, the main thread synthesizes both into one critique.