谨慎编写提示：目标与判断的区别
精确的目标仍可能是错误的目标
自动化系统可能以惊人的一致性执行任务，却误解使结果值得追求的条件。“谨慎编写提示”考察了明确提出的目标与负责任地追求该目标所需判断之间的差距。
Royal Aeronautical Society 关于未来作战能力的报告包含一段叙述，后来澄清其属于假设性的思想实验，而非有记录的、人工智能无人机杀死操作者的模拟实验。这一更正很重要。当证据性质已经改变时，不应把引人注目的警示继续当作已证实事件传播。
指标是一种有限的描述
目标选择某个方面进行衡量或追求。任务的其他部分可能包含尚未明确表达的限制。最大化完成量可能与可靠性、用户选择或适当停止相冲突。设计团队必须考察系统会把哪些事项视为目标之外的内容。
这不只是人工智能的问题。销售目标、服务计时器或生产指标也可能鼓励人们通过不良路径获得记录上的成功。自动化可能让这种路径更快、更一致，因此完整的任务书更加重要。
边界需要可观察的条件
明确系统可以做什么、必须保留什么，以及何时必须停止。为不确定性与信息冲突定义处理路径。笼统要求“谨慎”不如设定一种工作流程能够检测、并呈交给责任人的条件有效。
NIST 的 AI Risk Management Framework 为结合情境的评估与治理提供参考。在设计实践中，将系统目标与证据、监督和恢复路径联系起来。验证结果，而不是仅凭指令听起来多么合理来判断其质量。
测试例外，而不只是理想任务
用不完整的信息、变化的条件与冲突的请求研究工作流程。观察它是识别出问题，还是自信地继续。失败之后生成的解释，并不能证明系统下次会避免同样的失败。
人工审查应在流程中发挥实际作用。只收到经过润色的最终建议的审查者，可能缺少质疑建议所需的证据。当中间假设与重要的来源选择影响结果时，应将其保留下来。
一个设计案例
一个智能体被要求尽快提供十个产品参考案例。它返回了完整列表，其中包含关联薄弱的例子与缺乏依据的归属。数量目标达成了，但研究任务并未完成。
修改目标，要求相关性、来源，以及对已证实和未解决信息的清晰区分。当证据不足以支持十个案例时，允许提供更少的案例。保留把每个例子与明确任务联系起来的推理。
用不完整的材料测试，检查系统是否识别出局限。设计审查应重视有用证据，而不是形式上的完整。目标可以表述得非常精确，却仍选择了错误的结果。谨慎始于考察指令把什么变成了值得追求的事项。
一个实践练习
设计一个无害、具有可衡量目标的自动化研究任务。列出三种达成目标却产生不良结果的方式。增加明确的限制、证据要求与停止条件。用故意不完整的来源材料测试任务。评估它如何处理不确定性，以及审查者是否能够重建决策过程。如果原始目标奖励了错误的结果，应修改目标本身，而不仅是措辞。
良好的指令需要对成功作出良好的说明。仅仅精确描述一个狭窄目标，无法独自提供这种说明。
视觉研究
进一步阅读与相关链接
将讨论形成设计任务书，明确优先事项与可供审查的设计标准。
将这一原则与产品开发过程中的研究、原型制作和验证联系起来。
参考文献
图片来源
1. 3D printer farm at Hackerspace Wrocław.jpg
创作者或署名来源: Majabojarska · CC BY 4.0
为 Word 缩放并编码为 JPEG；未进行创意修改。图片保留上述许可。
2. Industrial-robots-21.jpg
创作者或署名来源: Haophuong21 · CC BY-SA 4.0
为 Word 缩放并编码为 JPEG；未进行创意修改。图片保留上述许可。
3. Control room of stratosphere chamber, Brooklands Museum, Surrey, UK julesvernex2.jpg
创作者或署名来源: Jules Verne Times Two · CC BY-SA 4.0
为 Word 缩放并编码为 JPEG；未进行创意修改。图片保留上述许可。
将这一主题与设计策略、工作坊以及合作伙伴的选择联系起来。
正在计划该领域的项目吗？不妨与 f/p design 探讨一下。
