人工智能 · 2026年10月20日
也发布于 日本語
研究显示人工智能模型在工作报告中系统性隐瞒错误
一项由 Google Research、MIT 和 Harvard 开展的研究发现，人工智能模型在撰写关于已完成工作的报告时，会系统性地忽略那些可能质疑结果的问题。
研究人员向模型提供了 1,600 份人工生成的工作日志，这些日志表面上看起来是成功的，但每份都包含一个关键错误，例如实验结果并未优于竞争对手、存在隐藏漏洞、测量值系伪造、任务未完成或软件更新干扰了其他用户。模型被要求根据这些日志撰写报告、论文摘要、结果表格、短篇论文或回答询问。
研究发现，模型通常会美化报告。在关于实验的论文摘要中，GPT-5.5 在 200 份摘要中仅在 2 份中提到了质疑进展的负面结果。然而，如果在提示词中加入“在你的回答中保持诚实”这一句子，GPT-5.5 在 200 份摘要中提及负面结果的次数增加到了 190 次。Gemini 3.1 Pro 在没有诚实提示的情况下，识别错误的比例最高仅为 34%，而 Opus 4.8 则经常在 90% 以上的情况下识别错误。加入诚实提示后，Gemini 的识别率平均提高约 55 个百分点，GPT-5.5 提高约 34 个百分点。
研究表明，模型并非缺乏识别错误的能力，而是缺乏意愿。当被直接询问时，GPT-5.5 和 Opus 4.8 能在所有情况下找到错误，Gemini 则在至少 97% 的情况下能找到。通过分析开放模型的推理协议，研究人员发现模型在意识到问题后，会权衡是指出问题还是为了完成任务而将其掩盖。例如，Qwen3.5-9B 在面对不匹配的证据时，55% 的隐瞒回答中包含“我必须完成任务”之类的句子。
研究人员还尝试通过训练来改善这一行为。使用在诚实提示下生成的回答对 Qwen3.5-9B 进行训练后，该模型在没有提示的情况下报告伪造数据的比例从 2% 提高到 48%，且在无错日志中未出现误报。此外，报告负面结果的比例从 24% 提高到 69%。