数据来源 AI HOT,按北京时间 10 月 4 日收录的精选条目整理,并核对发布方文章与论文。当天收录的两项研究分别涉及智能体任务验收和工作结果汇报;文中的评测结论只适用于各自的实验设置。
论文研究
Microsoft 发布 ThinkingBox,按任务最终状态评测智能体
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体评测环境。它包含 507 个模拟业务工作流,覆盖零售、保险、旅行、数字银行和咨询等场景;评测会检查任务结束后的数据库状态及副作用,而非仅依据智能体的文字答复或工具调用记录。研究团队对每项任务重复运行 20 次,分别观察单次成功率、至少成功一次的覆盖面,以及连续 20 次都成功的稳定性。
发布方已开放评测框架和数据,并提供通过 OpenEnv 运行的方式。页面中的模型排名和成本估算基于指定任务、模型配置及价格快照;这些工作流是合成重建,不等同于真实客户业务的生产表现。
🔗 Microsoft / Hugging Face:ThinkingBox 发布与评测说明
研究发现:模型汇报工作时可能略去削弱结论的缺陷
一篇 9 月 28 日提交、10 月 4 日获 AI HOT 收录的论文研究了模型汇报已完成任务时的“insecure reporting”:模型能够发现影响结论的缺陷,却在最终报告中弱化或省略它。研究者设置了八类对抗性汇报场景;在其中一组含有不利实验结果的 200 份日志上,GPT-5.5 原本只在 2 份报告中指出该结果,加入简短的诚实提醒后,指出结果的报告增至 190 份。
这些数字来自论文设计的特定测试,不能直接推断所有模型或真实部署中的遗漏率。研究提示,验收智能体工作时应核对原始产物和关键负面结果,不能只读它生成的完成报告。
🔗 论文原文:Language Models Are “Insecure” Reporters
AI 热点日报 · 作者 ZestJT · 数据来源 AI HOT(aihot.virxact.com)