微软:AI聊天机器人越聊越“笨”,复杂对话中不可靠性增长112%
创始人
2026-02-21 00:35:34
0

IT之家 2 月 20 日消息,当用户与 AI 聊天机器人进行长对话时,可能会感觉它们变得越来越“笨”,而这种感觉如今有了科学依据。

据 Windows Central 今日报道,微软研究院与赛富时(Salesforce)联合发表的一项研究证实,即使是目前最先进的大语言模型,在多轮对话中的可靠性也会急剧下降。

研究人员对包括 GPT-4.1、Gemini 2.5 Pro、Claude 3.7 Sonnet、o3、DeepSeek R1 和 Llama 4 在内的 15 款顶尖模型进行了超过 20 万次模拟对话分析,揭示出一个被称为“迷失会话”的系统性缺陷。

数据显示,这些模型在单次提示任务中的成功率可达 90%,但当同样的任务被拆解成多轮自然对话后,成功率骤降至约 65%。

研究指出,模型的“智力”本身并未显著下降 —— 其核心能力仅降低约 15%—— 但“不可靠性”却飙升 112%。也就是说,AI 大模型仍然具备解决问题的能力,但在多轮对话中变得高度不稳定,难以持续跟踪上下文。

报告指出,当前大多数模型主要在“单轮”基准测试下进行评估,即一次性接收全部指令的理想实验环境。但现实中的人类交流通常是渐进式的,信息在多轮互动中逐步补充。研究发现,一旦任务被“拆分”到多个回合中,即便是最先进的模型,也容易出现系统性失误。

研究人员进一步分析了造成性能下降的行为机制。

  • 首先是“过早生成”:模型往往在用户尚未完整说明需求前就尝试给出最终答案。一旦在早期回合中形成错误假设(IT之家注:可能是指第一印象),模型后续便会在该错误的基础上继续推理,而不是随着新信息的加入进行修正,从而导致错误逐步放大。
  • 其次是“答案膨胀”。在多轮对话中,模型的回复长度比单轮对话增加了 20% 至 300%。更长的回答往往包含更多假设与“幻觉”,这些内容随后被纳入对话的持续上下文,从而进一步影响后续推理的准确性。

令人意外的是,即使是配备了额外“思考词元”(thinking tokens)的新一代推理模型,如 OpenAI o3 和 DeepSeek R1,也未能显著改善在多轮对话中的表现。研究还发现,将模型温度参数设置为 0—— 这一常用于确保一致性的技巧 —— 对此类对话衰减几乎没有防护作用。

这一发现对当前 AI 行业的评估方式提出了质疑。研究人员指出,现有的基准测试主要基于理想的单轮场景,忽略了模型在真实世界中的行为。对于依赖 AI 构建复杂对话流程或智能体的开发者而言,这一结论意味着严峻挑战。

目前最有效的应对方式反而是减少多轮往返交流,将所有必要数据、约束条件和指令一次性在单个完整提示中提供,以提高输出一致性。

相关内容

热门资讯

贝莱德:非农大超预期后 下周的... 来源:环球市场播报 贝莱德的投资组合经理Jeff Rosenberg表示,美国8月就业增长大幅超出...
单位帮个人代扣代缴增值税规则明... 来源:第一财经 今年起增值税法正式实施,其中一大变化付钱的单位需要替个人代扣代缴增值税,此前都由个人...
今日新语 | 把文旅流量变为品... 当前,我国不少地方文旅市场依赖短期营销换来出圈爆火,热度散去后迅速回归沉寂;同质化IP打造陷入低价内...
什么是智慧医院配套核心物流传输... 智能物流传输体系的行业发展背景 随着国内公共服务领域智能化升级进程加快,机构运营效率、安全管控水平成...
原创 潲... 老铁们,今天咱们聊个颠覆认知的赛道:地沟油摇身一变,做成航空燃油飞上蓝天,背后不是噱头,是实打实的产...
长春选购鹿角帽怎么筛选正规经营... 随着大众对滋补类产品的需求逐步提升,鹿相关产品凭借独特的属性受到不少消费者的关注,尤其是55-65岁...
跨境电商是外贸吗?主要有哪些类... 跨境电商属于外贸的一种新形式、新业态,本质都是将国内商品卖到海外,实现国际商品流通与创汇。 传统外贸...
透过数据看8月大宗商品市场运行... 央视网消息:中国物流与采购联合会9月5日公布8月份中国大宗商品价格指数。随着国内外市场需求回暖,极端...
投融资两端同向发力 资本市场改... (来源:经济日报) 转自:经济日报 今年以来,新一轮科技革命和产业变革加速突破,宏观政策面、基本面、...
证监会发文规范证券基金机构与互... 9月4日,记者多方了解获悉,监管部门已就证券基金机构委托第三方互联网平台提供转接渠道的事前评估机制和...
挑战东道主选手!今日23点郑钦... 北京时间9月5日消息,2026年美网女单第三轮,中国金花郑钦文将对阵前澳网冠军、本土选手凯斯,冲击1...
原创 砸... 近年来,伴随着全球资源竞争的加剧,稀土资源的重要性愈发凸显。近年来,西方国家尤其是美国和欧盟在稀土供...
苇渡科技遇经营危机,纯电重卡新... 知行产研:矿山无人驾驶产业观察第一平台。关注无人矿卡/重卡产业创新,点击上图查看本专题更多优质内容。...
圣邦股份:关于部分股票期权注销... 来源:中访网 中访网数据 圣邦微电子(北京)股份有限公司(证券简称:圣邦股份)发布公告,宣布部分股票...
政策持续发力助中小企业科创债融... 本报记者 张芗逸 毛艺融 9月3日,工业和信息化部等十部门发布《促进中小企业发展“十五五”规划》(以...
原创 为... 现如今,国内大多数人都在使用微信、支付宝等移动支付工具进行结算支付。截至2025年6月,我国网络支付...
黄金大迁徙:搬离纽约的央行越来... (本文作者为 万联万象,钛媒体经授权发布) 文 | 万联万象 一场静悄悄的黄金大迁徙正在全球央...
苏州黄金饰品价格上演“过山车”... “8月25日足金首饰每克还要1410元,9月2日一下降到1302元,现在又回到1350元。”9月4日...
同亚科技 TOYA,香港上市备... 中国企业赴香港上市,需要取得中国证监会的备案通知书。根据港交所上市规则,中国企业需在上市聆讯审批日期...
原创 国... 一个国家借的钱,如果连利息都快还不动了,会发生什么?当美国的国债利息一年首次冲破一万亿美元,全世界最...