切换到宽版
  • 63阅读
  • 1回复

[数码讨论]苹果研究人员质疑 AI 的推理能力:简单数学问题稍作改动就会答错[1P] [复制链接]

上一主题 下一主题
在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
105878
金币
8007
道行
19523
原创
29307
奖券
17205
斑龄
189
道券
10123
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 19875(小时)
注册时间: 2007-11-29
最后登录: 2024-10-31

近年来,人工智能(AI)在各个领域取得了显著的进展,其中大型语言模型(LLM)能够生成人类水平的文本,甚至在某些任务上超越人类的表现。然而,研究人员对 LLM 的推理能力提出了质疑,他们发现这些模型在解决简单的数学问题时,只要稍加改动,就会犯错误,这表明它们可能并不具备真正的逻辑推理能力。



周四,苹果公司的一组研究人员发布了一篇名为《理解大型语言模型中数学推理的局限性》的论文,揭示 LLM 在解决数学问题时容易受到干扰。IT之家注意到,研究人员通过对数学问题的微小改动,例如添加无关的信息,来测试 LLM 的推理能力。结果发现,这些模型在面对这样的变化时,其表现急剧下降。
例如,当研究人员给出一个简单的数学问题:“奥利弗星期五摘了 44 个奇异果,星期六摘了 58 个奇异果。星期日,他摘的奇异果是星期五的两倍。奥利弗一共摘了多少个奇异果?”时,LLM 能够正确地计算出答案。然而,当研究人员添加一个无关的细节,“星期日,他摘的奇异果是星期五的两倍,其中 5 个比平均小。”时,LLM 的回答却出现了错误。例如,GPT-o1-mini 的回答是:“... 星期日,其中 5 个奇异果比平均小。我们需要从星期日的总数中减去它们:88(星期日的奇异果) - 5(较小的奇异果) = 83 个奇异果。”
上面只是一个简单的例子,研究人员修改了数百个问题,几乎所有问题都导致模型的回答成功率大幅下降。
研究人员认为,这种现象表明 LLM 并没有真正理解数学问题,而是仅仅根据训练数据中的模式进行预测。但一旦需要真正的“推理”,例如是否计算小的奇异果,它们就会产生奇怪的、不合常理的结果。
这一发现对 AI 的发展具有重要的启示。虽然 LLM 在许多领域表现出色,但其推理能力仍然存在局限性。未来,研究人员需要进一步探索如何提高 LLM 的推理能力,使其能够更好地理解和解决复杂的问题。
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
在线jjybzxw

UID: 551814


发帖
97498
金币
1042887
道行
1950
原创
2132
奖券
2040
斑龄
27
道券
533
获奖
0
座驾
设备
摄影级
在线时间: 23432(小时)
注册时间: 2008-10-01
最后登录: 2024-11-01
只看该作者 沙发  发表于: 10-12
  关于大型语言模型(LLM)在数学推理方面的局限性,苹果公司的研究人员在《理解大型语言模型中数学推理的局限性》这篇论文中进行了深入探讨。他们发现,尽管LLM在生成人类水平的文本方面表现出色,但在处理简单的数学问题时,一旦问题稍作改动,例如添加无关信息,模型的表现就会大幅下降。这表明LLM可能并没有真正理解数学问题,而是依赖于训练数据中的模式进行预测。当需要真正的逻辑推理时,模型往往无法产生合理的结果。

  研究人员通过对数学问题的微小改动来测试LLM的推理能力。例如,在一个关于摘奇异果的简单数学问题中,添加了一个无关的细节后,LLM的回答出现了错误。研究人员修改了数百个问题,发现几乎所有问题都导致模型的回答成功率大幅下降。这一发现对AI的发展具有重要的启示,表明尽管LLM在许多领域表现出色,但其推理能力仍然存在局限性,未来需要进一步探索如何提高LLM的推理能力。

如何不发帖就快速得到金币道行
 
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个