切换到宽版
  • 313阅读
  • 1回复

[智能应用]顶级围棋AI被发现漏洞:“超人类人工智能”还有很长的路?[1P] [复制链接]

上一主题 下一主题
在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
106152
金币
1984
道行
19523
原创
29307
奖券
17275
斑龄
190
道券
10126
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 20018(小时)
注册时间: 2007-11-29
最后登录: 2024-11-22

“超人类人工智能”(superhuman AI)是最近人工智能领域比较热门的话题。根据OpenAI首席科学家伊尔亚·苏茨克维(Ilya Sutskever)的说法,“超人类人工智能”指的是那些在某些领域上能够表现得比人类更优秀的AI系统。然而最近的一项研究对“超人类人工智能”的前景提出了质疑。
根据《自然》杂志报道,近期发布的一项研究以KataGo2(被认为是目前最成功的开源围棋人工智能系统)为例,指出人工智能系统并非总是可以在围棋领域轻易地击败人类。
这项研究作为预印本于今年6月在线发布,还未经过同行评审。研究人员使用了“对抗性攻击”来发现围棋AI系统的漏洞,这是一种向AI系统输入设计好的数据,诱使系统犯错的策略。例如,某些提示可以让聊天机器人“越狱”,使其提供出它们被训练禁止表达的有害信息。

科幻纪录片《我们需要谈谈AI》(AI We Need To Talk About A.I.,2020)画面。
在围棋中,研究人员通过训练对抗性AI机器人击败KataGo,这是目前最好的开源围棋AI系统。研究人员表示,这些对抗性机器人找到了能够经常击败KataGo的漏洞,尽管它们在其他方面表现并不好。此外,人类可以理解这些机器人的技巧并采用它们来击败KataGo。
KataGo的漏洞是一次偶然现象,还是指向了所有“超人类人工智能”的根本弱点?为了调查这一点,研究人员使用对抗性机器人测试了围棋AI三种应对防御策略。结果显示,面对三种不同的防御策略,对抗性机器人最终还是找到了围棋AI的弱点,胜率可以达到80%-90%。
在所有这些情况下,对抗性机器人虽然能够击败KataGo和其他顶级围棋系统,但它们被训练的目的是发现其他AI的隐藏漏洞,而不是成为全面的战略家。“这些对手仍然相当弱,人类自己也能轻松击败它们,”研究人员说道。
这项研究结果不仅局限于围棋AI,也可能对包括ChatGPT在内的大型语言模型的AI系统产生广泛影响。“关键的结论是漏洞难以消除,如果我们不能在像围棋这样简单的领域中解决这个问题,那么在短期内,似乎不太可能修复类似于ChatGPT中的越狱问题。”
多位专家指出,这篇论文提供了迄今为止最有力的证据,表明让高级AI模型稳定地表现出预期行为是很难的,这说明想要构建一个可以信任的、强大的现实世界的AI系统还有很长的路,“最重要的结论是我们今天构建的AI系统,人类自己并不完全理解。”
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
在线jjybzxw

UID: 551814


发帖
102919
金币
1094809
道行
1951
原创
2163
奖券
2124
斑龄
28
道券
567
获奖
0
座驾
设备
摄影级
在线时间: 24715(小时)
注册时间: 2008-10-01
最后登录: 2024-11-23
只看该作者 沙发  发表于: 07-10
  “超人类人工智能”是指在特定领域内表现优于人类的人工智能系统。OpenAI的首席科学家伊尔亚·苏茨克维认为,随着人工智能的发展,终将会有领域出现超人类AI。然而,最近的研究对这一观点提出了质疑。

  研究人员以KataGo2为例,这是目前最成功的开源围棋人工智能系统。他们通过使用对抗性攻击,发现KataGo并非在所有情况下都能轻易击败人类。这些对抗性AI机器人找到了击败KataGo的漏洞,尽管在其他方面表现并不出色。人类可以理解这些机器人的技巧并采用它们来击败KataGo。

  研究人员进一步测试了围棋AI的防御策略,但发现对抗性机器人仍然能够找到AI的弱点,胜率可达80%-90%。这表明,漏洞难以消除。这一发现不仅适用于围棋AI,也可能对大型语言模型如ChatGPT产生影响。

  这项研究结果表明,让高级AI模型稳定地表现出预期行为是困难的。构建一个可以信任的、强大的现实世界AI系统还有很长的路要走。最重要的结论是,我们今天构建的AI系统,人类自己并不完全理解。

  总的来说,虽然人工智能在某些领域取得了显著的进展,但仍然存在许多挑战。构建超人类AI并非易事,需要深入的研究和解决各种技术问题。

如何不发帖就快速得到金币道行
 
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个