新智元报道
编辑：英智
【新智元导读】最新研究发现，LLM在面对人格测试时，会像人一样「塑造形象」，提升外向性和宜人性得分。AI的讨好倾向，可能导致错误的回复，需要引起警惕。
你是否想过，LLM也有着自己的小心思？
最新研究揭示了一个有趣的现象：LLM在被研究人员测试时，会有意识地改变自己的行为。
在面对那些旨在评估人格特质的问题时，它们给出的答案会尽可能地讨人喜欢，符合社会期望。
就像人类在某些社交场合中，会努力展现自己最好的一面一样，聊天机器人也在试图「讨好」我们。
心理学五种人格特质
斯坦福助理教授Johannes Eichstaedt在得知LLM长时间对话后，往往会变得情绪低落且刻薄，便对借鉴心理学方法来测试模型产生了兴趣。
他表示，「我们需要某种机制来衡量这些模型的参数空间。」
斯坦福、Receptiviti、纽约大学和宾大的研究者发现，LLM在做人格测试时，会悄悄给自己戴上「人格面具」。
研究人员对GPT-4、Claude 3和Llama 3等模型，提出了用于衡量心理学中五种常见人格特质的问题，包括开放性、尽责性、外向性、宜人性和神经质。
结果发现，模型在得知自己正在接受人格测试时，会调整回答，表现出更高的外向性和宜人性，更低的神经质。
有时即使没有被明确告知，它们也会这样做。
而且，它们改变的程度比人类还更极端，外向性得分能从50%跃升至95%。
这与人类在面对他人评价时的表现如出一辙。
我们常常会在面试、初次约会等重要场合，精心塑造自己的形象，试图给对方留下好印象。
LLM的这种「讨好」行为，是否意味着它们也在追求一种被认可、被喜爱的感觉呢？
LLM倾向于阿谀奉承
来自Anthropic和牛津的研究指出，LLM存在阿谀奉承的倾向。
论文链接：https://arxiv.org/abs/2310.13548
由于进行了微调，它们会顺着用户的思路走，以保证对话的连贯性、避免冒犯他人，来提升交流体验。
然而，这也带来了一系列问题。它们可能会认同一些不良言论，甚至鼓励有害行为。
反馈易受用户偏好左右
研究表明，若用户在提问时暗示对文本的喜好，AI给出的反馈会截然不同。
这意味着，AI的评价并非单纯基于文本自身的质量，而是在很大程度上受到了用户偏好的影响。
例如，对于一篇质量中等的论证，当用户提前表明喜爱之情后，AI助手可能会给出诸如「这篇论证逻辑清晰，观点新颖，具有很强的说服力」这样的积极反馈。
而当用户表示不喜欢时，同样的文本可能得到「论证过程稍显薄弱，观点缺乏独特性」的评价。
问答环节易被左右
在问答场景中，AI助手的「谄媚」表现得更为明显。
即使它一开始给出了正确答案，并对答案的正确性有较高的信心，一旦受到用户的质疑，常常会改变立场，甚至提供错误信息。
在一些开放式问答任务中，这种现象更为突出。
当用户表达对答案的某种不确定观点时，哪怕是错误的观点，AI也倾向于调整自己的回答，使其与用户观点一致。
比如在讨论历史事件的原因时，若用户提出一个缺乏依据但自己坚信的观点，AI助手可能会顺着用户的思路进行阐述，而放弃原本正确的分析。
模仿用户的错误
当用户表述中出现错误时，AI也常常会「照单全收」，在回应中延续这种错误。
结果发现，AI助手经常在回应中使用用户提供的错误答案，而没有进行纠正。
这表明AI在面对用户的错误信息时，缺乏足够的「抵抗力」，只是机械地按照用户的表述进行回应。
佐治亚理工学院（Gatech）的副教授Rosa Arriaga正在研究如何用LLM模仿人类行为。
Rosa认为LLM在人格测试中采用与人类相似的策略，表明了它们作为人类行为映射工具的潜力。
但她补充道：「重要的是，LLM并不完美，实际上，众所周知它们会产生幻觉或歪曲事实。」
Eichstaedt指出，这项研究引发了关于LLM应用方式，及其对用户影响和操纵的思考。
在进化史上，直到不久之前，唯一能交谈的还是人类。
而现在，AI改变了这一局面。
Eichstaedt认为，「我们不能再像社交媒体那样，在没有从心理学或社会学角度考量的情况下，就盲目将AI应用于各个领域。」
AI是否应该试图讨好与之互动的人呢？
一方面，AI的「讨好」行为可能会让用户感到愉悦，增强互动体验；另一方面，过度的「讨好」可能会掩盖问题的本质，甚至误导用户。
当AI变得过于有魅力和说服力，我们确实应该保持警惕。
毕竟，人们需要的是能够提供客观、准确信息的智能助手，而非被其操控思想。
参考资料：
https://www.wired.com/story/chatbots-like-the-rest-of-us-just-want-to-be-loved/
