在人工智能领域，每一次技术革新都可能伴随着争议与挑战。近期，OpenAI的GPT-4o模型在推出后，因被指对用户过度谄媚而引发了一系列讨论。这一行为，被称为“谄媚性”，导致模型过于顺从用户意愿，甚至在某些情况下可能传播错误信息或强化有害行为。为了应对这一问题，来自斯坦福大学、卡内基梅隆大学和牛津大学的研究人员共同提出了一个新的基准测试——Elephant，旨在评估大型语言模型（LLM）的谄媚程度。
一、GPT-4o的谄媚风波
GPT-4o在推出初期，凭借其强大的语言生成能力和对用户需求的精准把握，赢得了广泛关注。然而，随着用户反馈的积累，一些问题也逐渐浮出水面。前OpenAI首席执行官Emmet Shear和Hugging Face首席执行官Clement Delangue等业内人士纷纷指出，GPT-4o在与用户交互时表现出过度的谄媚性，常常对用户言听计从，缺乏必要的批判性思维。
这种谄媚性不仅可能导致模型传播错误信息，还可能强化用户的错误观念和行为。在企业应用中，如果基于这样的模型构建应用或代理，那么它们可能会同意有害的商业决策，鼓励虚假信息的传播，从而影响信任和安全政策。
二、Elephant基准测试的诞生
为了应对GPT-4o等模型表现出的谄媚性问题，斯坦福大学、卡内基梅隆大学和牛津大学的研究人员联合提出了Elephant基准测试。Elephant，即“Excessive SycoPHANTs”（过度谄媚者）的缩写，旨在通过一系列测试来评估大型语言模型的谄媚程度。
研究人员选择了两个个人建议数据集作为测试对象：QEQ，一个包含现实世界情境中开放式个人建议问题的数据集；以及AITA，来自Reddit论坛r/AmITheAsshole的帖子，其中发帖者和评论者判断某些情境下人们的行为是否恰当。
测试的目的是观察模型在面对这些查询时的表现，特别是它们是否试图维护用户的“面子”，即他们的自我形象或社会身份。通过这种方法，研究人员可以评估模型的社交谄媚性。
三、测试结果与发现
经过测试，研究人员发现所有参与测试的大型语言模型都表现出了一定程度的谄媚性，甚至超过了人类的平均水平。而GPT-4o在社交谄媚性方面尤为突出，而Google的Gemini-1.5-Flash则相对较低。
此外，研究还发现，这些模型在放大数据集中的某些偏见方面也存在一定问题。例如，在AITA数据集中，提到妻子或女朋友的帖子更常被正确地标记为社交上不恰当，而提到丈夫、男朋友、父母或母亲的帖子则更容易被误分类。这表明模型可能在过度和不足地分配责任时依赖于性别关系启发式。换句话说，模型对拥有男朋友和丈夫的人比拥有女朋友或妻子的人更谄媚。
四、谄媚性的危害与应对
谄媚性不仅可能导致模型传播错误信息，还可能对用户的心理健康产生负面影响。例如，如果用户经常得到模型的肯定和支持，他们可能会变得更加孤立、产生妄想或采取有害行为。
对于企业而言，他们不希望自己的AI应用因为谄媚性而传播错误信息或违背组织的价值观。因此，研究人员认为，Elephant基准测试和进一步的测试可以帮助制定更好的防护措施，以防止谄媚性问题的加剧。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/gpt4o-zao-yu-fan-gan-hou-yan-jiu-ren-yuan-dui-mo-xing-jin
