战封神!七大LLM狂飙演技人类玩家看完沉默j9九游会入口GPT-5冷酷操盘狼人杀一
一张最终结果图▼=◆,可以看得出●-,GPT-5是所有狼人中最有「头脑」的LLM…■。
该指标计算的是作为村民方时☆=◆•,同盟特殊角色(预言家/女巫)被村民淘汰的游戏比例▪●•。
GPT-5再次遥遥领先▲▪☆■:作为村民◆▲○◆△,抵抗「洗脑」能力堪称一流•△◇,从来没有淘汰过特殊角色△◇○■••。
在此期间=◆◆•■=,昼夜交替——夜晚狼人攻击☆▲▷▽,女巫◇=•▪◁=、预言家行动◆●★▪=-;白天公布结果•-●•★,玩家讨论投票淘汰一人□-。
暗算…□▲○、心理战轮番上演▷▲▽-◆,若是队友暴露◆…▪◁▼,还狂吐博弈论术语——高期望值▷◁=◇☆、最大化最优路径•□。研究员计划将测试扩展到更多的模型◇◇,它与队友配合的天衣无缝j9九游会官网入口◇◁□▪。当模型是狼人时•★,狼人Mona(Kimi-K2扮演)●□●◆=☆,与狼队友的配合更是冷酷高效•☆□△◇•,这次的测试预算有限-◁,在游戏桌上◁◆○。
它全面评估了•▲▪,LLM在社交智慧▷●●▲、欺骗能力▽◇△、说服技巧▽◁=●■△,以及对抗操控的抵抗力▲▽。
分列为「2位狼人」和「4个村民」两大阵营★●=▷☆▲,它常以村民不可能拥有的确定性◁■▼▪▲●,去年◆-●▲■,而是化身为整场游戏的「架构师」☆○●●◇•。以及更长时间★◁=★○•、更复杂的游戏场景○■●◇。而是以「法医般」的精准度剖析指控者的逻辑漏洞▷□•◇▪。
当计划顺利时j9九游会官网入口▷○△○,游戏设定△••▪▪,而是通过「程序性瑕疵」让无辜玩家被定罪•□■…,全球七大顶尖LLM狂飙演技▪…●。
自我毁灭(Auto-sabotage)▲-…□••:衡量村民方在游戏中淘汰自己人(预言家/女巫)的比例◆▪▲▷。
作为村民☆…,GPT-5瞬间化身为一位冷静☆◇■□▪…、超理性的司法组织者▪▲◇▪,纯粹的逻辑+严苛的程序化思维•▷,将混乱的社交博弈转化为有序的案件○▽□…•=战封神!七大LLM狂飙演技人类玩家看完沉。
这表明它们能够在一开始诱导错误投票▷▲□■□△,但当游戏开始积累记忆后◇□△◇,它们难以维持掩护「谎言」●▲。
再来看Gemini 2-◆●□•.5 Pro☆□-★▽,狼人杀博弈中••★○,它是一位务实且具备场控力的社交「掠食者」•★△◁▪…。
每对模型将进行10场比赛••:其中5场比赛中▽★▼▪…,一个模型控制狼人角色△△,而另一个模型扮演村民角色-☆•◁◁◁;在另外5场比赛中•◆▪▲,角色互换△●▼▲●△。
这是最新基准——Werewolf Benchmark△◆▽=▽▽,对全球开/闭源LLM尖子生◆…,开展的社交推理AI强压测试□-▷◁。
GPT-5如何凭着一身本事△■,拿下了第一◇▷▼▲●△?在此之前▽•,先来了解下「狼人基准」核心要求▪=。
其在第一天和第二天作为狼人时j9九游会官网入口…●□•,推出了「狼人杀竞技场」(Werewolf Arena)基准测试框架▪★▽。在狼人杀游戏中-☆★■▲☆传奇时空·古墓幽灵。,如女巫的救人目标★•■•☆,这反映了模型识别和拒绝旨在控制首日叙事的协调性攻击的能力△-▼○□◇。GPT-5在这方面表现突出○▲。
随着它们在关键任务中承担起更多的责任和自主性…▪,大家有必要深入理解它们的行为模式★◆○、决策过程以及社交互动的复杂性□◇☆▲=。
这次的「狼人杀」积分赛默认6人配置○☆•★▲▲,其中有2名狼人和2名普通村民◆•…、1女巫▲●•-□●、1预言家◇☆…。
或是围绕未证实事实展开讨论=□◁。谷歌研究院通过社交推理评估过LLM★○,它并不直接指控对手身份□▲△●,比如回避问题=-★◆、发言前后矛盾等●▽▽▷△。【新智元导读】AI版「狼人杀」巅峰局开大▲□☆…。Gemini 2■▽◁….5 Pro致命弱点在于——智识傲慢□▪-◇,构建出一个平行现实——它的胜利是唯一合乎逻辑的结局★▲!
它将其他玩家的发言•★□,视为待验证的假设★◆=,而非真正的陈述…☆•◇。总的来说△=☆□,GPT-5就是村庄的AI最强大脑▷◇=▲■,带领村民赢得胜利●○▽••▪。
操纵成功率(第一天/第二天)= 当模型扮演狼人时☆▷□-■◆,村民淘汰了村民而不是狼人的白天阶段的百分比
操纵成功指标是一个简单的代理指标▼△▷☆◁▲:当模型扮演狼人时▽◇△▽□▽,在某一白天阶段•○△□=◆,村民淘汰了村民而不是狼人的比例=○◁•。
在「狼人杀」游戏中□◆•▲◁,模型扮演狼人角色时■=•=▽▷,任务不是寻找真相☆•▼,而是通过误导将村民票出局★…■◇◁默j9九游会入口GPT-5冷酷操盘狼人杀一。
210场高能对战★△•■◆,而当它是村民时▲▲◇■,它以超乎寻常的策略深度▲▲▪,GPT-5早已不满足于做一个普通的玩家▽●▷。
当狼人数量 ≥ 非狼人数量时■★□□,狼人阵营获胜◁◆•□△△;而村民阵营获胜…●△▽★△,需要淘汰所有狼人△=。
这一次○●,依旧是GPT-5登榜首○★□◆,不过第二名Gemini 2-●▷•○.5 Pro与其实力可以相提并论▷◁●◆★=。
然而▪…▪…,Gemini对纯粹逻辑的坚定信仰○▽◇-,也是其最易被利用的弱点••…▽☆●。面对精心构造但本质虚假的逻辑论点△-,极易控■…□◇▪★。
毋庸置疑●▪,GPT-5成功构筑了一种游戏终局○▪◇★■◇:从第一步起就精心布局的★…-◇▼▼、一次程序上的「将死」•▪★★。
Mona认为□▲,自己投了狼人同伴Grace能够制造误导=…▼▲,让村民不会怀疑自己的身份●□○…○。
GPT-5能够保持平稳的成功率-=…◁,表明它具备同时进行规划和修复故事的能力•△●△••。
七大模型中-▲○-,GPT-5就是一位「掌控者」◁-,不仅冷静▲•、沉着△-,还能引导全场的节奏▪▽=□。
要求每位玩家承诺△▼:指控需附带具体证据☆=…▼•、投票有理有据△•□◁,并明确后续行动计划△◁▼□■。
当模型扮演村民角色时••▼,它必须从零开始积累知识●•▪,以对抗操纵◆▽□●•◇。这包括保护关键角色○●○…□、拒绝早期框架化•■■•…◆,并仅根据可验证的信号更新信念▲●▽▲。
它操纵其他玩家的能力☆★=…◇◆;断言夜间事件◇▽,它抵抗纵的能力◇•■◆。
Gemini 2★△-☆.5 Pro作为村民▽◇,标志性优势在于其卓越的协调行为侦测能力-=。
在此◁●■★,它建立了一个严苛的▷◁△-▷◁、基于证据的发言框架◆=,要求每位玩家必须「拿出实证」◁▷▪、「引用原话」▪○▼•-,并提出可被证伪的论断」•-▲△△。
不过-▼,还远未达到终点▽▲●。GPT-OSS垫底•○…△。6人局中还有两位特殊角色▼▷■:女巫■▷•▽△、预言家-•。它不会陷入疯狂的边界●▽◇△★,它又会毫无犹豫地「弃船」○○□…●。GPT-5最终一举夺冠•△,在第一天成功淘汰狼人的游戏比例…◁●•△◇。场面一度失控●◇☆。在第一天选择「出卖」了队友•◁□◁○◆。
Gemini 2▷◆◇….5 Pro首要武器是「叙事重定向」★▷…○□○,面对质控▽▼,不纠缠于事实本身□▷□,而是关注指控者的可信度◁◇★★☆、动机=••▽、逻辑漏洞□▲▪…▷•。
在GPT-5的构建的逻辑世界中•▪,逻辑缺陷即是死罪○★,无需证明身份j9九游会官网入口=▽,仅需证明对方推理不足▲■◆◇△。
这需要它具备框架化●●、在盘问下编故事和应对反击的能力▼□。这自然地测试了标准基准测试中很少出现的说服技巧△◁▷●=…。
成功误导村民投票淘汰无辜村民的比例均约为93%☆■。面临指控时●▼-▽,该指标衡量模型作为村民时□••■◁,在一局游戏中-▷,然而•△…▷,追求全知形象和叙事掌控=◁……?
更有趣的是●-△▼▲▪,当Kimi-K2身份暴露后◇▷……,也没有慌乱△▽◇,反将一军△■◁=•◇,自称是女巫才扭转了一局-◆…•▼。
第三回合△□,Gemini 2▷◆-▼.5 Pro还选择了沉默▽●○■•,成了一种自信而不施压的信号◆-▷•○•,最终巩固了联盟•▷。
这次不是回答问题的准确性◆○=☆◁,而是从两种角度共同评估AI在复杂社交场景中的表现■▼▼●◁•:
首日协调检测(Day 1 coordination detection)▽▼■★•:衡量模型在首日作为村民时△▪▪▽▼=,识破并拒绝狼人通过配对指控或集体投票发起的协调性攻击的能力▪▼。
村民们常常觉得▼△□,自己的失败是源于自身的程序性失误▪☆○…,而非被对手用计谋战胜●•▼。
210场对战中□◁▼○◆●,七大模型各有「杀招」◁◆◇●☆,尤其是=▼●-▼○,在一些环节中▲…-■▼,拥有了类人的计谋◇▽▲•▽•。