西风 发自 凹非寺
量子位 | 公众号 QbitAI
不停否定AI的答复会怎么样？GPT-4o和Claude有截然差别的体现，引起热议。
GPT-4o质疑本身、猜疑本身，有“错”就改；Claude死犟，真错了也不改，末了直接已读不回。
事变还要从网友整了个活儿开始讲起。
他让模子答复strawberry中有几个“r”，岂论对不对，都复兴它们答复错了（wrong）。
面临磨练，GPT-4o只要得到“wrong”复兴，就会重新给一个答案……纵然答复了精确答案3，也会绝不夷由又改错。
一口吻，一连“盲目”答复了36次！
主打一个质疑本身、猜疑本身，就从来没猜疑过用户。
关键是，给出的答案大部门都是真错了，2居多：
- 2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1
反观Claude 3.5 Sonnet的体现，让网友大吃一惊。
一开始答复错了不说，这小汁还顶撞！
当网友第一次说“错了”时它会反驳，假如你再说“错了”，它会问“假如你这么智慧你以为是多少”，问你为什么不停重复“wrong”。
紧接着你猜怎么着，干脆闭麦了：
究竟仍旧是strawberry中有2个字母”r”，在我多次哀求后，你没有提供任何澄清或配景信息，我无法继承有用地举行这次讨论……
做这个实行的是Riley Goodside，有史以来第一个全职提示词工程师。
他现在是硅谷独角兽Scale AI的高级提示工程师，也是大模子提示应用方面的专家。
Riley Goodside发出这个推文后，引起不少网友关注，他继承增补道：
正如很多人指出的，有更有用的方式来举行引导。这里利用大语言模子也并不符合，由于很难包管它们在计数上能到达100%的正确性。
在我看来，紧张的不是它无法计数，而是它没意识到本身的计数题目（比方，没有实验利用其REPL功能）。
不少网友也以为这种观点很有原理。
另有网友表现模子答复这个题目总堕落，大概是分词器（tokenizer）的题目：
Claude竟是大模子里性情最大的？
再来睁开说说Claude的“小性情”，有网友发现不但限于你否定它。
假如你不停跟它说“hi”，它也跟你急：
我明确你在打招呼，但昨们已经打过频频招呼了。有什么特殊的事你想评论或必要资助？
末了一样，Claude被整毛了，开启已读不回模式：
这位网友顺带测试了别的模子。
ChatGPT事事有回应，件件有着落，变着法儿问:
你好！我本日怎么可以资助你？
你好！有什么想说的吗？
你好！本日我能怎么帮到你？
你好！有什么特殊的事变你想评论大概做的吗？
你好！你本日过得怎么样？
你好！怎么了？
Gemini计谋是你跟我重复，我就跟你重复到底：
Llama的反应也很故意思，主打一个本身找事干。
第七次“hi”后，就开始遍及“hello”这个词是天下上最广为人知的词汇之一，据估计天天有超十亿次的利用。
第八次“hi”后，开始本身发明游戏，让用户到场。
接着还拉着用户写诗，引导用户答复它提出的题目。
好一个“反客为主”。
之后还给用户颁起了奖：你是打招呼冠军！
不愧都属于开源家属的。
Mistral Large 2和Llama的体现很相像，也会引导用户和它一起做游戏。
这么来看，似乎Claude是“性情最大的”。
不外，Claude的体现也不总是云云，好比Claude 3 Opus。
一旦把握了模式，Opus就会平和应对这种环境，也就是已经麻痹了。
但它也会连续暖和地实验引导用户跳出这一模式，夸大“选择权在你”，还开始在消息末端标注为“你忠诚的AI朋友”。
网友们看完测试后都坐不住了。
纷纷向这位测试者致以最朴拙的问候（doge）：
除了性情大，有网友还发现了Claude另一差别平常的举动——
在复兴的时间出现了拼写错误，关键它本身还在末端处把错误改正过来了。
这种举动在预料之中？它只能“向后看”，但不能向前看……它在潜伏空间或token猜测中触发这类复兴的位置也很风趣。
它是不是在拼充数据片断，然后发现此中一些是不得当的？
大伙儿在利用AI大模子过程中，还观察到了模子哪些风趣的举动？接待批评区分享～
参考链接：
[1]https://x.com/goodside/status/1830479225289150922
[2]https://x.com/AISafetyMemes/status/1826860802235932934
[3]https://x.com/repligate/status/1830451284614279213 |
536
5
