大模型天花板GPT-4，它是不是……變笨了？

(相關(guān)資料圖)

先是少數(shù)用戶提出質(zhì)疑，隨后大量網(wǎng)友表示自己也注意到了，還貼出不少證據(jù)。

有人反饋，把 GPT-4 的 3 小時(shí) 25 條對(duì)話額度一口氣用完了，都沒解決自己的代碼問題。

無奈切換到 GPT-3.5，反倒解決了。

總結(jié)下大家的反饋，最主要的幾種表現(xiàn)有：

以前 GPT-4 能寫對(duì)的代碼，現(xiàn)在滿是 Bug

回答問題的深度和分析變少了

響應(yīng)速度比以前快了

這就引起不少人懷疑，OpenAI 是不是為了節(jié)省成本，開始偷工減料？

兩個(gè)月前 GPT-4 是世界上最偉大的寫作助手，幾周前它開始變得平庸。我懷疑他們削減了算力或者把它變得沒那么智能。

這就不免讓人想起微軟新必應(yīng)" 出道即巔峰 "，后來慘遭 " 前額葉切除手術(shù) " 能力變差的事情……

網(wǎng)友們相互交流自己的遭遇后，" 幾周之前開始變差 "，成了大家的共識(shí)。

一場輿論風(fēng)暴同時(shí)在 Hacker News、Reddit 和 Twitter 等技術(shù)社區(qū)形成。

這下官方也坐不住了。

OpenAI 開發(fā)者推廣大使Logan Kilpatrick，出面回復(fù)了一位網(wǎng)友的質(zhì)疑：

API 不會(huì)在沒有我們通知您的情況下更改。那里的模型處于靜止?fàn)顟B(tài)。

不放心的網(wǎng)友繼續(xù)追問確認(rèn) " 就是說 GPT-4 自從3 月 14 日發(fā)布以來都是靜態(tài)的對(duì)吧？"，也得到了 Logan 的肯定回答。" 我注意到對(duì)于某些提示詞表現(xiàn)不一致，只是由于大模型本身的不穩(wěn)定性嗎？"，也得到了"Yes"的回復(fù)。但是截至目前，針對(duì)網(wǎng)頁版 GPT-4 是否被降級(jí)過的兩條追問都沒有得到回答，并且 Logan 在這段時(shí)間有發(fā)布別的內(nèi)容。那么事情究竟如何，不如自己上手測試一波。

對(duì)于網(wǎng)友普遍提到 GPT-4 寫代碼水平變差，我們做了個(gè)簡單實(shí)驗(yàn)。

實(shí)測 GPT-4" 煉丹 " 本領(lǐng)下降了嗎？

3 月底，我們?cè)鴮?shí)驗(yàn)過讓 GPT-4" 煉丹 "，用 Python 寫一個(gè)多層感知機(jī)來實(shí)現(xiàn)異或門。

△ShareGPT 截圖，界面稍有不同

讓 GPT-4 改用 numpy 不用框架后，第一次給出的結(jié)果不對(duì)。

在修改兩次代碼后，運(yùn)行得到了正確結(jié)果。第一次修改隱藏神經(jīng)元數(shù)量，第二次把激活函數(shù)從 sigmoid 修改成 tanh。

6 月 2 日，我們?cè)俅螄L試讓 GPT-4 完成這個(gè)任務(wù)，但換成了中文提示詞。

這回 GPT-4 第一次就沒有使用框架，但給的代碼仍然不對(duì)。

后續(xù)只修改一次就得到正確結(jié)果，而且換成了力大磚飛的思路，直接增加訓(xùn)練 epoch 數(shù)和學(xué)習(xí)率。

回答的文字部分質(zhì)量也未觀察到明顯下降，但響應(yīng)速度感覺確實(shí)有變快。

由于時(shí)間有限，我們只進(jìn)行了這一個(gè)實(shí)驗(yàn)，且由于 AI 本身的隨機(jī)性，也并不能否定網(wǎng)友的觀察。

最早 4 月 19 日就有人反饋

我們?cè)?OpenAI 官方 Discord 頻道中搜索，發(fā)現(xiàn)從4 月下旬開始，就不時(shí)有零星用戶反饋 GPT-4 變差了。

但這些反饋并未引發(fā)大范圍討論，也沒有得到官方正式回應(yīng)。

5 月 31 日，Hacker News 和 Twitter 同天開始大量有網(wǎng)友討論這個(gè)問題，成為整個(gè)事件的關(guān)鍵節(jié)點(diǎn)。

HackerNews 一位網(wǎng)友指出，在 GPT-4 的頭像還是黑色的時(shí)候更強(qiáng)，現(xiàn)在紫色頭像版在修改代碼時(shí)會(huì)丟掉幾行。

在 Twitter 上較早提出這個(gè)問題的，是 HyperWrite（一款基于 GPT API 開發(fā)的寫作工具）的 CEO，Matt Shumer。

但這條推文卻引發(fā)了許多網(wǎng)友的共鳴，OpenAI 員工回復(fù)的推文也正是針對(duì)這條。

不過這些回應(yīng)并沒讓大家滿意，反而討論的范圍越來越大。

比如 Reddit 上一篇帖子提到，原來能回答代碼問題的 GPT-4，現(xiàn)在連哪些是代碼哪些是問題都分不出來了。

在其他網(wǎng)友的追問下，帖子作者對(duì)問題出現(xiàn)的過程進(jìn)行了概述，還附上了和 GPT 的聊天記錄。對(duì)于 OpenAI 聲稱模型從三月就沒有改動(dòng)過，公開層面確實(shí)沒有相關(guān)記錄。

ChatGPT 的更新日志中，分別在1 月 9 日、1 月 30 日、2 月 13 日提到了對(duì)模型本身的更新，涉及改進(jìn)事實(shí)準(zhǔn)確性和數(shù)學(xué)能力等。

但自從3 月 14 日GPT-4 發(fā)布之后就沒提到模型更新了，只有網(wǎng)頁 APP 功能調(diào)整和添加聯(lián)網(wǎng)模式、插件模式、蘋果 APP 等方面的變化。

假設(shè)真如 OpenAI 所說，GPT-4 模型本身的能力沒有變化，那么這么多人都感覺它表現(xiàn)變差是怎么回事呢？

很多人也給出了自己的猜想。

第一種可能的原因是心理作用。

Keras 創(chuàng)始人 Fran ois Chollet 就表示，不是 GPT 的表現(xiàn)變差，而是大家渡過了最初的驚喜期，對(duì)它的期待變高了。

Hacker News 上也有網(wǎng)友持相同觀點(diǎn)，并補(bǔ)充到人們的關(guān)注點(diǎn)發(fā)生了改變，對(duì) GPT 失誤的敏感度更高了。拋開人們心理感受的差異，也有人懷疑API 版本和網(wǎng)頁版本不一定一致，但沒什么實(shí)據(jù)。

還有一種猜測是在啟用插件的情況下，插件的額外提示詞對(duì)要解決的問題來說可能算一種污染。

△WebPilot 插件中的額外提示詞

這位網(wǎng)友就表示，在他看來 GPT 表現(xiàn)變差正是從插件功能開始公測之后開始的。

也有人向 OpenAI 員工詢問是否模型本身沒變，但推理參數(shù)是否有變化？量子位也曾偶然 " 拷問 " 出 ChatGPT 在iOS 上的系統(tǒng)提示詞與網(wǎng)頁版并不一致。

如果在手機(jī)端開啟一個(gè)對(duì)話，它會(huì)知道自己在通過手機(jī)與你交互。

會(huì)把回答控制在一到兩句話，除非需要長的推理。

不會(huì)使用表情包，除非你明確要求他使用。

△不一定成功，大概率拒絕回答

那么如果在網(wǎng)頁版繼續(xù)一個(gè)在 iOS 版開啟的對(duì)話而沒意識(shí)到，就可能觀察到 GPT-4 回答變簡單了。

總之，GPT-4 自發(fā)布以來到底有沒有變笨，目前還是個(gè)未解之謎。

但有一點(diǎn)可以確定：

3 月 14 日起大家上手玩到的 GPT-4，從一開始就不如論文里的。

與人類對(duì)齊讓 AI 能力下降

微軟研究院發(fā)表的 150 多頁刷屏論文《AGI 的火花：GPT-4 早期實(shí)驗(yàn)》中明確：

他們?cè)缭?GPT-4 開發(fā)未完成時(shí)就得到了測試資格，并進(jìn)行了長期測試。

后來針對(duì)論文中很多驚艷例子，網(wǎng)友都不能成功用公開版 GPT-4 復(fù)現(xiàn)。

目前學(xué)術(shù)界有個(gè)觀點(diǎn)是，后來的RLHF 訓(xùn)練雖然讓 GPT-4 更與人類對(duì)齊——也就更聽從人類指示和符合人類價(jià)值觀——但讓也讓它自身的推理等能力變差。

論文作者之一、微軟科學(xué)家張弋在中文播客節(jié)目《What ’ s Next｜科技早知道》S7E11 期中也提到：

那個(gè)版本的模型，比現(xiàn)在外面大家都可以拿得到的 GPT-4 還要更強(qiáng)，強(qiáng)非常非常多。

舉例來說，微軟團(tuán)隊(duì)在論文中提到，他們每隔相同一段時(shí)間就讓 GPT-4 使用 LaTeX 中的 TikZ 畫一個(gè)獨(dú)角獸來追蹤 GPT-4 能力的變化。

論文中展示的最后一個(gè)結(jié)果，畫得已經(jīng)相當(dāng)完善。

但論文一作Sebastien Bubeck后續(xù)在 MIT 發(fā)表演講時(shí)透露了更多信息。

后來當(dāng) OpenAI 開始關(guān)注安全問題的時(shí)候，后續(xù)版本在這個(gè)任務(wù)中變得越來越糟糕了。

與人類對(duì)齊但并不降低 AI 自身能力上限的訓(xùn)練方法，也成了現(xiàn)在很多團(tuán)隊(duì)的研究方向，但還在起步階段。

除了專業(yè)研究團(tuán)隊(duì)之外，關(guān)心 AI 的網(wǎng)友們也在用自己的辦法追蹤著 AI 能力的變化。

有人每天讓 GPT-4 畫一次獨(dú)角獸，并在網(wǎng)站上公開記錄。

從 4 月 12 日開始，直到現(xiàn)在也還沒看出來個(gè)獨(dú)角獸的大致形態(tài)。當(dāng)然網(wǎng)站作者表示，自己讓 GPT-4 使用 SVG 格式畫圖，與論文中的 TikZ 格式不一樣也有影響。

并且 4 月畫的與現(xiàn)在畫的似乎只是一樣差，也沒看出來明顯退步。

最后來問問大家，你是 GPT-4 用戶么？最近幾周有感到 GPT-4 能力下降么？歡迎在評(píng)論區(qū)聊聊。

Bubeck 演講：

https://www.youtube.com/watch?v=qbIk7-JPB2c

張弋訪談：

https://xyzfm.link/s/UfTan0

每天一個(gè) GPT-4 獨(dú)角獸

https://gpt-unicorn.adamkdean.co.uk

參考鏈接：

[ 1 ] https://news.ycombinator.com/item?id=36134249

[ 2 ] https://twitter.com/nabeelqu/status/1663915378265800705

[ 3 ] https://twitter.com/OfficialLoganK/status/1663934947931897857

[ 4 ] https://discord.com/channels/974519864045756446/1001151820170801244

[ 5 ] https://twitter.com/mattshumer_/status/1663744527448829954

[ 6 ] https://www.reddit.com/r/ChatGPT/comments/13xik2o/chat_gpt_4_turned_dumber_today/

[ 7 ] https://help.openai.com/en/articles/6825453-chatgpt-release-notes

[ 8 ] https://twitter.com/fchollet/status/1664036777416597505

[ 9 ] https://news.ycombinator.com/item?id=36155267