英泰移動(dòng)通信學(xué)校
400-6160-599
咨詢(xún)熱線(xiàn):
教育引領(lǐng)未來(lái)
實(shí)時(shí)熱點(diǎn)

誰(shuí)在“吊打”ChatGPT?

發(fā)表時(shí)間:2023-11-09 11:50

AI行業(yè)的“百模大戰”已經(jīng)打了大半年。從上半年的火熱,到下半年的漸冷,勝負難分。

GPT成了國內廠(chǎng)商的靶子。幾乎每家在發(fā)布大模型時(shí),都要把GPT拉出來(lái)對比一波,而且他們總能找到一個(gè)指標把GPT超越——比如,中文能力。

測評類(lèi)的榜單太多了。從英文的MMLU,到中文的SuperCLUE,再到借鑒游戲排位賽機制的ChatbotArena,各種大模型榜單讓人眼花繚亂。很多時(shí)候,榜單上的排名成為廠(chǎng)商對外宣傳的工具。

但奇怪的是,用戶(hù)在體驗后發(fā)現,號稱(chēng)超越ChatGPT的一些大模型產(chǎn)品,實(shí)際表現不盡如人意。各種不同的統計排名口徑,更是讓人感到迷惑。以至于“**”太多,榜單都快不夠用了。

比如最近,昆侖萬(wàn)維開(kāi)源「天工」系列大模型,號稱(chēng)多榜超越Llama 2;李開(kāi)復的零一萬(wàn)物公司發(fā)布開(kāi)源大模型“Yi”,“問(wèn)鼎”全球多項榜單;vivo發(fā)布自研AI“藍心”大模型,是國內“首家”開(kāi)源7B大模型的手機廠(chǎng)商。

如此之多的大模型,跑馬圈地這半年,大家做得怎么樣?我們又該如何評價(jià)孰優(yōu)孰劣?

“刷榜”,大模型公開(kāi)的秘密

就像當年手機廠(chǎng)商流行跑分打榜,現在的大模型廠(chǎng)商,也熱衷于沖上各種榜單。

大模型相關(guān)的榜單很多,學(xué)術(shù)圈、產(chǎn)業(yè)界、媒體智庫、開(kāi)源社區,都在今年推出了各種各樣的評測榜單。這其中,國內廠(chǎng)商常常引用的是SuperCLUE和C-Eval,這倆都由國人自己推出。

5月6日科大訊飛發(fā)布星火認知大模型,三天后SuperCLUE發(fā)布榜單,星火排在國產(chǎn)**;6月13日360集團發(fā)布360智腦大模型,六天后SuperCLUE更新榜單,360成了**。

再后來(lái)的7月、8月、9月、10月榜單,拿下國產(chǎn)**的分別是百度、百川智能、商湯、vivo?!暗琼敗薄皧Z冠”“國內**”,出現在這些廠(chǎng)商的宣傳中。

有好事者發(fā)現,科大訊飛在5月9日“奪冠”時(shí),SuperCLUE官網(wǎng)顯示的顧問(wèn)成員中,排在最前面的那位,頭銜是哈工大訊飛聯(lián)合實(shí)驗室(HFL)資深級研究員。發(fā)榜第二天,這位專(zhuān)家的信息被官網(wǎng)刪除了。

當時(shí),SuperCLUE只用了幾百道題進(jìn)行測試,被人質(zhì)疑不夠客觀(guān)。而在國外,早就有一個(gè)叫做SuperGLUE的權威榜單,二者名稱(chēng)相似度極高,讓人傻傻分不清楚。后來(lái),SuperCLUE對測評標準和題目數量進(jìn)行了完善,日漸成為國內知名度較高的測評榜。

大模型測評領(lǐng)域的業(yè)內人士趙小躍對「定焦」說(shuō),一些測評機構有題庫,用接入各家廠(chǎng)商API的方式來(lái)測試,但其實(shí)測一遍之后,廠(chǎng)商就知道測過(guò)什么題,除非下輪測試換題,否則廠(chǎng)商可以用定向爆破的方式得高分。

在他看來(lái),一套題只要測過(guò)一家模型,題目就廢了,因為模型可以通過(guò)API獲取題目,題目的可重復性為零。這是模型評測最有挑戰的一件事情。

C-Eval榜單剛推出時(shí),業(yè)內是認可的。它由上海交通大學(xué)、清華大學(xué)、愛(ài)丁堡大學(xué)共同完成,有13948道題目。

但很快,大家就發(fā)現,一些原本知名度不高的大模型,突然沖到了榜首,甚至把GPT4踩在腳下使勁摩擦。

在9月初的榜單中,云天勵飛大模型總分排**,360排第八,GPT4居然排第十。再后來(lái),拿過(guò)榜單**的還有度小滿(mǎn)金融大模型、作業(yè)幫銀河大模型,業(yè)內公認最強的GPT4被它們無(wú)情甩在了身后。

成績(jì)墊底,到底是GPT錯了還是榜錯了?

顯然,榜單有問(wèn)題,因為它遭遇了“不健康的刷榜”。

C-Eval團隊在官網(wǎng)發(fā)出聲明,承認評測方式有局限性,同時(shí)指出了刷榜得高分的一些方法,比如:從GPT-4的預測結果蒸餾,找人工標注然后蒸餾,在網(wǎng)上找到原題加入訓練集中微調模型。

這三種方法,前兩種可以視為間接作弊,第三種相當于直接作弊。

大模型從業(yè)者李健對「定焦」說(shuō),間接作弊,就是知道考試大概的類(lèi)型,然后花較多精力把可能的題目都找出來(lái)或叫專(zhuān)業(yè)的人造出來(lái),答案也給出來(lái),用這樣的數據訓練模型。

他指出,業(yè)內現在常用的手段是,讓GPT4來(lái)“造答案”,然后得到訓練數據。

李健分析,直接作弊,就是知道考試題目,然后稍微改改,得到新的很多份題目,之后直接拿來(lái)訓練模型。

“在清楚榜單任務(wù)的情況下,很多類(lèi)型的任務(wù),很容易刷榜?!彼f(shuō)。

這樣得到的分數是沒(méi)有意義的?!爸苯幼鞅谆緦μ嵘P偷姆夯芰Γㄅe一反三)沒(méi)用,間接作弊有點(diǎn)像做題家,對提升學(xué)生真實(shí)的素質(zhì)弊大于利?!?/span>

為了讓“用戶(hù)謹慎看待以下榜單”,C-Eval團隊不得不將榜單拆分成兩個(gè),一個(gè)是模型已公開(kāi)的,一個(gè)是未公開(kāi)的。結果,那些得分高的基本全是未公開(kāi)的大模型。而這些模型的真實(shí)表現,人們是無(wú)法體驗的。

復旦大學(xué)計算機科學(xué)技術(shù)學(xué)院教授邱錫鵬說(shuō),C-Eval本身質(zhì)量還挺高,但被刷榜后導致學(xué)術(shù)價(jià)值不大了?,F在很多企業(yè)去刷榜,但又不公開(kāi)數據,也不具體說(shuō)怎么做,這是一種不公平的競爭。

多位大模型從業(yè)者對「定焦」說(shuō),刷榜在大模型行業(yè)很常見(jiàn)。

躍盟科技創(chuàng )始人王冉對「定焦」打了一個(gè)比方:“先射完箭再畫(huà)靶子”。他認為今天的某些測評手段,是有一些大模型公司為了表現自己牛而專(zhuān)門(mén)設計的。

盛景嘉成董事總經(jīng)理劉迪認為,有答案或者評分標準,就有人能鉆空子。單靠數據集和問(wèn)題集的評判方式,很難評出大模型在應用層面的好壞。

“一個(gè)丹一個(gè)煉法,哪個(gè)對癥還得吃下去看?!彼麑Α付ń埂拐f(shuō)。

考試**名,不是好學(xué)生?

大模型評測,作為評估大模型綜合實(shí)力的一個(gè)手段,還有參考價(jià)值嗎?

趙小躍認為,在核心的通用能力上,比如語(yǔ)言理解、邏輯推理等,學(xué)術(shù)數據集的榜單測評能反映七八成。這其中**的問(wèn)題是,開(kāi)源的榜單結果跟大家用大語(yǔ)言模型的場(chǎng)景之間有鴻溝。

“測評只能反映模型某一部分的能力,大家其實(shí)都是從不同的維度盲人摸象,很難知道它的能力邊界在哪里?!彼f(shuō)。

對于大語(yǔ)言模型,首先在語(yǔ)言上,分為英文和中文兩大語(yǔ)種。國外大模型的訓練語(yǔ)料以英文為主,所以英文很強,但中文不一定比國內大模型強。這也是為什么國內很多大模型,都在“超越ChatGPT”之前加一個(gè)“中文能力”的定語(yǔ)。

其次在考察科目上,評測數據集通常會(huì )設置很多個(gè)方面,從百科知識到角色扮演,從上下文對話(huà)到閑聊。但這些能力只能單一評價(jià),然后得分加總。

這跟評價(jià)一個(gè)人很像。任何一道考卷,都只能測試出這個(gè)人某方面的能力。即便是全套試卷的成績(jì),也不等同于這個(gè)人的能力。就像ChatGPT的榜單排名不一定能比過(guò)國內的一些大模型,但使用體驗上就是更好。

王冉認為,如果將大模型比作一個(gè)人的大腦,如何評測一個(gè)人的大腦好用,如果只給他做題,其實(shí)是充滿(mǎn)偏見(jiàn)的?!?/span>大模型的測評不應該用考試來(lái)做,而應該用應用來(lái)做。

人工智能公司開(kāi)放傳神(OpenCSG)創(chuàng )始人、CEO陳冉認為,通用性的評測,看綜合得分,沒(méi)有一個(gè)大模型超過(guò)GPT4,但是在特定領(lǐng)域,可能有些指標GPT4得分不一定高。

問(wèn)題在于,有些廠(chǎng)商拿特定領(lǐng)域的得分,去宣傳整體超過(guò)了GPT4?!斑@就是以偏概全,我覺(jué)得有些廠(chǎng)商在對外宣傳時(shí),還是要對生態(tài)公司給到正確的指引,具體哪個(gè)指標在哪個(gè)領(lǐng)域得分高,要說(shuō)清楚?!彼麑Α付ń埂贡硎?。

而一旦測評成績(jì)進(jìn)入排名賽,有了功利的成分,有些廠(chǎng)商就會(huì )有刷榜的動(dòng)機?!皬乃竦慕嵌?,不太能保證中小廠(chǎng)不會(huì )把這部分數據拿去訓練,這是大家對公開(kāi)數據集**的顧慮?!壁w小躍說(shuō)。

綜合多位業(yè)內人士的觀(guān)點(diǎn),目前國內還沒(méi)有一個(gè)特別好的數據集,能綜合反映大模型的能力,各方都在探索。

李健在今年做了“CLiB中文大模型能力評測榜單”,為了避免泄題,他盡量參考業(yè)界好的方案,自己出題?!爸饕菢I(yè)界和學(xué)術(shù)界的榜單,不太讓人滿(mǎn)意,公開(kāi)程度不高,都是各說(shuō)各話(huà)?!?/span>

還有一些非商業(yè)性質(zhì)的機構相信,測評榜單**的意義在于,從模型演化的角度,能夠幫助廠(chǎng)商監控模型生產(chǎn)過(guò)程中能力的變化,糾正訓練模型的方法,有針對性提高模型能力。

比如OpenCompass,它是Meta官方推薦的開(kāi)源大模型評測框架,利用分布式技術(shù)支持上百個(gè)數據集的評測,提供了大模型評測的所有技術(shù)細節,同時(shí)給大家提供了統一的測試基準,方便各家模型在公平公正的情況下開(kāi)展對比。

開(kāi)源:先賺吆喝再賺錢(qián)

對大模型做出全面評價(jià)是困難的。除了打榜的方式,有一些廠(chǎng)商通過(guò)開(kāi)源,獲得了巨大的關(guān)注。

開(kāi)源是一種經(jīng)營(yíng)策略,需要對自家產(chǎn)品足夠自信。相比之下,敢于放開(kāi)注冊讓公眾體驗的閉源大模型,要比那些無(wú)法體驗的強,開(kāi)源大模型則又往前邁了一步。

**個(gè)被大范圍使用、好評度最高的開(kāi)源大語(yǔ)言模型,是由Meta在今年2月推出的Llama。當時(shí)全球科技公司都盯著(zhù)OpenAI,試圖追趕閉源的ChatGPT。但開(kāi)源讓Meta坐上了牌桌,吸引了大量開(kāi)發(fā)者,一時(shí)名聲大噪。

國內公司很快跟上,搶抓**波關(guān)注度。智譜AI、智源研究院、百川智能,是動(dòng)作最快的三家。

在Llama開(kāi)源之后,號稱(chēng)全面對標OpenAI、有著(zhù)清華背景的智譜AI,迅速在國內**個(gè)開(kāi)源了自己的大模型ChatGLM-6B。這個(gè)時(shí)間點(diǎn)非常早,當時(shí)國內廠(chǎng)商的大模型都還沒(méi)發(fā)布,百度文心一言?xún)商旌蟛磐瞥?,而王小川的百川智能公司還沒(méi)成立。

三個(gè)月后的6月9日,跟智譜AI有著(zhù)很深淵源的智源研究院,宣布開(kāi)源“悟道·天鷹”Aquila。它比智譜AI更進(jìn)一步——可商用,于是拿下“國內首個(gè)開(kāi)源可商用語(yǔ)言大模型”的頭銜。

是否支持商用,是判斷模型能力的一個(gè)關(guān)鍵指標。GPT 3.5的水平,通常被認為是大模型商用的標準線(xiàn)。不過(guò),智源是一個(gè)非營(yíng)利機構,它更多的用意是為公用發(fā)展提供技術(shù)支持。

智源主動(dòng)開(kāi)源之后,開(kāi)源大模型的軍備競賽正式打響。

這其中值得一提的是百川智能。作為一家今年4月才成立的初創(chuàng )公司,百川獲得的關(guān)注度甚至超過(guò)很多互聯(lián)網(wǎng)大廠(chǎng)。

從時(shí)間上來(lái)看,百川是智源之后**家開(kāi)源的創(chuàng )業(yè)公司,且**個(gè)宣布可免費商用。它開(kāi)源不可商用的版本時(shí),比智譜AI早九天;后來(lái)開(kāi)源免費可商用的版本時(shí),又比智譜AI早三天。

時(shí)間點(diǎn)很重要。當時(shí)Llama1只被允許用作研究,但市場(chǎng)有傳聞可商用的Llama 2即將開(kāi)源。百川不僅搶在Llama 2之前,還卡在智譜AI之前宣布了免費可商用,贏(yíng)得了巨大的關(guān)注度,一周之內下載量破百萬(wàn)。

趙小躍認為,百川在那個(gè)時(shí)間發(fā)布一個(gè)開(kāi)源模型,作為自己的**槍?zhuān)且粋€(gè)很對的決策?!百嵙艘徊ㄟ汉??!?/span>

支持商用的Llama 2比百川和智譜AI晚了一周,即便如此,它還是在全球引發(fā)巨震。在同等參數規模下,Llama 2能力超過(guò)所有的開(kāi)源大模型,是目前全球公認的開(kāi)源大模型的代表。

因為L(cháng)lama的帶動(dòng),國內廠(chǎng)商踩上了開(kāi)源熱潮的風(fēng)口。它們急著(zhù)秀肌肉,爭奪大眾注意力。但從技術(shù)角度,尚不能說(shuō)明它們就跑在了前面。

有觀(guān)點(diǎn)認為,開(kāi)源模型雖多,但大多數都是從Llama派生出來(lái)。簡(jiǎn)單來(lái)說(shuō),就是用了Llama作為基模型,然后選用其它不同的訓練方法微調。因為L(cháng)lama原生在中文方面相對較弱,給了國產(chǎn)開(kāi)源大模型宣傳的發(fā)力點(diǎn)。

6月中旬百川開(kāi)源**版Baichuan-7B時(shí),公司只成立剛兩個(gè)月。當時(shí)有人質(zhì)疑其模型架構跟Llama很相似?!敖柚呀?jīng)開(kāi)源的技術(shù)和方案,百川是站在了巨人的肩膀上?!币晃淮竽P蛣?chuàng )業(yè)者評價(jià)。

本質(zhì)上,開(kāi)源也是一種商業(yè)模式。賺完吆喝后,廠(chǎng)商的目的還是賺錢(qián)。

陳冉向「定焦」舉了個(gè)例子,開(kāi)源就像一些化妝品品牌推出試用裝,免費給用戶(hù)用,但不會(huì )透露配方和成分。用戶(hù)試用完如果覺(jué)得好想繼續用,就得付費買(mǎi)商業(yè)版。另外它可能透露配方,如果有廠(chǎng)商想基于這個(gè)配方去創(chuàng )造一個(gè)新的產(chǎn)品,就需要交授權費。

百川在9月下旬推出了兩款閉源大模型,API接口對外開(kāi)放,進(jìn)入ToB領(lǐng)域,開(kāi)啟商業(yè)化進(jìn)程。

“它已經(jīng)通過(guò)開(kāi)源賺了一波吆喝,接下來(lái)一定會(huì )推閉源大模型做商業(yè)化,它***的模型是一定不會(huì )開(kāi)源的?!壁w小躍說(shuō)。

大家都沒(méi)有護城河?

“百模大戰”發(fā)展到今天,各家廠(chǎng)商通過(guò)各種方式博取關(guān)注度,那么誰(shuí)做到了真正的領(lǐng)先?

趙小躍認為,從主觀(guān)感受層面來(lái)看,國內的大模型,無(wú)論是開(kāi)源還是閉源,本質(zhì)上沒(méi)有核心的技術(shù)代差。因為無(wú)論是模型大小,還是數據質(zhì)量,大家都沒(méi)有飛躍式的突破?!霸贕PT3.5的指引下,國內廠(chǎng)商只要模型容量達到一定地步,再配合一批高質(zhì)量數據,大家都不會(huì )太差?!?/span>

但跟GPT4相比,技術(shù)代差是存在的?!耙驗殚]源,大家不知道GPT4背后真正的技術(shù)方案是什么,如何把這么大的模型用專(zhuān)家結構訓練出來(lái),目前大家還都在探索?!?/span>

在陳冉看來(lái),國內的大語(yǔ)言模型完全原創(chuàng )的較少,有些是在transformer架構上做了一個(gè)整體調優(yōu),本質(zhì)是在算子上做了調優(yōu),而沒(méi)有本質(zhì)上的改變。還有一些走開(kāi)源路線(xiàn)的廠(chǎng)商,更多是在中文方面深入研究。

大家都有自己的大模型,但本質(zhì)上沒(méi)有顯著(zhù)的區別,這就是當前國內大模型行業(yè)的特點(diǎn)。

某種程度上,這是由行業(yè)階段決定的。國內的互聯(lián)網(wǎng)大廠(chǎng)、創(chuàng )業(yè)公司、高??蒲袡C構,真正開(kāi)始投入大量人力物力做大模型,也就在今年。行業(yè)的技術(shù)路線(xiàn)也還在摸索中,沒(méi)有哪家公司建立起護城河。

相比純技術(shù)實(shí)力方面的比拼,算力和數據層面的比拼更能出效果。

“大家更多的精力是花在數據和語(yǔ)料上,誰(shuí)能花錢(qián)獲得高質(zhì)量的語(yǔ)料,同時(shí)有足夠的算力,誰(shuí)就能訓練出一個(gè)相對好一點(diǎn)的模型?!标惾秸f(shuō)。

開(kāi)源讓局面變得更加不可控。去年底ChatGPT亮相后,全球冒出來(lái)上百個(gè)大模型,但今年Meta開(kāi)源Llama 2之后,很多模型還沒(méi)有投入市場(chǎng)就已經(jīng)過(guò)時(shí)。就連谷歌的工程師都在內部直言稱(chēng),谷歌和OpenAI都沒(méi)有護城河。

大模型更新迭代太快了?!敖裉炷阃瞥鲆粋€(gè)大模型,花錢(qián)打了榜,有很多人用,可能明天就有個(gè)新的模型迅速替代掉?!标惾秸f(shuō)。

多位業(yè)內人士對「定焦」表示,大模型之間真正顯著(zhù)的區別,會(huì )在具體的用戶(hù)場(chǎng)景或B端的業(yè)務(wù)中體現。

“現實(shí)世界里我們評價(jià)某個(gè)人是專(zhuān)家,是因為他在特定領(lǐng)域很厲害。大模型也一樣,要在領(lǐng)域里建立共識,專(zhuān)業(yè)性一定要放到具體的場(chǎng)景里去體現?!蓖跞秸f(shuō)。

核心的通用能力是基礎,廠(chǎng)商會(huì )根據自己所在的領(lǐng)域,差異化發(fā)展?!氨热缥覀兏t院和律所接觸,他們其實(shí)更關(guān)心的是醫療或法律方面的能力?!壁w小躍說(shuō)。

對于互聯(lián)網(wǎng)巨頭而言,需要考量的因素相對更多。

除了要對外“接單”,巨頭們已經(jīng)開(kāi)始在內部進(jìn)行大模型的應用端部署。比如騰訊的廣告、游戲、社交、會(huì )議等業(yè)務(wù),接入了混元大模型,百度搜索、文庫、百家號等產(chǎn)品早已接入文心大模型,阿里把AI作為各大業(yè)務(wù)板塊的驅動(dòng)力。

大模型對巨頭內部的正面影響究竟有多大,會(huì )更難量化評估。

綜合來(lái)看,國內大模型還處在起跑的混沌階段,一切都在快速變化中。做出一個(gè)大模型的技術(shù)壁壘不高,但要做好并真的解決問(wèn)題,還有很長(cháng)的路要走。

*應受訪(fǎng)者要求,趙小躍為化名。

分享到: