每經編輯 杜宇

當地(di)時間4月18日，重磅(bang)直(zhi)逼(bi)AI 領域迎來重磅(bang)消息(xi)，推出(chu)Meta正式發布了人們等(deng)待已久的開源(yuan)開源(yuan)大模型Llama 3。

與此同時，大模Meta首席執行官扎克伯格宣布：基于最新的型L性Llama 3模型，Meta的重磅直逼杏彩彩票平臺怎么樣安全嗎AI助(zhu)手現在已經(jing)覆蓋Instagram、WhatsApp、推出Facebook等全系應用(yong)，開(kai)源并單獨開(kai)啟了(le)網站。大模另外還(huan)有一個(ge)圖像(xiang)生(sheng)成器，型L性可根據自然語言提示詞生(sheng)成圖片(pian)。重磅直(zhi)逼

Meta首席執行官馬克·扎克伯格在一(yi)段視頻中表(biao)示，推出該助理可以(yi)回答問(wen)題、開源制作動畫和生成圖(tu)像。大模

扎克伯(bo)格在 Facebook 上發帖：Big AI news today

Meta首席執行官馬克·扎克伯格在視頻中表示：我們相信，型L性杏彩彩票是不是正規機構的Meta AI現在是你(ni)可(ke)以(yi)自由(you)使用的(de)最智能的(de)人工(gong)智能助手。Meta AI內置于WhatsApp、Instagram、Facebook和(he)Messenger應用程(cheng)序的(de)搜(sou)索框中，因(yin)此用戶(hu)可(ke)以(yi)輕松地提出(chu)可(ke)以(yi)通(tong)過(guo)新工(gong)具(ju)回答(da)的(de)問題。

扎克伯格表(biao)示(shi)，Meta 提供(gong)的(de)生成(cheng)式 AI 能(neng)力(li)在免費產(chan)品中(zhong)性能(neng)是(shi)最強大的(de)。

在(zai)(zai) Facebook、Instagram、WhatsApp 和 Messenger 上(shang)，用戶現在(zai)(zai)可(ke)以(yi)借助(zhu) Meta AI 進行搜索，無(wu)需(xu)在(zai)(zai)應用程序之(zhi)間切(qie)換：

當你瀏覽信息流的時候，還可以直接從帖子中向 Meta AI 詢問更多信息：

圖像生成器帶來的玩法更加有趣，Imagine 功能帶來了從文本實時創建圖像。杏彩彩票注冊官網這一功能的測試版(ban)從今天開始(shi)在美國的 WhatsApp 和(he) Meta AI 網絡體驗上推(tui)出。

開(kai)始打字時，你會看到一(yi)個圖像出現，每(mei)多輸入幾(ji)個字母(mu)，圖像都(dou)會發生變化：

Meta表示，Llama 3在(zai)多個關(guan)鍵的(de)(de)基準(zhun)測試中性能(neng)(neng)(neng)優于業界(jie)先(xian)進(jin)同類模(mo)型(xing)，其(qi)在(zai)代碼生成等(deng)任務上實現(xian)了全面(mian)領先(xian)，能(neng)(neng)(neng)夠進(jin)行復(fu)雜的(de)(de)推理(li)，可以更遵循指令(ling)，能(neng)(neng)(neng)夠可視化(hua)想法并解決很多微妙的(de)(de)問題。

Llama 3的主要亮點包括：

基于(yu)超過(guo)15T token訓練，相當(dang)于(yu)Llama 2數(shu)據集的7倍還多(duo)；

支持8K長文(wen)本，改進的tokenizer具有(you)128K token的詞匯量(liang)，可實現更好的性能；

在大量重要基準(zhun)中均(jun)具有最先進性能；

新(xin)能力范疇，包括增強的推理和代碼能力；

訓練(lian)效率比Llama 2高3倍(bei)；

帶有Llama Guard 2、Code Shield和CyberSec Eval 2的新(xin)版信任和安全工具(ju)。

剛剛發布的(de)8B和70B版(ban)本Llama 3模型已用(yong)于Meta AI助手，同時也(ye)面向開發者(zhe)進行了開源，包括預訓練(lian)和微(wei)調版(ban)本。

最新發布(bu)的(de)(de)(de)8B和(he)70B參數的(de)(de)(de)Llama 3模(mo)型可以說是Llama 2的(de)(de)(de)重(zhong)大飛躍，由于預訓練(lian)(lian)(lian)和(he)后訓練(lian)(lian)(lian)（Post-training）的(de)(de)(de)改進，本次發布(bu)的(de)(de)(de)預訓練(lian)(lian)(lian)和(he)指(zhi)令(ling)微調(diao)模(mo)型是當今8B和(he)70B參數規模(mo)中的(de)(de)(de)最佳模(mo)型。與此同時，后訓練(lian)(lian)(lian)過程的(de)(de)(de)改進大大降低了(le)(le)模(mo)型出錯率，進一步改善了(le)(le)一致性(xing)，并增(zeng)加了(le)(le)模(mo)型響應的(de)(de)(de)多樣(yang)性(xing)。

Llama 3將數據和規模提升到新的高度。Meta表示，Llama 3是在兩個定制的24K GPU集群上、基于超過15T token的數據上進行了訓練——相當于Llama 2數據集的7倍還多，代碼數據相當于Llama 2的4倍。從而產生了迄今為止最強大的Llama模型，Llama 3支持8K上下文長度，是Llama 2容量的兩倍。

此外，Meta還開發(fa)了一(yi)套(tao)新的(de)高質量人類(lei)評估(gu)數據集(ji)。該(gai)評估(gu)集(ji)包(bao)含1800個提示，涵蓋12個關鍵用例：尋求(qiu)建議(yi)、頭腦風暴(bao)、分類(lei)、封閉式問答、編碼(ma)、創意寫(xie)作、提取、塑造角色、開放式問答、推理(li)、重寫(xie)和(he)總(zong)結(jie)。為了防止Llama 3在(zai)此評估(gu)集(ji)上出現(xian)過度(du)擬合，Meta表示他們自己的(de)團(tuan)隊也無法(fa)訪問該(gai)數據集(ji)。下圖(tu)顯示了針對(dui)Claude Sonnet、Mistral Medium和(he)GPT-3.5對(dui)這些(xie)類(lei)別和(he)提示進(jin)行人工評估(gu)的(de)匯總(zong)結(jie)果。

下(xia)圖是 Llama 3 預訓練模型(xing)和其他同等規模模型(xing)的比較，前者表現出 SOTA 水平。

為(wei)(wei)了訓(xun)練(lian)(lian)最(zui)好的語(yu)言(yan)(yan)模(mo)型，管理(li)大型、高質量(liang)的訓(xun)練(lian)(lian)數(shu)據集至(zhi)關重(zhong)要。Meta在預訓(xun)練(lian)(lian)數(shu)據上(shang)(shang)投入了大量(liang)成本。Llama 3使用超過15T的token進(jin)行(xing)了預訓(xun)練(lian)(lian)，這些token都是從公開來(lai)源收集的。總體上(shang)(shang)講，Llama 3的訓(xun)練(lian)(lian)數(shu)據集是Llama 2使用的數(shu)據集的七(qi)倍多，并且包含四倍多的代碼。為(wei)(wei)了為(wei)(wei)即將到來(lai)的多語(yu)言(yan)(yan)用例(li)做(zuo)好準(zhun)備，超過5%的Llama 3預訓(xun)練(lian)(lian)數(shu)據集由涵(han)蓋30多種語(yu)言(yan)(yan)的高質量(liang)非英語(yu)數(shu)據組(zu)成。但(dan)是，Llama 3在這些語(yu)言(yan)(yan)上(shang)(shang)的性(xing)能(neng)水平預計不會與(yu)英語(yu)相(xiang)同。

為了確保Llama 3接受(shou)最高質量(liang)數(shu)據(ju)(ju)的訓練(lian)，研究團隊開發(fa)了一系(xi)列數(shu)據(ju)(ju)過濾(lv)pipeline，包括(kuo)使用(yong)啟發(fa)式過濾(lv)器（filter）、NSFW過濾(lv)器、語義(yi)重復數(shu)據(ju)(ju)刪除方法和文本(ben)分類器來(lai)預測數(shu)據(ju)(ju)質量(liang)。

研究團(tuan)隊發現前幾(ji)代Llama非常擅長識別高質量數據，因此Meta使用(yong)Llama 2為給Llama 3提供支持的文本(ben)質量分類器生成訓練(lian)數據。

研究團隊(dui)還進行了廣泛的(de)實驗，以評估出在(zai)最終(zhong)預訓(xun)練數(shu)(shu)據集中不同來源(yuan)數(shu)(shu)據的(de)最佳混(hun)合方式(shi)，最終(zhong)確保Llama 3在(zai)各種用例（包括日(ri)常問題、STEM、編碼、歷史知識(shi)等）中表(biao)現良(liang)好。

Meta表示，最大的(de)Llama 3參數(shu)超(chao)過(guo)400B，雖然(ran)這些機型(xing)仍在訓練中(zhong)，但在接(jie)下來的(de)幾(ji)個月中(zhong)也將(jiang)陸續發布(bu)，新功能包括多模態、多語言對話能力(li)、更(geng)長的(de)上下文窗口以及(ji)更(geng)強的(de)整(zheng)體能力(li)。

Meta希(xi)望(wang)Llama 3能趕上(shang)OpenAI的(de)GPT-4。不過知情人士透露，因為研(yan)究(jiu)人員尚(shang)未開始對Llama 3進(jin)行微(wei)調，所以(yi)尚(shang)未決定Llama 3是否將是多模(mo)態模(mo)型(xing)(xing)。微(wei)調是開發人員為現有(you)模(mo)型(xing)(xing)提供(gong)額外數據的(de)過程(cheng)，以(yi)便它可以(yi)學習新(xin)信息或(huo)任務。較大的(de)模(mo)型(xing)(xing)通常會提供(gong)更(geng)高質量的(de)答(da)復，而(er)較小的(de)模(mo)型(xing)(xing)往往會更(geng)快的(de)提供(gong)答(da)復。有(you)消息稱，正式版的(de)Llama 3將會在今年7月(yue)正式推出。

Meta還宣布與(yu)Alphabet的(de)(de)谷歌(ge)建立新(xin)的(de)(de)合作(zuo)伙伴(ban)關系，在(zai)助手的(de)(de)答復(fu)中包括實(shi)時搜(sou)索結果，作(zuo)為與(yu)微軟必應現(xian)有(you)合作(zuo)的(de)(de)補充。隨著此次更(geng)新(xin)，Meta AI助手正(zheng)在(zai)擴展(zhan)到美國以外(wai)的(de)(de)十多個市場，包括澳大利亞(ya)(ya)、加(jia)拿(na)大、新(xin)加(jia)坡、尼日利亞(ya)(ya)和巴基斯(si)坦。考克斯(si)說，Meta“仍在(zai)努(nu)力(li)以正(zheng)確的(de)(de)方(fang)式在(zai)歐洲做到這一點”。歐洲的(de)(de)隱私規定更(geng)加(jia)嚴格，即將出(chu)臺的(de)(de)人工智能(neng)法案也(ye)準備提出(chu)披露模型訓練(lian)數據(ju)等要(yao)求。

每日經濟(ji)新(xin)聞(wen)綜合公開(kai)資料

封面圖(tu)片(pian)來源：：每日經濟新聞 資料圖(tu)