• 文心大模型

10月17日，以“生成未來(lái)”為主題的百度世界2023在北京首鋼園舉辦，百度首席技術(shù)官王海峰解讀文心大模型4.0背后的關(guān)鍵技術(shù)和最新進(jìn)展。王海峰表示，文心大模型4.0的理解、生成、邏輯、記憶四大能力都有顯著提升，9月已開(kāi)始小流量上線，過(guò)去一個(gè)多月效果又提升了近30%。8月31日文心一言面向全社會(huì)開(kāi)放至今，用戶規(guī)模已經(jīng)達(dá)到4500萬(wàn)，開(kāi)發(fā)者5.4萬(wàn)，場(chǎng)景4300個(gè)，應(yīng)用825個(gè)，插件超過(guò)500個(gè)。

文心大模型4.0首發(fā)，理解、生成、邏輯和記憶能力顯著提升

據(jù)了解，百度在3月16日發(fā)布知識(shí)增強(qiáng)大語(yǔ)言模型文心一言。文心一言從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí)，得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù)，具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的技術(shù)優(yōu)勢(shì)。

文心一言的基礎(chǔ)模型5月升級(jí)至文心大模型3.5，在基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)、插件機(jī)制等方面創(chuàng)新突破，取得效果和效率的提升。

今天發(fā)布的文心大模型4.0，相比3.5版本，理解、生成、邏輯、記憶四大能力都有顯著提升。其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。百度基于文心大模型研制了智能代碼助手Comate，從內(nèi)部應(yīng)用效果來(lái)看，整體的代碼采納率達(dá)到40%，高頻用戶的代碼采納率達(dá)到60%。

據(jù)悉，文心大模型4.0在9月已開(kāi)始小流量上線，過(guò)去一個(gè)多月效果又提升了近30%。訓(xùn)練算法效率自3月以來(lái)已累計(jì)提升3.6倍，周均的訓(xùn)練有效率超過(guò)98%。文心大模型4.0基本技術(shù)架構(gòu)與3.0和3.5版本一脈相承，并在多個(gè)關(guān)鍵技術(shù)方向上進(jìn)一步創(chuàng)新突破。

在萬(wàn)卡算力上運(yùn)行飛槳平臺(tái)，通過(guò)集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了大模型的穩(wěn)定高效訓(xùn)練。建設(shè)了多維數(shù)據(jù)體系，形成了數(shù)據(jù)挖掘、分析、合成、標(biāo)注、評(píng)估閉環(huán)，充分釋放數(shù)據(jù)價(jià)值，大幅提升模型效果?；谟斜O(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對(duì)齊，保證模型更好地與人類的判斷和選擇對(duì)齊?？稍偕?xùn)練技術(shù)通過(guò)增量式的參數(shù)調(diào)優(yōu)，有效節(jié)省了訓(xùn)練資源和時(shí)間，加快了模型迭代速度。

此外，文心大模型4.0在輸入和輸出階段都進(jìn)行知識(shí)點(diǎn)增強(qiáng)。一方面，對(duì)用戶輸入的問(wèn)題進(jìn)行理解，并拆解出回答問(wèn)題所需的知識(shí)點(diǎn)，然后在搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù)中查找準(zhǔn)確知識(shí)，最后把這些找到的知識(shí)組裝進(jìn)Prompt送入大模型，準(zhǔn)確率好，效率也高；另一方面，對(duì)大模型的輸出進(jìn)行反思，從生成結(jié)果中拆解出知識(shí)點(diǎn)，然后再利用搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù)，以及大模型本身進(jìn)行確認(rèn)，進(jìn)而對(duì)有差錯(cuò)的點(diǎn)進(jìn)行修正。

在強(qiáng)大的基礎(chǔ)大模型的基礎(chǔ)上，百度進(jìn)一步研制了智能體機(jī)制，包括理解、規(guī)劃、反思和進(jìn)化，能夠做到可靠執(zhí)行、自我進(jìn)化，并一定程度上將思考過(guò)程白盒化，讓機(jī)器像人一樣思考和行動(dòng)，自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)實(shí)現(xiàn)自主進(jìn)化。

文心一言助力國(guó)圖館藏文化資源活化，升級(jí)國(guó)家跳水隊(duì)AI輔助訓(xùn)練系統(tǒng)

百度已經(jīng)與中國(guó)國(guó)家圖書館展開(kāi)戰(zhàn)略合作，發(fā)揮各自的資源、技術(shù)和服務(wù)優(yōu)勢(shì)，共同推動(dòng)文化資源和知識(shí)服務(wù)智能化，普惠大眾。國(guó)家圖書館擁有全球最大的古代方志，利用文心大模型學(xué)習(xí)古代方志與家譜數(shù)據(jù)，幫助全球華人獲取更多尋根線索。王海峰現(xiàn)場(chǎng)分享了海外華人趙佩娟延續(xù)祖父鄉(xiāng)愁，成功“尋根”的故事。

中國(guó)國(guó)家跳水隊(duì)教練、奧運(yùn)五金王陳若琳和奧運(yùn)冠軍全紅嬋、陳芋汐、王宗源也來(lái)到世界大會(huì)現(xiàn)場(chǎng)，與王海峰熱切互動(dòng)，解密夢(mèng)之隊(duì)訓(xùn)練“獨(dú)門絕技”?；谖男囊谎缘劝俣却竽Ｐ图夹g(shù)，中國(guó)國(guó)家跳水隊(duì)AI輔助訓(xùn)練系統(tǒng)全面升級(jí)，通過(guò)從海量數(shù)據(jù)和知識(shí)中學(xué)習(xí)，掌握了豐富的跳水知識(shí)，理解和執(zhí)行教練員和運(yùn)動(dòng)員的復(fù)雜指令，及時(shí)提供準(zhǔn)確信息，并對(duì)動(dòng)作實(shí)時(shí)打分、精準(zhǔn)量化分析，提供最有價(jià)值的指導(dǎo)信息，助力中國(guó)國(guó)家跳水隊(duì)高效訓(xùn)練。

現(xiàn)場(chǎng)，陳若琳受中國(guó)游泳協(xié)會(huì)主席周繼紅委托，授予百度為“中國(guó)國(guó)家跳水隊(duì)人工智能合作伙伴”。陳若琳表示，中國(guó)國(guó)家跳水隊(duì)與百度從2019年就開(kāi)展了深入的技術(shù)合作，攜手走過(guò)了東京奧運(yùn)會(huì)、福岡世錦賽、杭州亞運(yùn)會(huì)，目前正在備戰(zhàn)明年巴黎奧運(yùn)會(huì)。“感謝百度一直以來(lái)提供的技術(shù)支持與服務(wù)，未來(lái)雙方將攜手持續(xù)用人工智能技術(shù)幫助跳水隊(duì)智能訓(xùn)練，通過(guò)科學(xué)訓(xùn)練提升競(jìng)技水平。”

百度人才培養(yǎng)星河計(jì)劃發(fā)布，再培養(yǎng)500萬(wàn)大模型人才

王海峰現(xiàn)場(chǎng)公布了百度人工智能人才培養(yǎng)的最新數(shù)據(jù)，百度在2020年提出5年為全社會(huì)培養(yǎng)500萬(wàn)AI人才，截至目前，百度已經(jīng)培養(yǎng)了420萬(wàn)AI人才。

當(dāng)下，大模型成為人工智能發(fā)展的熱點(diǎn)方向，進(jìn)一步加速產(chǎn)業(yè)變革，AI人才培養(yǎng)也需與時(shí)俱進(jìn)。王海峰發(fā)布了百度人才培養(yǎng)星河計(jì)劃，他表示，“我們將與產(chǎn)學(xué)研各界密切合作，深化產(chǎn)教融合，為社會(huì)再培養(yǎng)500萬(wàn)大模型人才，讓人工智能科技的‘創(chuàng)新之花’，結(jié)出更多‘產(chǎn)業(yè)之果’，服務(wù)國(guó)家戰(zhàn)略，服務(wù)社會(huì)發(fā)展，服務(wù)人民福祉！”