百度CTO王海峰:文心3.5模型效果提升50%
7月6日晚間消息,2023世界人工智能大會期間,百度首席技術官王海峰發(fā)言指出,百度文心大模型現(xiàn)已升級為文心大模型3.5,已實現(xiàn)基礎模型升級、精調技術創(chuàng)新、知識點增強、邏輯推理增強等,模型效果提升50%,訓練速度提升2倍,推理速度提升30倍。
今年3月,基于文心大模型3.0打造的“文心一言”公開邀測。時隔三個多月,文心大模型已迭代至3.5版本。對此,王海峰表示,與文心大模型3.0相比,3.5版本效果、功能、性能全面提升,實現(xiàn)了基礎模型升級、精調技術創(chuàng)新、知識點增強、邏輯推理增強等。
王海峰表示,截至目前飛槳已擁有750萬名開發(fā)者,這也是百度2023年以來首次對外披露飛槳生態(tài)最新數(shù)據(jù)。
據(jù)王海峰介紹,在基礎模型訓練上,文心大模型3.5采用了飛槳自適應混合并行訓練技術及混合精度計算策略,并采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布,加快了模型迭代速度,顯著提升了模型效果和安全性,同時還創(chuàng)新了多類型多階段有監(jiān)督精調、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結合的模型優(yōu)化等技術,進一步提升模型效果及場景適配能力。
在知識增強和檢索增強基礎上,文心大模型3.5提出了“知識點增強技術”,對用戶輸入的查詢、問題等進行分析理解,為大模型注入更具體、詳細、專業(yè)的知識點,顯著提升大模型對世界知識的掌握和運用。此外,文心大模型3.5還新增了插件機制,目前文心一言已對外發(fā)布官方插件百度搜索和ChatFile。
王海峰透露,文心一言將發(fā)布更多的百度官方和第三方插件,同時也將逐步開放插件生態(tài),幫助開發(fā)者基于文心大模型打造自己的應用。
如今,阿里通義大模型、騰訊MaaS解決方案均將大模型應用水平與行業(yè)場景落地劃等號,此外金山辦公、中國電信、天眼查、釘釘?shù)炔煌毞仲惖赖钠髽I(yè)也在切入垂直行業(yè)的“大模型圈”。
”大模型廣泛應用于各類場景,將加速產(chǎn)業(yè)智能化升級?!霸谕鹾7蹇磥?,在大模型產(chǎn)業(yè)落地的進程中,可以采用“集約化生產(chǎn),平臺化應用”的模式,即具有算法、算力和數(shù)據(jù)綜合優(yōu)勢的企業(yè)將模型生產(chǎn)的復雜過程封裝起來,通過低門檻、高效率的生產(chǎn)平臺,為千行百業(yè)提供大模型服務。
免責聲明:本網(wǎng)站所有文章僅作為資訊傳播使用,既不代表任何觀點導向,也不構成任何投資建議?!?/div>
猜你喜歡
百度2022全年營收1236.75億元,凈利潤同比增長10%,計劃將多項主流業(yè)務與文心一言整合
在發(fā)給百度全員的財報信中,李彥宏重點介紹了百度將在三月份推出的生成式AI產(chǎn)品文心一言(ERNIE Bot),宣布計劃將多項主流業(yè)務與文心一言整合。