近日，AI創(chuàng)企“生數(shù)科技”完成了近億元的天使輪融資。此輪融資由螞蟻集團(tuán)領(lǐng)投，BV百度風(fēng)投、卓源資本跟投，目前企業(yè)估值已達(dá)1億美金。資金主要將用于核心研發(fā)團(tuán)隊的建設(shè)，加速多模態(tài)大模型和應(yīng)用產(chǎn)品的研發(fā)。

成立于2023年3月，生數(shù)科技由安全可控人工智能方案提供商瑞萊智慧RealAI、螞蟻集團(tuán)和BV百度風(fēng)投聯(lián)合孵化，聚焦于多模態(tài)生成式大模型與應(yīng)用產(chǎn)品開發(fā)。團(tuán)隊成員主要來自清華大學(xué)人工智能研究院，前瑞萊智慧副總裁唐家渝出任首席執(zhí)行官。

熱潮席卷半年以來，大模型賽道的競爭壁壘變與不變共存。唐家渝認(rèn)為，不變的是底層算法能力依然是企業(yè)的核心壁壘所在，“文本、圖像應(yīng)用雖然火熱，但不可控性仍然很大，對用戶意圖、精確細(xì)節(jié)的把控有很大的欠缺，3D、視頻等多模態(tài)的生成效果距離真正可商用也還有較大的距離，這意味著底層算法的迭代仍有較大的空間”。

但漸漸產(chǎn)生變化的是算法和工程相結(jié)合的能力，即訓(xùn)練大模型的全棧能力的重要性越發(fā)凸顯?！安簧偃硕伎梢杂矛F(xiàn)成的開源模型做finetune，但目前開源模型的能力天花板仍不高?！碧萍矣灞硎荆岸鴵碛袕?到1構(gòu)建大模型能力的話，能在吸納開源社區(qū)精華的同時，從底層更快更有效地優(yōu)化模型表現(xiàn)。而且訓(xùn)練過程中存在很多的坑，只有真的懂底層原理，才能盡可能地避坑，既擁有對模型底層的深刻理解又擁有實際從0到1訓(xùn)練大模型經(jīng)驗的團(tuán)隊目前是很稀缺的?！?

另外多模態(tài)作為發(fā)展趨勢已成為行業(yè)共識，與大語言模型（LLM）不同，多模態(tài)大模型的研究仍然處于初步階段，國內(nèi)外的研究進(jìn)度并沒有形成代際差。唐家渝表示，這對國內(nèi)團(tuán)隊而言是搶占大模型賽道的重要機(jī)會。

現(xiàn)階段發(fā)展多模態(tài)的核心難點之一在于構(gòu)建一套通用架構(gòu)對圖像、視頻、語音等不同模態(tài)進(jìn)行統(tǒng)一的建模。唐家渝告訴36氪，市面上不少的大模型宣稱擁有多模態(tài)能力，但實際上是多個單模態(tài)或跨模態(tài)模型的“排列組合”，簡單集成不同模型能力，而非在底層上將多模態(tài)進(jìn)行真正的打通和融合。

“這不是真正的智能”，他打了個比方，“人類在與世界的交互過程中，能同時對不同模態(tài)間的信息進(jìn)行理解和學(xué)習(xí)，雖然通過眼睛、耳朵、嘴巴、四肢等不同器官來獲取和表達(dá)信息，但只用一個大腦來進(jìn)行中轉(zhuǎn)思考。聲音、視覺、動作等多模態(tài)信息同時輸入和輸出，人類才能夠?qū)⒁粋€事物或者概念認(rèn)識和表達(dá)得足夠準(zhǔn)確。”另外，在“排列組合”的模式下，通常需要訓(xùn)練承載不同跨模態(tài)任務(wù)的多個模型，從成本經(jīng)濟(jì)的角度也不是最優(yōu)解。

生數(shù)科技團(tuán)隊于2023年初開源了基于Transformer的多模態(tài)擴(kuò)散大模型Unidiffuser，使用U-ViT的Transformer架構(gòu)首次在Diffusion Model（擴(kuò)散模型）上實現(xiàn)多模態(tài)，實現(xiàn)基于一個底層模型高質(zhì)量地完成文生圖、圖生文、圖文聯(lián)合生成、圖文改寫等多種生成任務(wù)。唐家渝介紹，Unidiffuser前期訓(xùn)練所用數(shù)據(jù)量達(dá)到了20多億，目前公司自研中的全新大模型所用訓(xùn)練數(shù)據(jù)量達(dá)到了百億級別。

再往前追溯，生數(shù)團(tuán)隊對多模態(tài)生成式模型的探索最早開始于2013年，在清華實驗室階段，團(tuán)隊早期成員就開始了生成式模型理論基礎(chǔ)、高效學(xué)習(xí)和推理算法，以及音樂生成、人臉合成等多方面的研究工作。

自2020年擴(kuò)散模型應(yīng)用于圖像生成領(lǐng)域以來，生數(shù)團(tuán)隊也是業(yè)內(nèi)首批開展擴(kuò)散概率模型基礎(chǔ)理論和算法研究的隊伍，于ICML、NeurIPS、ICLR等頂會發(fā)表擴(kuò)散概率模型領(lǐng)域相關(guān)論文20余篇。團(tuán)隊先后推出自研的無訓(xùn)練推理框架Analytic-DPM、全球最快采樣算法DPM-Solver，被DALL-E 2、Stable Diffusion等國際項目所采用。

目前，生數(shù)科技正在研發(fā)的產(chǎn)業(yè)級多模態(tài)大模型仍處于快速迭代階段，但在圖像生成、3D內(nèi)容生成、視頻生成等任務(wù)中已經(jīng)實現(xiàn)高水平的生成效果。

例如，團(tuán)隊研發(fā)了業(yè)內(nèi)首個實現(xiàn)基于三視圖自動生成3D內(nèi)容的技術(shù)，以及無需任何3D訓(xùn)練數(shù)據(jù)的文生3D內(nèi)容技術(shù)。目前該模型的3D生成效果已接近產(chǎn)業(yè)級應(yīng)用水平，并領(lǐng)先Shap-E（OpenAI）、DreamFusion（Google）、Magic3D（NVIDIA）等主流模型。其次，唐家渝表示，圖像生成已超過Stable Diffusion最新版基礎(chǔ)模型水平，預(yù)計將于年內(nèi)趕超Midjourney最新版本。

在商業(yè)模式的探索上，生數(shù)科技堅持模型層與應(yīng)用層兩條腿同時走路。唐家渝表示，基于開源模型開發(fā)應(yīng)用類產(chǎn)品能夠讓非專業(yè)領(lǐng)域的普通公眾快速上手創(chuàng)作，偏向娛樂性的玩法能帶來一定的用戶基礎(chǔ)，快速驗證技術(shù)價值，但同時也要兼顧高價值的關(guān)鍵場景，例如產(chǎn)品設(shè)計、游戲制作、影視制作等專業(yè)領(lǐng)域，專業(yè)化、細(xì)節(jié)精確程度越高，對效果質(zhì)量和可控性也提出更高要求，這需要與行業(yè)機(jī)構(gòu)在場景、數(shù)據(jù)方面開展合作，結(jié)合底層模型的架構(gòu)優(yōu)化，進(jìn)一步提升模型的專有能力。

因此，基于自研產(chǎn)業(yè)級多模態(tài)大模型，生數(shù)科技目前正面向圖像創(chuàng)作、3D資產(chǎn)創(chuàng)建等細(xì)分場景打造垂類應(yīng)用，服務(wù)范圍覆蓋C、B兩端。面向C端用戶，生數(shù)科技將為普通用戶和專業(yè)創(chuàng)作者打造供圖像創(chuàng)作助理，提供個性化的服務(wù)。面向B端用戶，將為機(jī)構(gòu)企業(yè)、垂直領(lǐng)域的技術(shù)服務(wù)商提供通用服務(wù)。目前，生數(shù)科技已與多家游戲廠商、設(shè)計平臺建立初步合作，應(yīng)用級產(chǎn)品也將于近期推出。

AIGC時代已經(jīng)全面開啟。唐家渝表示，生數(shù)科技希望通過打造領(lǐng)先的具備豐富模態(tài)感知與生成能力的AI產(chǎn)品，使每個人都能夠從簡單枯燥的任務(wù)和專業(yè)化工具的使用束縛中解放出來，不論是專業(yè)還是非專業(yè)人士都能將心中所想快速、自動化地實現(xiàn)，通過解放想象力進(jìn)而提升創(chuàng)造力和生產(chǎn)力。

螞蟻集團(tuán)表示，預(yù)訓(xùn)練模型、擴(kuò)散模型等關(guān)鍵算法和模型的出現(xiàn)與演進(jìn)推動了生成式AI的快速發(fā)展。生數(shù)團(tuán)隊在生成式模型、擴(kuò)散模型、大模型研發(fā)探索與科研人才儲備上具備堅實的基礎(chǔ)，同時學(xué)術(shù)與產(chǎn)業(yè)深度融合的背景，也賦予了團(tuán)隊貫穿從底層技術(shù)研發(fā)到產(chǎn)品應(yīng)用落地的獨特能力。我們相信生數(shù)團(tuán)隊能夠在這波AI浪潮中突圍而出，同時也期待團(tuán)隊能夠不斷開拓多模態(tài)大模型的技術(shù)邊界和應(yīng)用場景，成為中國生成式大模型領(lǐng)域的佼佼者。 

BV百度風(fēng)投表示，多模態(tài)是大模型的重要發(fā)展方向且正處于高速發(fā)展階段，未來有望在更廣、更深的層面影響社會生活的多個領(lǐng)域，創(chuàng)造巨大的產(chǎn)業(yè)價值。大模型發(fā)展要取得突破需要對底層算法原理有深入理解，同時需要具備廣泛的專業(yè)知識和經(jīng)驗，生數(shù)團(tuán)隊在深度生成式模型基礎(chǔ)理論和算法研究方面擁有深厚的積累，同時創(chuàng)始團(tuán)隊在大模型研發(fā)能力、工程化能力和產(chǎn)品化創(chuàng)新能力等方面具有經(jīng)驗優(yōu)勢。我們對團(tuán)隊未來發(fā)展充滿信心，也希望團(tuán)隊在擴(kuò)散模型和多模態(tài)大模型方向上取得更多的突破和成就。 

卓源資本表示，AIGC正在走向真實落地，這一過程需要保持對前沿技術(shù)的探索和深刻理解。生數(shù)科技孵化自是國內(nèi)最頂尖的機(jī)器學(xué)習(xí)基礎(chǔ)理論研究團(tuán)隊，在貝葉斯模型、高效算法和概率建模等方面擁有系統(tǒng)深入的研究成果，為團(tuán)隊在生成式大模型領(lǐng)域的工作開展提供了重要的底層支撐，同時也為團(tuán)隊構(gòu)筑起領(lǐng)先的競爭優(yōu)勢。期待在團(tuán)隊的科研背景、創(chuàng)新精神以及對多模態(tài)發(fā)展的深入理解等多方優(yōu)勢的驅(qū)動下，生數(shù)團(tuán)隊在未來能快速實現(xiàn)令人矚目的發(fā)展。