界面新聞記者 | 于浩

10月26日，在由界面新聞主辦的2023 REAL科技大會上，北京智源人工智能研究院副院長林詠華發(fā)表了題為《打造大模型技術(shù)的“Linux”，為AI未來十年發(fā)展打下堅實根基》的主題演講。

在生成式人工智能的熱潮下，大模型及相關(guān)應(yīng)用正在步入研發(fā)落地的新階段。而回望人工智能產(chǎn)業(yè)的發(fā)展，“質(zhì)量”成為實現(xiàn)AI落地的“最后一公里”問題，即能否達到產(chǎn)業(yè)、工業(yè)的發(fā)展要求。針對這一點，林詠華的觀點是，大模型會比小模型更具挑戰(zhàn)。 

她特別提到，大模型的訓練數(shù)據(jù)、數(shù)據(jù)配比、訓練數(shù)據(jù)輸入順序，訓練過程中的所有超參設(shè)置都沒有完全公開，因此難以完全復現(xiàn)大模型的能力和問題；同時，大模型進行算法修改和重新訓練的投入極高，使得企業(yè)很難對其進行修補。再者，算法、數(shù)據(jù)和過程都有可能存在“debug”，問題成因難以分析。

這些因素都決定了基礎(chǔ)模型將會影響下游模型的能力，做基礎(chǔ)模型的企業(yè)機構(gòu)需要不斷打磨。

林詠華強調(diào)，未來10年，大模型必然牽引人工智能走向美好的星辰大海，但在當下面臨多種挑戰(zhàn)，包括基礎(chǔ)大模型費用昂貴、訓練數(shù)據(jù)集獲取不易、評測方法參差不齊、工具碎片化、計算資源日益受限等。 

在她看來，開源開放讓從業(yè)人員得以站在前人的基礎(chǔ)上繼續(xù)前行。智源此前的一系列發(fā)布動作也表明，其試圖利用開源開放來解決上述產(chǎn)業(yè)挑戰(zhàn)。 

具體到基礎(chǔ)大模型方面，近日智源宣布悟道·天鷹Aquila大語言模型系列全面升級，其中340億參數(shù)的Aquila2-34B在多個榜單均表現(xiàn)搶眼。此外，智源將Aquila2模型系列全部開源，Aquila2的創(chuàng)新訓練算法、FlagScale框架、FlagAttention算子集以及語義向量模型BGE均已同步開源。

據(jù)林詠華透露，智源研究院所開放的全球最大的中文數(shù)據(jù)集WuDaoCorpora目前已對外開放低風險數(shù)據(jù)200G，至今已有數(shù)萬次下載。 

評測方法方面，林詠華指出，大模型在生成能力、認知能力、人類思維能力的測評方面都面臨著挑戰(zhàn)：除少數(shù)生成任務(wù)外，生成能力仍主要依靠人類評分；認知的邊界難以確定；測評人類思維能力需要新的復雜測試集合、定義新的測試方式。 

計算資源方面，國內(nèi)廠商所采用的架構(gòu)和開發(fā)工具鏈的不同、眾多的AI框架、層出不窮的場景等等因素，使得異構(gòu)芯片間適配工作量大、開發(fā)復雜度高、評測標準也難以統(tǒng)一。 

針對這兩方面的挑戰(zhàn)，智源研究院分別推出了大模型評測體系及評測平臺FlagEval以及AI芯片評測開源項目FlagPerf。 

“大模型已經(jīng)從語言模型走向多模態(tài)，這是技術(shù)走向落地的一個重要階段。”林詠華表示，未來大模型會從互聯(lián)網(wǎng)應(yīng)用逐步走向千行百業(yè)，“我們希望看到大模型走出數(shù)字世界，走向物理世界，走向自動駕駛、機器人等場景。”