界面新聞記者 | 查沁君
面向數學領域的大模型也要來了。
5月5日,學而思表示正在進行自研數學大模型的研發,命名為MathGPT,面向全球數學愛好者和科研機構,以數學領域的解題和講題算法為核心,將于年內推出基于該自研大模型的產品級應用。
據學而思透露,MathGPT為公司核心項目,由CTO田密負責,今年春節前,已啟動相應的團隊建設、數據、算力準備和技術研發,目前已取得階段性成果。此外,該公司還啟動了美國硅谷團隊建設,將成立一支海外算法和工程團隊,在全球范圍內招募優秀的人工智能專家加入。
自年初以來,美國OpenAI研發的大語言模型ChatGPT在全球引發熱潮,國內百度、阿里也相繼發布了各自的大模型產品,MathGPT與這些大語言模型(Large Language Model簡稱LLM)有何差異?
“通用語言模型更像一個‘文科生’,在語言翻譯、摘要、理解和生成等任務上有出色表現,但在數學問題的解決、講解、問答和推薦方面則存在明顯不足?!睂W而思解釋,比如解答數學問題經常出錯,生成內容冗余,有些數學問題雖然能解決,但方法更偏成年人,無法針對適齡孩子的知識結構和認知水平做適配。
“這種不足是由LLM模型自身特點決定的?!睂W而思AI團隊負責人介紹,LLM大模型來自對海量語言文本的訓練,因此最擅長語言處理。行業內偏向基于LLM大模型做閱讀、寫作類應用,但如果想要在數學能力上有突破,就需要研發新的大模型。
5月4日,好未來(NYSE:TAL)CTO田密在其個人抖音號上討論了關于大模型的一個本質話題,也為MathGPT的推出埋下伏筆。即未來到底是一個通用大模型一統天下,還是各個領域的大模型百花齊放?
他提到,通用大模型的觀點是,LLM大型語言模型的參數還會不斷提升,參與訓練的語料會越來越大,越來越多元,泛化能力和遷徙學習的能力會不斷增強。LLM也很快會從文本升級到多模態,如圖片、語音、視頻。領域大模型在一個超級強大的通用大模型前是守不住的,未來一定會到達AGI通用大模型一統天下。
而領域大模型派的觀點是,一個通用大模型再強大,也很難在每個領域都能拿到最佳效果。很多領域存在數據壁壘和行業know-how(企業內部的技術訣竅、專業知識、獨家配方,屬于無形資產的商業秘密),大模型還是得和領域知識深度結合,加上足夠多的領域數據來訓練。
“一個大模型搞定一切的思路也許并不是最經濟的解法,模型參數過大,訓練和推理的成本都會數量級的提升。”田密認為,一個通用大模型作為交互接口,然后用Toolformer(可以自學使用工具的語言模型)的思路,根據具體的任務,自動調用對應的領域模型獲得結果,這種模型組合的方式性價比更高。
他還提到,美國支持通用大模型終局的人更多,而國內支持領域大模型終局的人更多。
學而思AI團隊負責人介紹,數學、醫學等垂直領域,對AI的需求是準確、清晰、具備強大的邏輯推理能力,且容錯率低,通用大模型目前的性能表現還無法在上述領域取得突破,未來是否可能取得突破尚不清晰。
以數學領域為例,目前市場上有幾個主要流派。比如Google收購的Photomath、微軟數學、Mathway、專注數學計算的WolframAlpha等產品,主要利用非LLM的傳統AI技術加上數據庫的方式解決數學問題。
走AGI路線的公司則嘗試讓通用LLM“更懂數學”,比如GPT4在數學任務上比之前的3.5版本性能更好,谷歌旗下的Minerva模型也專門針對數學問題進行調優。學而思選擇了另一條路,不基于現有LLM做微調和接口調用、不做通用LLM,而是自研基于專業領域的“數學大模型”。
如何利用大語言模型服務各行各業是當下社會的焦點問題。
比如在教育領域,Duolingo(NASDAQ:DUOL)、Quizlet、可汗學院等產品主要和OpenAI合作,在GPT大模型上做微調和接口調用,增強原有的產品體驗。
今年3月,美國課外輔導在線教育平臺Chegg(NYSE:CHGG)宣布推出自己的人工智能聊天機器人CheggMate,該產品旨在使用新技術提供更多輔導、即時反饋和個性化學習,由OpenAI最新人工智能模型GPT-4支持。
但Chegg首席執行官Dan Rosensweig日前在一季度財報電話會議上稱:“自3月以來,我們發現學生對ChatGPT的興趣大幅飆升。我們認為它正在對我們的新客戶增長率產生影響?!彪S后,該公司股價于本周二盤中一日暴跌48.41%,收盤價為9.08美元/股。
早在今年2月,網易有道(NYSE:DAO)曾被傳其AI技術團隊已投入到ChatGPT同源技術AIGC(AI Generated Content人工智能自動生成內容)在教育場景的落地研發中。該公司后來向界面教育證實了這一消息,并表示去年底嘗試AIGC在教育場景中的落地應用,包括但不限于AI口語老師、中文作文打分和評價等。
5月5日,就在學而思預告MathGPT的同一天,網易有道視頻號首次公開基于“子曰”大模型開發的AI口語老師介紹視頻,“子曰”為該公司自研的教育場景下的類ChatGPT模型。不同于以往AI單調的機械發音,AI口語老師更像是一位真實的“老師”在與學生對話。
另據科大訊飛(002230.SZ)此前透露,5月6日將推出應用于教育類智能硬件AI學習機,該公司近期已開啟星火認知大模型內測。
網易有道總裁金磊也曾提到,單純的AI技術并不能夠創造足夠的價值,只有與業務場景結合的技術才能真的解決用戶問題,帶來價值。
“雖然我們在討論人工智能技術,但是僅人工智能技術本身是做不出一個產品的。”在金磊看來,傳統的CPU機器已經無法承載深度學習時代的巨大計算量的需求,知識獲取(訓練)和提供服務本身都依賴巨大的算力,大數據和大模型帶來了對算力的更高要求。
金磊提到,AI技術落地在以智能設備為代表的端側應用時,又涉及模型壓縮、蒸餾、量化等多項相關技術的持續探索,結合針對硬件設備的深度優化,也推動著適合深度學習的AI芯片的快速發展,當機器翻譯的質量達到了應用的門檻并且能夠產生商業價值以后,一大批垂直領域的優化定制需求大量涌現,如何實現低成本的模型定制也成為算法和算力側都需要關注的重要問題。
在大語言模型不斷進化的浪潮下,不同的技術路線選擇孰優孰劣,仍有待討論和驗證。學而思自研獨立的MathGPT大模型是否成立,是否能夠超越通用模型在數學任務上的表現,是否更匹配不同人群的數學學習場景,還需要在實踐中尋找答案。