簧片在线观看,heyzo无码中文字幕人妻,天天想你在线播放免费观看,JAPAN4KTEEN体内射精

正在閱讀:

專訪昆侖萬維CEO方漢:國產大模型的差距不在算力或數據,在于工程經驗

掃一掃下載界面新聞APP

專訪昆侖萬維CEO方漢:國產大模型的差距不在算力或數據,在于工程經驗

方漢認為,各家目前搶發大模型還是在追求“大力出奇跡”,但工程上的技巧和經驗才是大模型競爭的主要因素,比拼的是做實驗的速度和人才的厚度。

昆侖萬維CEO方漢 圖片來源:昆侖萬維

界面新聞記者 | 李彪

接力OpenAI、微軟的重磅產品轟炸,國產大模型在四月開啟了“鳴槍沖刺”。

4月17日,昆侖萬維(300418.SZ)旗下“天工3.5”類GPT大模型正式啟動邀請測試。按照官方說法,天工大模型參數規模達千億級,名字中的“3.5”源于“ ChatGPT基于GPT3.5大模型 ”,代表“天工大模型已經非常接近OpenAI ChatGPT的智能水平 ”。

事實上,從ChatGPT開年帶火A股市場概念股以來,昆侖萬維一直是聲量最大、股價顯著受影響的龍頭公司之一——從1月伊始的14.39元/股漲至48.75元/股,不滿三個月漲幅已高達239%。

?數據來源:股價來自Wind,證監會關注函、昆侖萬維年報
制圖:界面新聞

除產品直接對標ChatGPT外,昆侖萬維還計劃將現有資金最大程度用于支持AIGC領域的研發和商業化。在上周最新發布的業績年報中,集團董事會決議在2022年不派發現金紅利、不送紅股、不以資本公積金轉增股本 ,未分配利潤全部轉入下一季度。

據此,昆侖萬維提出了未來十年的戰略口號——“All in AGI與AIGC”。昆侖萬維CEO方漢接受界面新聞專訪時表示,AIGC內部優先級的提升經過了一個動態變化過程?!拔覀冊?020年6月開始布局AIGC時,最早作為一個實驗性項目立項。直到去年年底,‘All in AIGC與AIGC’才上升為了集團戰略。”

根據先前回復深交所的關注函介紹,天工大模型產品由昆侖萬維與初創公司奇點智源合作自研。昆侖萬維主要為奇點智源提供硬件方面的支持,已合計采購價值4400萬美元的硬件設備。雙方開發的中國版類ChatGPT的知識產權歸奇點智源所有,昆侖萬維享有未來商業化產生的凈利潤的50%。

憑借游戲業務起家、2015年上市的昆侖萬維還將“All in AIGC”戰略描述為尋找第二增長曲線。

數據來源:證監會關注函
制圖:界面新聞

方漢表示,起步調研階段,OpenAI當時的GPT-3模型未開源,且市面上的同類開源模型并不多。由于圍繞底層開發上層的AIGC應用走不通,自2020年年底,昆侖萬維便決定自建大模型。

方漢告訴界面新聞記者,從一片蠻荒到一擁而上,國產大模型在極速變化中發展。各家目前搶發大模型還是在追求“大力出奇跡”,首先要入場,然后追趕和競爭。

以下為采訪內容,經過不改變原意的編輯:

界面新聞:天工大模型對標GPT-3.5是基于什么標準?

方漢:對于專業研發,大模型能力的量化其實都是有一系列公開的測試數據集作為統一參考標準。我們自己內部已經利用了這些公開的測試數據集對模型進行一個評測,公開數據的測試是天工對標GPT3.5的一個重要原因。

GPT-3.5、GPT-4的論文中都附了相應的大型測試數據集,目前可能有將近20類,涵蓋了大模型多維度的各項能力測試。大模型廠商發布產品前都會用這些數據做評測,并得到一組分數,這是專業圈子內比較認可的公平、公正的評價標準。

界面新聞:各家大模型產品都會去測試嗎?天工的分數是多少?

方漢:不僅是發布產品,做研發也要靠測試去保證下一階段工作的推進。

現在各家宣傳模型參數級別動輒千億、萬億,其實統計口徑是不一樣的。誰都沒有說謊,但是模型表現不能簡單粗暴地靠參數量比較。用公開數據集測試后,各家對于自己處在什么梯隊、競爭對手的得分都是心中有數的。

天工在17號才開始邀請測試,具體分數現在還無法對外公布。

界面新聞:去年12月,昆侖萬維發布了一系列天工系列的多模態應用,包括作畫、編程、作曲,其中天工巧繪是基于開源的Stable Diffusion模型,天工3.5發布后會做遷移嗎?

方漢:這之間有一個上下游的區別。預訓練大模型是作畫、編程、作曲這樣的多模態AIGC應用的底層基礎。而我們的作曲應用天工樂府、編程應用天工智碼都是基于自研的天工系列模型,天工巧繪的下游基于Stable Diffusion模型。這次天工3.5大模型正式推出后,我們可以用來替代它的底層模型。

天工3.5并不是突然從石頭中蹦出來的大模型,我們的合作方奇點智源在2021年就已經發了130億參數的大模型,之后不斷去迭代它的中間模型。天工3.5是目前的里程碑應用,這之前還有很多中間模型,只是沒有對外發布。

界面新聞:在產品公開測試后,用戶喜歡提一些刁鉆的問題來難倒大模型,你認為這種對話測試能真實反映大模型的能力嗎?

方漢:大家現在喜歡難倒大模型的問題,像腦筋急轉彎、段子和網絡梗,大部分都屬于語義問題。腦筋急轉彎是一種語言游戲,用它來考可以,也是一個很有娛樂性的話題,我并不反對。

但從大模型落地的角度,這類問題在實踐生活并不是大多數用戶真正想解決的問題。用戶當下的需求是寫作業、做PPT開會等等,就是說我們要更多從人類的通用治理上考核大模型,考核一種普適性的能力。

界面新聞:國內已經開啟測試同類型的大模型產品,你都有試用過嗎,體驗如何?

方漢:你現在就像訓練機器模型一樣,不斷地變換提示詞(prompt)希望我來評價友商,但人類不會犯這種錯誤(笑)。

市面上的大模型產品我有部分試用過,但不適合公開點評個人體驗。

界面新聞:昆侖萬維2020年6月開始布局AIGC之時就已經確定要自建大模型嗎?

方漢: 我們一開始就打算直接從底層做預訓練的大模型。因為2020年底左右,當時開源模型項目也不多,唯一的GPT-3也沒有開源,國內廠商唯一的路線就是自建,不存在做應用的選項。

界面新聞:在此過程中,AIGC的優先級是怎樣的?部門規模如何?內部由誰帶隊?

方漢:現在同行互相挖人這么厲害, 對外只能統一說由我帶隊。

優先級是一個動態變化的過程,我們不能說自己兩年前就能未卜先知,最初是一個帶有預言性質的探索項目,肯定不如已經產生收入的主營業務重要。直到去年年底發布“天工”系列AIGC產品時,我們已經把優先級提到一個很高的位置,現在的戰略是“All in AIGC”。

人員規模的具體數字不便透露,人才資源現在應該是各個公司最機密的部分。

參考OpenAI的創業先例,幾十人、百人左右的團隊足以搞出來大模型。

界面新聞:公司據稱已經投入數千萬美元在項目上,主要的成本項在那些地方?

方漢:最大的成本肯定是采購訓練卡,買或者租英偉達的A100系列GPU,然后是人力成本。

界面新聞:對于當下熱議“國產大模型缺算力還是還缺數據”,你怎么看?

方漢:從現在發布一款入門級的大模型來說,我覺得兩樣都不缺。

從算力的角度看,現在都知道OpenAI大概擁有28000張卡,更多可能超過3萬。但其實2021年時,他們大概只有4000張,2022年8月份以前有6000張,那時GPT-3.5、GPT-4都已經訓練完了。

OpenAI所用到的數據主要是著名的開源數據語料庫,國產廠商百分之七八十也能拿到。目前國產大模型廠商都是將英文數據、中文數據一起用做預訓練的。中文語料的質量是不如英文,這是客觀事實,但目前通過混用模式已經足夠訓練模型。

界面新聞:現在國產大模型的差距主要不在資源端?

方漢:對的,資源是一張門票,比方說沒有2000張GPU,你連訓練都做不了,但有資源之后,那就是拼工程上的經驗。工程上的技巧和經驗是大模型競爭的主要因素,比拼的是做實驗的速度和人才的厚度。

界面新聞:如何理解工程經驗?

方漢:以訓練數據為例,其實業界最難的不是找數據,而是如何丟數據。什么樣的數據不用?篩選數據的標準是什么?如何做數據的剪枝、清洗等。

通過篩選數據調整參數、改進模型設計才是最核心的機密,這也是OpenAI沒有在論文中公開的核心技術。

界面新聞: 據悉GPT-3.5訓練1750參數所用的3000多億單詞訓練語料有60%來自于C4數據集(谷歌開源的Colossal Clean Crawled Corpus)。C4數據集含有上萬億的經過清洗的、分類規整的英文單詞,而目前國內已知的最大中文語料庫TUCNews(清華大學開發)只有7億左右的中文詞匯,如何看待這種落差?

方漢:公共的大型中文語料數據庫的缺失是客觀存在的差距,也不是一時半會能趕上的。我覺得國家層面也會意識到中文數據的重要性,未來會進行政策上的改進。

基本上各家的訓練語料庫也不會公開,所以我認為,短時間內大模型的涌現不會讓中文語料數據庫的改觀特別大。

還有一個值得重視的現象,由于大模型本身的能力能夠進行語言間的知識遷移,這就導致能夠生成海量的中文語料。未來如何看待以及管理AI生成的中文語料庫是重要問題。

界面新聞:現在大公司都在搶發產品,未來大模型是否會成為主流大廠人手一個的標配,進而使該領域進入到割據封閉的壁壘生態?

方漢: 雖然行業還是非常早期的搶跑入場階段,但未來會如同操作系統的發展歷史一樣,Windows與Linux:大廠會擁有質量最高的大模型,開源界也會出現相對質量還OK的模型,這樣的開源大模型會成為中小型企業、用戶的選擇,幫助他們基于這些大模型去做自己的二次開發和工作。

未來的大模型生態主要有兩類參與者,一類做底層模型,一類做上層的應用產品。 我認為這個生態會相對均衡,不會一家獨大。

未經正式授權嚴禁轉載本文,侵權必究。

昆侖萬維

2.9k
  • 昆侖萬維開源R1V視覺思維鏈推理模型
  • 昆侖萬維旗下Opera接入DeepSeek R1模型

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

專訪昆侖萬維CEO方漢:國產大模型的差距不在算力或數據,在于工程經驗

方漢認為,各家目前搶發大模型還是在追求“大力出奇跡”,但工程上的技巧和經驗才是大模型競爭的主要因素,比拼的是做實驗的速度和人才的厚度。

昆侖萬維CEO方漢 圖片來源:昆侖萬維

界面新聞記者 | 李彪

接力OpenAI、微軟的重磅產品轟炸,國產大模型在四月開啟了“鳴槍沖刺”。

4月17日,昆侖萬維(300418.SZ)旗下“天工3.5”類GPT大模型正式啟動邀請測試。按照官方說法,天工大模型參數規模達千億級,名字中的“3.5”源于“ ChatGPT基于GPT3.5大模型 ”,代表“天工大模型已經非常接近OpenAI ChatGPT的智能水平 ”。

事實上,從ChatGPT開年帶火A股市場概念股以來,昆侖萬維一直是聲量最大、股價顯著受影響的龍頭公司之一——從1月伊始的14.39元/股漲至48.75元/股,不滿三個月漲幅已高達239%。

?數據來源:股價來自Wind,證監會關注函、昆侖萬維年報
制圖:界面新聞

除產品直接對標ChatGPT外,昆侖萬維還計劃將現有資金最大程度用于支持AIGC領域的研發和商業化。在上周最新發布的業績年報中,集團董事會決議在2022年不派發現金紅利、不送紅股、不以資本公積金轉增股本 ,未分配利潤全部轉入下一季度。

據此,昆侖萬維提出了未來十年的戰略口號——“All in AGI與AIGC”。昆侖萬維CEO方漢接受界面新聞專訪時表示,AIGC內部優先級的提升經過了一個動態變化過程?!拔覀冊?020年6月開始布局AIGC時,最早作為一個實驗性項目立項。直到去年年底,‘All in AIGC與AIGC’才上升為了集團戰略。”

根據先前回復深交所的關注函介紹,天工大模型產品由昆侖萬維與初創公司奇點智源合作自研。昆侖萬維主要為奇點智源提供硬件方面的支持,已合計采購價值4400萬美元的硬件設備。雙方開發的中國版類ChatGPT的知識產權歸奇點智源所有,昆侖萬維享有未來商業化產生的凈利潤的50%。

憑借游戲業務起家、2015年上市的昆侖萬維還將“All in AIGC”戰略描述為尋找第二增長曲線。

數據來源:證監會關注函
制圖:界面新聞

方漢表示,起步調研階段,OpenAI當時的GPT-3模型未開源,且市面上的同類開源模型并不多。由于圍繞底層開發上層的AIGC應用走不通,自2020年年底,昆侖萬維便決定自建大模型。

方漢告訴界面新聞記者,從一片蠻荒到一擁而上,國產大模型在極速變化中發展。各家目前搶發大模型還是在追求“大力出奇跡”,首先要入場,然后追趕和競爭。

以下為采訪內容,經過不改變原意的編輯:

界面新聞:天工大模型對標GPT-3.5是基于什么標準?

方漢:對于專業研發,大模型能力的量化其實都是有一系列公開的測試數據集作為統一參考標準。我們自己內部已經利用了這些公開的測試數據集對模型進行一個評測,公開數據的測試是天工對標GPT3.5的一個重要原因。

GPT-3.5、GPT-4的論文中都附了相應的大型測試數據集,目前可能有將近20類,涵蓋了大模型多維度的各項能力測試。大模型廠商發布產品前都會用這些數據做評測,并得到一組分數,這是專業圈子內比較認可的公平、公正的評價標準。

界面新聞:各家大模型產品都會去測試嗎?天工的分數是多少?

方漢:不僅是發布產品,做研發也要靠測試去保證下一階段工作的推進。

現在各家宣傳模型參數級別動輒千億、萬億,其實統計口徑是不一樣的。誰都沒有說謊,但是模型表現不能簡單粗暴地靠參數量比較。用公開數據集測試后,各家對于自己處在什么梯隊、競爭對手的得分都是心中有數的。

天工在17號才開始邀請測試,具體分數現在還無法對外公布。

界面新聞:去年12月,昆侖萬維發布了一系列天工系列的多模態應用,包括作畫、編程、作曲,其中天工巧繪是基于開源的Stable Diffusion模型,天工3.5發布后會做遷移嗎?

方漢:這之間有一個上下游的區別。預訓練大模型是作畫、編程、作曲這樣的多模態AIGC應用的底層基礎。而我們的作曲應用天工樂府、編程應用天工智碼都是基于自研的天工系列模型,天工巧繪的下游基于Stable Diffusion模型。這次天工3.5大模型正式推出后,我們可以用來替代它的底層模型。

天工3.5并不是突然從石頭中蹦出來的大模型,我們的合作方奇點智源在2021年就已經發了130億參數的大模型,之后不斷去迭代它的中間模型。天工3.5是目前的里程碑應用,這之前還有很多中間模型,只是沒有對外發布。

界面新聞:在產品公開測試后,用戶喜歡提一些刁鉆的問題來難倒大模型,你認為這種對話測試能真實反映大模型的能力嗎?

方漢:大家現在喜歡難倒大模型的問題,像腦筋急轉彎、段子和網絡梗,大部分都屬于語義問題。腦筋急轉彎是一種語言游戲,用它來考可以,也是一個很有娛樂性的話題,我并不反對。

但從大模型落地的角度,這類問題在實踐生活并不是大多數用戶真正想解決的問題。用戶當下的需求是寫作業、做PPT開會等等,就是說我們要更多從人類的通用治理上考核大模型,考核一種普適性的能力。

界面新聞:國內已經開啟測試同類型的大模型產品,你都有試用過嗎,體驗如何?

方漢:你現在就像訓練機器模型一樣,不斷地變換提示詞(prompt)希望我來評價友商,但人類不會犯這種錯誤(笑)。

市面上的大模型產品我有部分試用過,但不適合公開點評個人體驗。

界面新聞:昆侖萬維2020年6月開始布局AIGC之時就已經確定要自建大模型嗎?

方漢: 我們一開始就打算直接從底層做預訓練的大模型。因為2020年底左右,當時開源模型項目也不多,唯一的GPT-3也沒有開源,國內廠商唯一的路線就是自建,不存在做應用的選項。

界面新聞:在此過程中,AIGC的優先級是怎樣的?部門規模如何?內部由誰帶隊?

方漢:現在同行互相挖人這么厲害, 對外只能統一說由我帶隊。

優先級是一個動態變化的過程,我們不能說自己兩年前就能未卜先知,最初是一個帶有預言性質的探索項目,肯定不如已經產生收入的主營業務重要。直到去年年底發布“天工”系列AIGC產品時,我們已經把優先級提到一個很高的位置,現在的戰略是“All in AIGC”。

人員規模的具體數字不便透露,人才資源現在應該是各個公司最機密的部分。

參考OpenAI的創業先例,幾十人、百人左右的團隊足以搞出來大模型。

界面新聞:公司據稱已經投入數千萬美元在項目上,主要的成本項在那些地方?

方漢:最大的成本肯定是采購訓練卡,買或者租英偉達的A100系列GPU,然后是人力成本。

界面新聞:對于當下熱議“國產大模型缺算力還是還缺數據”,你怎么看?

方漢:從現在發布一款入門級的大模型來說,我覺得兩樣都不缺。

從算力的角度看,現在都知道OpenAI大概擁有28000張卡,更多可能超過3萬。但其實2021年時,他們大概只有4000張,2022年8月份以前有6000張,那時GPT-3.5、GPT-4都已經訓練完了。

OpenAI所用到的數據主要是著名的開源數據語料庫,國產廠商百分之七八十也能拿到。目前國產大模型廠商都是將英文數據、中文數據一起用做預訓練的。中文語料的質量是不如英文,這是客觀事實,但目前通過混用模式已經足夠訓練模型。

界面新聞:現在國產大模型的差距主要不在資源端?

方漢:對的,資源是一張門票,比方說沒有2000張GPU,你連訓練都做不了,但有資源之后,那就是拼工程上的經驗。工程上的技巧和經驗是大模型競爭的主要因素,比拼的是做實驗的速度和人才的厚度。

界面新聞:如何理解工程經驗?

方漢:以訓練數據為例,其實業界最難的不是找數據,而是如何丟數據。什么樣的數據不用?篩選數據的標準是什么?如何做數據的剪枝、清洗等。

通過篩選數據調整參數、改進模型設計才是最核心的機密,這也是OpenAI沒有在論文中公開的核心技術。

界面新聞: 據悉GPT-3.5訓練1750參數所用的3000多億單詞訓練語料有60%來自于C4數據集(谷歌開源的Colossal Clean Crawled Corpus)。C4數據集含有上萬億的經過清洗的、分類規整的英文單詞,而目前國內已知的最大中文語料庫TUCNews(清華大學開發)只有7億左右的中文詞匯,如何看待這種落差?

方漢:公共的大型中文語料數據庫的缺失是客觀存在的差距,也不是一時半會能趕上的。我覺得國家層面也會意識到中文數據的重要性,未來會進行政策上的改進。

基本上各家的訓練語料庫也不會公開,所以我認為,短時間內大模型的涌現不會讓中文語料數據庫的改觀特別大。

還有一個值得重視的現象,由于大模型本身的能力能夠進行語言間的知識遷移,這就導致能夠生成海量的中文語料。未來如何看待以及管理AI生成的中文語料庫是重要問題。

界面新聞:現在大公司都在搶發產品,未來大模型是否會成為主流大廠人手一個的標配,進而使該領域進入到割據封閉的壁壘生態?

方漢: 雖然行業還是非常早期的搶跑入場階段,但未來會如同操作系統的發展歷史一樣,Windows與Linux:大廠會擁有質量最高的大模型,開源界也會出現相對質量還OK的模型,這樣的開源大模型會成為中小型企業、用戶的選擇,幫助他們基于這些大模型去做自己的二次開發和工作。

未來的大模型生態主要有兩類參與者,一類做底層模型,一類做上層的應用產品。 我認為這個生態會相對均衡,不會一家獨大。

未經正式授權嚴禁轉載本文,侵權必究。
主站蜘蛛池模板: 龙陵县| 同江市| 丹阳市| 中山市| 岱山县| 隆德县| 大兴区| 乐都县| 蒙城县| 珠海市| 南溪县| 宁陵县| 馆陶县| 扬州市| 大新县| 安平县| 恩施市| 恩平市| 原阳县| 顺平县| 苏尼特右旗| 霍林郭勒市| 扎兰屯市| 万安县| 静海县| 浮山县| 库伦旗| 全椒县| 广元市| 桓台县| 丹东市| 平塘县| 抚州市| 麟游县| 深圳市| 台中市| 惠州市| 廊坊市| 东乡族自治县| 阿勒泰市| 横山县|