界面新聞記者 | 張熹瓏
5月22日，在2023大灣區科學論壇上，鵬城實驗室發布了鵬城·星云系統和星方數據——這是支撐國際大科學計劃和工程的需求、聚焦天文和遙感兩大學科的科研云平臺。
鵬城星云系統依托于“鵬城云腦Ⅱ”而構建。鵬城云腦Ⅱ是國產自主的首個E級AI算力平臺，根據中國工程院院士、鵬城實驗室主任高文的介紹，是“10的18次方、每秒16位復點運算的機器平臺”。目前，云腦Ⅱ已經連續五次在超算打榜獲得世界第一。
相比之下，鵬城實驗室的合作伙伴知名度或許更高——此前百度發布的全球首個知識增強千億大模型百度文心、華為發布的首個千億級生成和理解中文NLP大模型盤古大模型，均有鵬城實驗室的研發參與。
ChatGPT帶火了整個人工智能產業，也讓焦點集中在大模型上。高文指出，ChatGPT之所以能對整個技術發展帶來這么大沖擊，最關鍵的是它使用了大模型。
從人工智能行業出發，如何將訓練好的模型從一個領域遷移到另外一個領域，始終是一個難題，因為不可能依賴于大量人力去標注數據。
國際歐亞科學院院士李世鵬表示，大模型是解決這個瓶頸的方法，“采用一種預訓練模式，對所有數據進行非監督學習，形成大模型后再進行微調，落實到具體的應用場景?！?/span>
“其實模型本身很簡單，就是生物學里面神經元的一個連接。但是因為它規模大，就起到非常理想的結果。所以規模是大模型里最核心的東西。”高文表示，規模需要靠三方面結合：巨大的算力、海量數據和足夠好的算法。例如ChatGPT就是微軟為其提供算力，提供了約1萬塊A100芯片的算力服務器支持。
高文提到，中國也有這樣的算力，在2020年推出的云腦Ⅱ，相當于4000塊A100芯片組合出來的機器，既可以做理論研究，也可以做核心技術，或者一些比較大的應用。
云腦Ⅱ的誕生讓鵬城實驗室的AI算力從100P上升到1000P。舉例來說，24小時內能訓練100億張圖像，或1億人的DNA、或1千萬小時語音、或1萬天的自動駕駛數據等，是52萬臺家用電腦算力之和。
“我們現在正在設計下一臺3.2萬塊卡的機器，這臺機器的能力會比微軟的機器還強，是后者能力的三倍，確保為人工智能訓練持續提供強有力的算力支持。”高文透露，這臺機器大約花費60億元，算力達到16000P。
“兩臺機器加在一起，可以解決到目前為止所有大模型的訓練?！备呶谋硎荆乙源藶楹诵模F在正在啟動中國算力網的建設，將來的算力會像ChatGPT電力一樣即插即用。
為了實現這個目標，鵬城實驗室現在正推動大模型的開源和底座訓練工作。例如云腦Ⅱ，只有1/4是鵬城實驗室在用，3/4開放出去，作為大設施開放提供給國內的合作伙伴、高校甚至企業使用，此前也幫助百度、華為訓練了一系列大模型。
“鵬城會幫助相關單位訓練出GPT的底座來，云腦Ⅱ、云腦Ⅲ會給人工智能大模型提供足夠算力，我們也希望合作伙伴提供一些數據?！备鶕O想，通過鵬城的算力、公開渠道的數據結合，訓練出大模型底座向全社會開放。
算力、算法、數據，是人工智能的三大范疇。這也意味著，即使企業的算力不高，也能通過底座完成工作——畢竟ChatGPT一次訓練要花費將近1000萬美元。而對于云腦Ⅱ等基礎設備而言，也有望降低開發工作量。
騰訊首席科學家張正友則指出，因為各種各樣的原因，包括隱私、行業數據之間的關系，是不可能做一個模型打遍所有事情的，“如何去解決數據之間的壁壘，將多個模型高效地整合起來，這可能又是一個值得研究和探討的方向。”