字節(jié)跳動豆包大模型團隊近日開源一項名為COMET的MoE架構(gòu)優(yōu)化技術(shù)，可將大模型訓練效率提升1.7倍。論文顯示，該技術(shù)已實際應用于字節(jié)的萬卡集群訓練，實現(xiàn)數(shù)百萬GPU小時訓練算力的節(jié)省。
字節(jié)跳動豆包大模型團隊開源一項MoE架構(gòu)優(yōu)化技術(shù)
界面快報 · 來源：界面新聞
評論
暫無評論哦，快來評價一下吧！
熱門排行March 11
- 10余名代表委員建議：40歲以上失獨再生養(yǎng)家庭應納入扶助政策
- “震懾犯罪、安定人心”，15個關鍵詞讀懂最高檢工作報告
- 政協(xié)委員皮劍龍：建議設置直播單日打賞上限、允許用戶無條件撤回｜兩會·最希望
- 自愿離職將獲2.5萬美元買斷費，美衛(wèi)生部8萬員工收到裁員郵件
- 水利部部長李國英：近10年全國用水總量實現(xiàn)零增長
- 最高檢工作報告例舉正當防衛(wèi)、未成年人嚴重暴力犯罪等案件
- 十四屆全國人大三次會議舉行第二次全體會議，透露2025年度國家立法“發(fā)力點”
- 全國人大上海代表團田軒：盡快推進針對創(chuàng)業(yè)者的個人破產(chǎn)法立法工作
- 直通部委 | 體育總局：堅決抵制“飯圈”的侵蝕和破壞 林草局：做好沙塵暴防護和應急
- 前兩月新能源汽車產(chǎn)銷及出口增長均超50%｜宏觀晚6點