國產算力訓練大模型的經驗與教訓

本文來自“國產算力訓練大模型的經驗與教訓”。本文介紹大模型的計算特徵（國產平臺介紹、系統挑戰、算子實現、容錯）、框架的並行性支持、未來算法等。

隨着ChatGPT的橫空出世，人工智能大模型成爲各行各業熱議的焦點，國內外各種大模型如雨後春筍般湧現，引發了新一輪人工智能熱潮。但在看到大模型取得巨大進步的同時，也要看到當前國內大模型的研發推廣仍然面臨不小的挑戰和壓力。

面對上述挑戰，需從戰略層面統籌考慮大模型研發運營等相關問題，充分發揮“集中力量辦大事”的制度優勢，強化頂層設計，加大統一規劃，加大政策支持和資源投入力度，推動中國人工智能從“跟跑”邁向“領跑”。

一是提高算力規模。進一步完善信息基礎設施，加快推進“東數西算”步伐，加大算力網絡建設力度，爲大模型研發運營提供足夠算力，同時進一步提高網絡速度，降低網絡時延，爲更多大模型走向應用創造條件。
二是加強數據管理。國家層面加強對數據的管控，明確行業標準，建立數據使用規則，確保大模型訓練數據的質量。同時，針對行業數據，破除不同廠家之間數據互相不能查詢的壁壘，確保大模型訓練有充足、準確的專業數據。
三是建立大模型研發“國家隊”。集中全國頂尖人才和優質資源，舉全國之力進行攻堅突破，同時解決大模型研發中存在的“小而散”問題，減少無效或低效大模型開發對算力和能源的浪費。
四是加大資金投入。建立國家大模型基金，專門用於大模型的研發、訓練等。
五是加大政策支持。面向大模型研發，制訂更加優惠的稅收政策。針對國有企業在大模型研發上投入的資金，允許以兩倍規模計爲企業淨利潤。
六是加大科技投入。解決核心技術“卡脖子”問題，特別是加大人工智能芯片研發製造力度。

下載鏈接：

國產算力訓練大模型的經驗與教訓