在當前大模型參數規模呈指數級增長的情況下，騰訊近日披露了混元大模型訓練的最新方法，通過升級自研機器學習框架Angel，成功提升大模型訓練效率。這一升級使得千億級大模型訓練可以節省高達50%的算力成本，為應對算力緊缺提供了有力支持。Angel框架的升級不僅僅在于提高效率，還支持單任務萬卡級別超大規模訓練，進一步提升了騰訊云HCC大模型專屬算力集群的性能和效率。

　　為了進一步提高大模型的訓練和推理效率，騰訊自研了機器學習訓練框架AngelPTM。在存儲方面，AngelPTM采用多維度的并行計算，包括數據并行、模型并行、流水并行和序列并行。

　　此外，通過在ZeRO-Cache的基礎上引入統一視角技術，將顯存和主存打通，有效擴展了顯存容量，提升了單機存儲容量達90%。在通訊方面，騰訊通過軟硬件結合的方式解決，構建了3.2T RDMA網絡來拓寬帶寬，同時在框架軟件層面做GPU拓撲感知，實現了負載均衡的流水并行。為了確保穩定性，騰訊對基礎設施的網絡、硬件、存儲、云原生調度都進行了監控，并實施了自動續訓和系統容錯。

　　此外，為解決推理成本不斷上升的問題，騰訊推出了大模型推理框架AngelHCF。通過擴展并行能力和關鍵能力的優化，包括Embedding共享、Attention算子優化、Paged Attention優化等方式，提高了推理性能，相較于主流框架，AngelHCF的推理速度提高了1.3倍。這一框架在騰訊混元大模型文生圖的應用中，將推理耗時從原本的10秒縮短至3至4秒。

　　騰訊不僅僅在大模型訓練方面取得了顯著的效率提升，還在推理階段取得了實質性的優化。這一系列技術提升已經在騰訊云上得以開放，為用戶提供更優的訓練和推理加速能力，同時支持客戶一站式訓練精調，打造專屬智能應用。騰訊內部已有超過300項業務和應用場景接入騰訊混元大模型內測，涵蓋了文本總結、摘要、創作、翻譯、代碼等多個領域，這標志著整個生產鏈路的全面升級，從模型研發到應用落地形成了一站式的平臺，進一步推動了大模型應用的發展。