DeepSeek團隊最近發布了NSA(Native Sparse Attention)技術，旨在提升長上下文訓練和推理的速度，同時降低預訓練成本。該技術通過分層稀疏策略優化了注意力機制，使得模型在處理長文本時表現出色。

　　NSA在多項基準測試中表現優異，甚至在某些情況下超越了傳統的完全注意力模型，標志著人工智能訓練與推理技術的重大進步。

　　NSA技術顯著提升了長上下文訓練和推理的速度，并降低了預訓練成本。

　　采用分層稀疏策略，將注意力機制分為壓縮、選擇和滑動窗口，增強了模型對長文本的處理能力。

　　在多項基準測試中，NSA表現優異，部分情況下超過了傳統的完全注意力模型。