SubQ 1.1 Small以稀疏注意力實現1,200萬Token推理

內容摘要

Subquadratic發布SubQ 1.1 Small模型卡，這是其子二次稀疏注意力模型的第二代最小版本。公司表示，模型在100萬至1,200萬Token的「大海撈針」測試中維持近乎完美的檢索表現，並在12.8萬Token的RULER測試取得99.12%。在100萬Token上下文下，計算量比稠密注意力低64.5倍，單層速度比FlashAttention-2快56倍。模型經分階段上下文擴展及約1萬億Token長資料繼續預訓練，目前開始與設計合作夥伴部署。