更多文章

Astera Labs发布Leo X系列智能内存控制器,旨在将KV Cache卸载至外部内存

芯片高速互连初创企业Astera Labs宣布推出Leo X、Leo 2 E和Leo 2 P三系列智能内存控制器。其中,Leo X系列是一款基于网络架构的控制器,专为AI加速器侧设计,其核心能力是将KV Cache从加速器卸载到外部内存,据称能将首词元延迟缩短多达62%,提升词元吞吐量达22%。