Astera Labs发布Leo X系列智能内存控制器，旨在将KV Cache卸载至外部内存

芯片高速互连初创企业Astera Labs宣布以Leo X、Leo 2 E、Leo 2 P三系列丰富其Leo智能内存控制器产品线。这一新品发布的核心技术点在于，Leo X系列智能内存控制器旨在实现将KV Cache从加速器卸载到外部内存的架构革新。

Leo X系列被定位为一款基于网络架构的智能内存控制器，其设计目标是直接满足AI加速器侧的特定内存需求。这种架构上的调整，意味着模型运行中关键的缓存数据（如KV Cache）的处理位置和方式发生了变化，从原本可能位于加速器内部或紧密耦合的区域，转移到了外部可扩展的内存空间。

在性能指标方面，Astera Labs表示Leo X系列具备显著的提升潜力。具体而言，Astera Labs指出，使用Leo X系列后，首词元延迟可以缩短多达62%，同时词元吞吐量预计能提升多达22%。这些数据直接指向了其在处理大型语言模型（LLM）推理任务时的效率优化。

除了Leo X系列，Astera Labs还推出了符合标准CXL 3.2规范的芯片——Leo 2 E和Leo 2 P。这两款控制器均支持四个下游DDR4/DDR5内存控制器，这表明Astera Labs在不同标准的互联需求上提供了覆盖性。

从技术背景来看，智能内存控制器的发展趋势正指向更高效的数据层级管理。传统的计算架构中，数据移动和缓存的限制往往是性能瓶颈之一。Leo X系列通过其网络化设计，试图解决这一“数据搬运”的痛点，使外部内存具备了更接近本地高速存储的访问特性。

此次产品线的扩展，为AI加速器与内存系统之间提供了新的连接和管理范式。它将计算资源（加速器）与海量、可扩展的内存资源进行了更紧密的逻辑绑定，极大地拓宽了模型部署和运行的规模上限。

在时间线上，Astera Labs宣布这一系列产品线的发布，标志着其在智能内存控制器领域的最新布局。对于业界关注点而言，如何将高性能计算（HPC）与AI推理的内存需求进行更精细化的解耦和重组，是当前研究的热点。

读者可以理解为，每一次对“缓存卸载到外部内存”的优化，都是在提升系统整体的扩展性和成本效益。这要求后续用户需要关注如何将现有工作负载平滑迁移至采用Leo X架构的计算集群上。

综上所述，Astera Labs通过推出Leo X、Leo 2 E和Leo 2 P三系列产品，展示了其在构建下一代AI内存互联解决方案上的能力。所有关于这些产品的具体性能提升数据均来源于公开资料。