AI存储优化推理效能,重构Token经济成本:“先进存力AI推理工作组”加速集结中

新闻

作者：微信文章
AI大模型正在快速进入各行各业，我们已经来到Token经济时代。Token消耗正在指数级增长，我国日均Token消耗量已经突破30万亿，单个头部企业日均消耗在百亿级。在传统推理架构中，因为数据重复计算，长序列输入，导致GPU利用率降低，造成大模型推理成本持续攀升，用户体验下降。

产业界正在利用先进AI存储技术，系统化的解决这个问题。以KV Cache为中心，以AI存储为底座，构建推理记忆数据湖，将显著提升推理系统的效率和性能，释放算力和数据价值。产业实践证明，在典型场景下，AI存储推理优化架构最高可以降低推理成本90%。

为充分发挥先进存力赋能AI大模型发展的支撑作用，算力产业发展方阵拟成立“先进存力AI推理工作组”，致力于加强理论研究、实践探索和生态建设，推动AI推理应用、AI推理框架、先进存力和智能算力协同发展，促进人工智能普惠应用。

一、工作内容

Part.1

工作组围绕AI推理优化理论研究、创新技术推广、标准制定和用户实践等开展工作，推进试点建设，强化产业生态构建，推动政策布局落地。

二、征集范围

Part.2

致力于推动AI大模型发展，从事行业大模型、通用大模型、推理框架、智算芯片、算力技术、AI存储技术等研究的企事业单位、高等院校和科研院所。

三、必备条件

Part.3

1.依法在我国境内注册的企事业单位、社团组织、高等院校、科研院所等；

2.拥护方阵章程，遵守方阵相关管理制度，履行工作组成员义务，积极参加方阵工作组活动；

3.在AI大模型和基础设施政策规划、标准研制、应用创新等领域具有丰富经验。

四、申报流程

Part.4

1、申报
申报单位填写“附件1 算力产业发展方阵先进存力AI推理工作组成员单位申请表”（点击“阅读原文”获取），并将盖章版PDF及相关材料发送至联系人邮箱；

2、审核

由方阵秘书处对申报单位进行审核；

3、开展工作

后续将邀请参加先进存力AI推理工作组相关工作。

联系方式

算力产业发展方阵官网：

https://www.hcp.ac.cn/cpam.html

方阵邮箱：CPZ@caict.ac.cn



往期回顾

1、第三届“华彩杯”算力创新应用大赛中区&农业专题、教育专题、能源专题入围决赛名单公布

2、[25'ODCC成果]Switchless Scale Up GPU超节点互联系统架构技术规范

3、“生命线”健康状态指标——冷却液性能解析

4、AI原生传输（ANT）项目取得阶段性进展

5、存力革命：闪存全面替代机械硬盘的转折点已经到来