从建好到用好，中科曙光聚焦Token生产效率

10月22日，中科曙光高级副总裁李斌在CNCC 2026上表示，智能体应用推动推理需求持续增长，高通量推理集群将成为提升Token生产效率的重要基础。随着应用从单轮问答走向长上下文、多任务并发，衡量智算基础设施的价值，还要看它能否在持续服务中保持响应速度，并控制Token生产成本。
这一需求也让数据供给成为推理提效的关键。针对长上下文场景中缓存容量不足、重复计算增加的问题，中科曙光通过ParaStor与FlashNexus两套存储产品体系构建了多层级缓存体系，减少推理过程中的等待。李斌指出，在显存和内存容量不足的测试条件下，相较于重新计算，该方案将首Token响应时间降低95%以上，Token吞吐提升15至25倍。对持续运行的推理服务而言，提高Token产出不仅取决于集群规模，也取决于能否让数据及时跟上计算，并以可控成本维持稳定供给。