近日，上海交通大学李健教授团队依托上海交通大学鲲鹏昇腾科教创新卓越中心的算力支持，基于vLLM-Ascend推理框架研发出一套针对超长上下文推理的稀疏注意力KVCache分层缓存管理系统。在昇腾AI软硬件平台的全方位赋能下，该项目成功破解单卡支持超长上下文推理的显存与性能双重难题，同时大幅提升吞吐量。
IT产业网 2025/11/26 16:33 上交大 昇腾 鲲鹏昇腾科教创新卓越中心
鄂公网安备 42112402000149号
