京东开源基于国产芯片自研的 xLLM 大模型推理引擎

京东宣布开源其基于国产芯片自主研发的大模型推理引擎 xllm，旨在帮助企业更高效、低成本地部署ai应用。

本次开源的核心特性涵盖：

• 支持请求优先级的动态调度机制；
• 具备动态自适应能力的 PD 分离架构，可依据实时负载灵活调整 PD 实例配比；
• 面向多模态场景设计的 EPD 混合分离调度方案；
• 结合硬件特性的多级流水线执行引擎；
• 集成图融合、投机推理与动态负载均衡的完整计算优化工具集；
• 基于 Mooncake 技术实现的多层级 KV 缓存全局管理机制；

官方表示，xLLM 推理引擎源于京东零售核心业务的实际需求。目前，该引擎已广泛应用于京言AI助手、智能客服、风险控制、供应链辅助决策、广告推荐等多个关键场景，实现整体效率提升超5倍，服务器成本下降达90%。

“我们始终相信，AI基础设施生态的发展离不开广大开发者的共同参与。此次开源只是一个起点。未来，京东零售AI Infra团队将根据社区反馈持续释放更多高级功能，并携手清华大学、北京大学、中国科学技术大学、北京航空航天大学等高校及产业伙伴，深化产学研合作，共同推进国产AI基础软件技术生态的创新与发展，助力行业智能化转型。”

源码地址：点击下载