LiteMoE

开源了一个 1600 行的大模型推理引擎，能跑真实模型，测试场景吞吐超过 vLLM 想入门大模型推理，直接读 vLLM 太重。所以开源了 LiteMoE：约 1600 行 Python ，能跑真实的 Granite 模型，一个下午能读完主线。 适合想快速上手推理的同学： - 交互演示，逐步看一次真实推理： zhulinsen.github.io - 教程，从 KV Cache 、MoE 讲到 DeepSeek 、Kimi 、Qwen 的新设计： github.com/ZhuLinsen/LiteMoE/blob/main/docs/tutor… 固定批次的测试场景下，吞吐是 vLLM 的 105 ～ 109%，脚本可复现。算子用的是 vLLM 的，提升来自算子外的执行层。定位是学习和实验，上线还是用 vLLM 。 如果大家感兴趣，后面会继续做多卡、CPU 版本系列。 项目： ZhuLinsen/LiteMoE 演示： zhulinsen.github.io