llm-architecture-from-scratch

读大模型架构，光看名词很容易把差异混在一起；这个仓库用 PyTorch 从头实现多种模型，把结构拆成可以对照的代码。 YeonwooSung/llm-architecture-from-scratch 从 GPT-2、Llama 到 DeepSeek、Gemma、Llama 4，注意力、位置编码、归一化和 MoE 都能逐个比较。记笔记时想提醒自己：架构不是一张配置表，读实现才能看清设计选择如何组合。

看开源 LLM 实现，最有价值的往往不是多一个模型，而是能把架构差异拆开对照。这个仓库用 PyTorch 从头实现多种模型，覆盖 GQA、滑动窗口注意力、MoE，也包括图文模型，适合追踪论文里的设计如何落到代码里。 YeonwooSung/llm-architecture-from-scratch 从 GPT-2、Llama 到 DeepSeek V3、Mistral 3.1 和 Llama 4 Maverick，逐个看归一化、位置编码和注意力机制，学到的不只是模型名称；大模型架构的取舍也更容易看清。