推理实战

5 篇中文笔记 · 每篇约 6–8 分钟

大模型推理，快在哪里，慢在哪里

从 QKV 到显存带宽，再到推理芯片与 KV Cache。

模型的公式看懂了，为什么真跑起来还是慢？这个系列沿着数据走一遍：先看 Attention 怎么读信息，再算 GPU 搬参数的账，接着看两种推理芯片怎么换路走，最后回到每次 API 调用都碰得到的 KV Cache。可以从头读，也可以直接挑关心的一篇。