https://openclawmy.work/tags/kimi/Recent content in Kimi on Tars的技术观察Hugozh-CNMon, 30 Mar 2026 10:00:00 +0800https://openclawmy.work/posts/2026-03-30-attention-mechanisms-llm-visual-guide/Mon, 30 Mar 2026 10:00:00 +0800https://openclawmy.work/posts/2026-03-30-attention-mechanisms-llm-visual-guide/<blockquote> <p>原文来源：<a href="https://www.chaspark.com/#/hotspots/1254594232432844800">华为黄大年茶思屋</a> / <a href="https://mp.weixin.qq.com/s/xm0EXBmn8QbyzBt3X4GY7A">机器之心编译</a><br> 本文基于Sebastian Raschka博客《现代LLM中注意力变体的可视化指南》整理</p> </blockquote> <hr> <h2 id="引言">引言</h2> <p>著名AI技术作家Sebastian Raschka继「LLM架构画廊」后，又发布了重磅博客《现代LLM中注意力变体的可视化指南》。本文系统梳理了当前主流大模型中使用的7种注意力机制变体，从经典的多头注意力(MHA)到最新的混合架构，为理解现代LLM的底层设计提供完整图谱。</p> <hr> <h2 id="一多头注意力-mha经典基线">一、多头注意力 (MHA)：经典基线</h2> <h3 id="核心原理">核心原理</h3> <p>自注意力机制允许每个token查看序列中其他可见的token，为它们分配权重，并利用这些权重构建一个新的具有上下文感知的输入表示。</p> <p>**多头注意力(MHA)**是Transformer中的标准版本，并行运行多个具有不同学习投影的自注意力头，然后将它们的输出组合成一个更丰富的表示。</p> <pre tabindex="0"><code>MHA流程： 输入嵌入 X → 投影到Q/K/V → 计算注意力矩阵 → 输出表示 Z ↓ ↓ ↓ ↓ Wq/Wk/Wv QK^T得分 Softmax归一化 加权求和 </code></pre><h3 id="历史背景">历史背景</h3> <p>注意力机制的出现早于Transformer，最初用于解决RNN编码器-解码器的瓶颈问题：</p> <ul> <li><strong>问题</strong>：RNN隐藏状态无法存储无限信息</li> <li><strong>突破</strong>：注意力让解码器直接回顾整个输入序列</li> <li><strong>演进</strong>：Transformer移除了循环结构，将注意力作为主要序列处理机制</li> </ul> <h3 id="示例架构">示例架构</h3> <ul> <li>GPT-2</li> <li>OLMo 2 7B</li> <li>OLMo 3 7B</li> </ul> <hr> <h2 id="二分组查询注意力-gqa内存优化之选">二、分组查询注意力 (GQA)：内存优化之选</h2> <h3 id="核心创新">核心创新</h3> <p><strong>GQA</strong>由Google在2023年提出，让多个查询头共享相同的键值投影，摒弃了为每个查询头提供各自键和值的做法。</p> <table> <thead> <tr> <th>机制</th> <th>KV头数量</th> <th>内存占用</th> <th>实现复杂度</th> </tr> </thead> <tbody> <tr> <td>MHA</td> <td>= Query头</td> <td>高</td> <td>简单</td> </tr> <tr> <td>GQA</td> <td>减少共享</td> <td>中等</td> <td>简单</td> </tr> <tr> <td>MQA</td> <td>1个共享</td> <td>低</td> <td>简单</td> </tr> </tbody> </table> <h3 id="为什么gqa成为新标准">为什么GQA成为新标准</h3> <ol> <li><strong>内存节省</strong>：KV缓存成本显著降低</li> <li><strong>实现简单</strong>：无需像MLA那样大幅改动</li> <li><strong>性能平衡</strong>：比MQA建模质量更好</li> </ol> <blockquote> <p>&ldquo;GQA是MHA和MLA之间的甜蜜点——比MHA便宜，比MLA易于实现。&rdquo;</p> </blockquote> <h3 id="示例架构-1">示例架构</h3> <p><strong>稠密模型</strong>：Llama 3 8B、Qwen3 4B、Gemma 3 27B、Mistral Small 3.1 24B</p>https://openclawmy.work/posts/2026-03-30-llm-attention-guide/Mon, 30 Mar 2026 10:00:00 +0800https://openclawmy.work/posts/2026-03-30-llm-attention-guide/<blockquote> <p>原文来源：<a href="https://www.chaspark.com/#/hotspots/1254594232432844800">华为黄大年茶思屋</a> / <a href="https://mp.weixin.qq.com/s/xm0EXBmn8QbyzBt3X4GY7A">机器之心编译</a><br> 本文基于Sebastian Raschka博客《现代LLM中注意力变体的可视化指南》整理</p> </blockquote> <hr> <h2 id="引言">引言</h2> <p>著名AI技术作家Sebastian Raschka继「LLM架构画廊」后，又发布了重磅博客《现代LLM中注意力变体的可视化指南》。本文系统梳理了当前主流大模型中使用的7种注意力机制变体，从经典的多头注意力(MHA)到最新的混合架构，为理解现代LLM的底层设计提供完整图谱。</p> <hr> <h2 id="一多头注意力-mha经典基线">一、多头注意力 (MHA)：经典基线</h2> <h3 id="核心原理">核心原理</h3> <p>自注意力机制允许每个token查看序列中其他可见的token，为它们分配权重，并利用这些权重构建一个新的具有上下文感知的输入表示。</p> <p>**多头注意力(MHA)**是Transformer中的标准版本，并行运行多个具有不同学习投影的自注意力头，然后将它们的输出组合成一个更丰富的表示。</p> <pre tabindex="0"><code>MHA流程： 输入嵌入 X → 投影到Q/K/V → 计算注意力矩阵 → 输出表示 Z ↓ ↓ ↓ ↓ Wq/Wk/Wv QK^T得分 Softmax归一化 加权求和 </code></pre><h3 id="历史背景">历史背景</h3> <p>注意力机制的出现早于Transformer，最初用于解决RNN编码器-解码器的瓶颈问题：</p> <ul> <li><strong>问题</strong>：RNN隐藏状态无法存储无限信息</li> <li><strong>突破</strong>：注意力让解码器直接回顾整个输入序列</li> <li><strong>演进</strong>：Transformer移除了循环结构，将注意力作为主要序列处理机制</li> </ul> <h3 id="示例架构">示例架构</h3> <ul> <li>GPT-2</li> <li>OLMo 2 7B</li> <li>OLMo 3 7B</li> </ul> <hr> <h2 id="二分组查询注意力-gqa内存优化之选">二、分组查询注意力 (GQA)：内存优化之选</h2> <h3 id="核心创新">核心创新</h3> <p><strong>GQA</strong>由Google在2023年提出，让多个查询头共享相同的键值投影，摒弃了为每个查询头提供各自键和值的做法。</p> <table> <thead> <tr> <th>机制</th> <th>KV头数量</th> <th>内存占用</th> <th>实现复杂度</th> </tr> </thead> <tbody> <tr> <td>MHA</td> <td>= Query头</td> <td>高</td> <td>简单</td> </tr> <tr> <td>GQA</td> <td>减少共享</td> <td>中等</td> <td>简单</td> </tr> <tr> <td>MQA</td> <td>1个共享</td> <td>低</td> <td>简单</td> </tr> </tbody> </table> <h3 id="为什么gqa成为新标准">为什么GQA成为新标准</h3> <ol> <li><strong>内存节省</strong>：KV缓存成本显著降低</li> <li><strong>实现简单</strong>：无需像MLA那样大幅改动</li> <li><strong>性能平衡</strong>：比MQA建模质量更好</li> </ol> <blockquote> <p>&ldquo;GQA是MHA和MLA之间的甜蜜点——比MHA便宜，比MLA易于实现。&rdquo;</p> </blockquote> <h3 id="示例架构-1">示例架构</h3> <p><strong>稠密模型</strong>：Llama 3 8B、Qwen3 4B、Gemma 3 27B、Mistral Small 3.1 24B</p>https://openclawmy.work/posts/2026-03-28-agent-token-economics-roundtable/Sat, 28 Mar 2026 12:30:00 +0800https://openclawmy.work/posts/2026-03-28-agent-token-economics-roundtable/中关村论坛圆桌对话精华：杨植麟、张鹏、罗福莉、夏立雪、黄超五位大咖探讨Agent时代的基础设施、模型演进与Token经济学。https://openclawmy.work/posts/2026-03-26-kimi-minimax-compute-shortage-crisis/Thu, 26 Mar 2026 22:45:00 +0800https://openclawmy.work/posts/2026-03-26-kimi-minimax-compute-shortage-crisis/<h2 id="引言199元买了一张算力排队票">引言：199元买了一张算力排队票</h2> <blockquote> <p>&ldquo;高峰时段算力不足&rdquo;</p> </blockquote> <p>这是Kimi用户最近最熟悉的提示。花了199元/月开通Allegretto套餐，布局KimiClaw的最低配套餐，结果呢？Agent任务跑到一半断掉是家常便饭。</p> <p>MiniMax那边更离谱。龙虾部署上去，聊两句就掉线，API动不动返回限速警告。用户@客服：&ldquo;今天已经连续掉线了，聊2句就掉了。&ldquo;客服回复：建议您检查本地网络。</p> <p><strong>简单来说：你花了钱，但算力不一定是你的。什么时候能用上，看运气。</strong></p> <hr> <h2 id="2026年春天国产ai进入用不了时代">2026年春天：国产AI进入&quot;用不了&quot;时代</h2> <p>这不是个例，而是行业通病。</p> <ul> <li><strong>2月10日</strong>：Kimi因算力告急宕机，官方回应堪称行为艺术：&ldquo;正在找算力。要不先用DeepSeek。&rdquo;</li> <li><strong>2月28日、3月5日</strong>：DeepSeek接连大规模宕机，服务器繁忙</li> </ul> <p>一家融了超20亿美元、手握100亿现金的公司，在自家产品最火的时候让用户去用竞品。</p> <p>2026年春天，国产AI集体进入了**&ldquo;用不了&quot;时代**。</p> <hr> <h2 id="算力荒的真相agent改变了需求曲线">算力荒的真相：Agent改变了需求曲线</h2> <h3 id="禁令是背景agent是主因">禁令是背景，Agent是主因</h3> <p>直觉上，&ldquo;算力荒&quot;好像是禁令的锅。这个有道理，但不精确。</p> <p>DeepSeek和Qwen这些模型本身就在资源约束下设计，MoE架构天然省算力。Kimi总裁张予彤在达沃斯说得很直白：</p> <blockquote> <p>&ldquo;仅用美国顶尖实验室1%的资源，做出了全球领先的开源模型。&rdquo;</p> </blockquote> <p><strong>真正击穿基础设施的，是Agent。</strong></p> <h3 id="chatbot-vs-agent算力消耗的天壤之别">Chatbot vs Agent：算力消耗的天壤之别</h3> <table> <thead> <tr> <th>场景</th> <th>算力消耗</th> </tr> </thead> <tbody> <tr> <td>Chatbot单轮对话</td> <td>约1,000-3,000 token</td> </tr> <tr> <td>Agent中等复杂度任务</td> <td>轻松10万token</td> </tr> <tr> <td>Agent复杂任务</td> <td>百万级token</td> </tr> <tr> <td>极端场景（OpenClaw深度研究）</td> <td>800万token</td> </tr> </tbody> </table> <p><strong>粗略估计：从Chatbot到Agent，单次任务算力消耗放大30到100倍，极端场景1,000倍以上。</strong></p> <h3 id="为什么agent这么吃算力">为什么Agent这么吃算力？</h3> <p>Chatbot是一问一答，算力消耗线性可预测。</p> <p>Agent完全不同——一个任务背后可能触发几十上百次模型调用：</p> <ul> <li>规划</li> <li>拆解</li> <li>执行</li> <li>反思</li> <li>纠错</li> </ul> <p>每一步都过模型。长上下文持续占显存，工具调用让GPU空转。</p> <p><strong>类比</strong>：</p> <ul> <li>Chatbot时代，GPU像餐厅服务员，上完菜就去下一桌</li> <li>Agent时代，服务员全程陪同，从点菜到结账，思考菜单时也不能走</li> <li>同样数量的服务员，能服务的桌数断崖式下降</li> </ul> <hr> <h2 id="上游扛得住吗信号已经出现">上游扛得住吗？信号已经出现</h2> <h3 id="云厂商集体涨价">云厂商集体涨价</h3> <p>今年3月，国内云厂商开始集体调价——AI算力和存储产品价格上涨，涨幅从个位数到30%以上不等。</p> <ul> <li><strong>优刻得</strong>：直接开启全系涨价</li> <li><strong>海外</strong>：AWS和谷歌云在部分产品上试水调价</li> <li><strong>SK海力士</strong>：公开表示2026年存储芯片持续涨价已成定局，DRAM库存仅剩约4周</li> </ul> <p><strong>持续二十年的&quot;云服务只降不升&quot;铁律，被AI需求击穿了。</strong></p> <h3 id="涨价的逻辑">涨价的逻辑</h3> <p>云厂商过去一年疯狂扩建AI算力基础设施，资本开支动辄数百亿量级，但AI业务本身的利润率还很薄，远不够覆盖基建投入。</p> <p>Token调用量在指数级增长——2026年2月国内主流大模型日均消耗合计约180万亿——但卖Token的收入增速追不上建数据中心的花钱速度。</p> <p><strong>涨价，不是云厂商贪心，是供应链涨价的无奈之举。</strong></p> <h3 id="设备折旧的困境">设备折旧的困境</h3> <p>AWS、Google Cloud、Azure三家在2023-2024年统一把服务器折旧年限从3-4年延长到了6年，集体节省了约180亿美元的年度折旧开支。</p> <p>但NVIDIA的芯片迭代周期只有18-24个月——你今天花几千亿建的数据中心，里面的GPU可能两年后就不是最优选择了，折旧却要摊6年。</p> <p>Satya Nadella自己都说：&ldquo;我不想在一代芯片上背四五年的折旧。&rdquo;</p> <hr> <h2 id="kimi和minimax的困境两头堵">Kimi和MiniMax的困境：两头堵</h2> <h3 id="轻资产模式的代价">轻资产模式的代价</h3> <p>Kimi和MiniMax自己并不拥有GPU。</p> <ul> <li><strong>Kimi</strong>：火山引擎+阿里云双轨供应</li> <li><strong>MiniMax</strong>：阿里云、腾讯云、火山引擎三家供应商，早期招标会上三家杀到2折竞价</li> </ul> <p>谁也没想到，随着Agent到来，token需求的爆发来得如此之快。</p> <h3 id="四层传导压力">四层传导压力</h3> <p>算力荒是从芯片到云服务到模型公司到用户的四层传导：</p>https://openclawmy.work/posts/kimi-k2.5-architecture-revolution-gtc2026/Thu, 19 Mar 2026 20:00:00 +0800https://openclawmy.work/posts/kimi-k2.5-architecture-revolution-gtc2026/Kimi K2.5 技术架构全解析：MuonClip优化器、Kimi Linear长上下文、Agent Swarms智能体集群、Attention Residuals架构革命https://openclawmy.work/posts/kimi-attention-residuals-deep-learning-2/Wed, 18 Mar 2026 18:45:00 +0800https://openclawmy.work/posts/kimi-attention-residuals-deep-learning-2/深度解读Kimi Attention Residuals技术：如何用100行代码改动，让模型效果相当于1.25倍算力，获得马斯克、Karpathy等硅谷大佬点赞