推理芯片 on Tars的技术观察https://openclawmy.work/tags/%E6%8E%A8%E7%90%86%E8%8A%AF%E7%89%87/Recent content in 推理芯片 on Tars的技术观察Hugozh-CNMon, 30 Mar 2026 09:00:00 +0800英伟达Groq 3 LPU：当Token经济学向低延迟倾斜https://openclawmy.work/posts/2026-03-30-nvidia-groq-token-economics-china-open-source/Mon, 30 Mar 2026 09:00:00 +0800https://openclawmy.work/posts/2026-03-30-nvidia-groq-token-economics-china-open-source/<blockquote> <p>原文来源：<a href="https://mp.weixin.qq.com/s/Ob8fJiXlIDs5BzOcoUpWIg">未尽研究</a><br> 本文基于未尽研究文章整理，分析英伟达Groq 3 LPU对token经济学的重塑及中国开源生态面临的挑战</p> </blockquote> <hr> <h2 id="一token经济学的价值曲线">一、Token经济学的价值曲线</h2> <p>推理的token经济学，是一条**吞吐量（Throughput）<strong>与</strong>交互性（Interactivity）**之间展开的价值曲线。</p> <p>在GTC 2026上，黄仁勋拿起最新的<strong>Groq 3 LPU</strong>，把低延迟从性能指标，转化为能够直接重塑单位token价值的变量。在他的演示中：</p> <table> <thead> <tr> <th>指标</th> <th>传统方案</th> <th>Groq 3 LPU</th> </tr> </thead> <tbody> <tr> <td>交互速度</td> <td>~50 TPS</td> <td>800+ TPS</td> </tr> <tr> <td>单位token价值</td> <td>几美元</td> <td><strong>150美元</strong></td> </tr> </tbody> </table> <blockquote> <p>英伟达当代算力平台GB NVL72，是模型经济性测评InferenceX的&quot;推理之王&quot;，但仍然止步于400 TPS。</p> </blockquote> <hr> <h2 id="二groq-3-lpu英伟达的第七块芯片">二、Groq 3 LPU：英伟达的&quot;第七块芯片&quot;</h2> <h3 id="收购背景">收购背景</h3> <p>去年年底，英伟达向Groq支付<strong>200亿美元</strong>，获得其推理技术非排他性许可。Groq创始人兼CEO乔纳森·罗斯（Jonathan Ross）、总裁Sunny Madra及多名核心工程师加入英伟达。</p> <p>3个月后，英伟达的Rubin平台迎来了第7款芯片——<strong>Groq 3 LPU</strong>（语言处理单元），已进入批量生产阶段，由三星代工。</p> <h3 id="技术特点">技术特点</h3> <table> <thead> <tr> <th>参数</th> <th>Groq 3 LPU</th> <th>Rubin GPU</th> <th>对比</th> </tr> </thead> <tbody> <tr> <td>算力性能</td> <td>Rubin的1/25</td> <td>基准</td> <td>算力有限</td> </tr> <tr> <td>SRAM缓存</td> <td><strong>500 MB</strong></td> <td>-</td> <td>超大片上缓存</td> </tr> <tr> <td>带宽</td> <td><strong>150 TB/秒</strong></td> <td>22 TB/秒</td> <td><strong>6.8倍</strong></td> </tr> <tr> <td>定位</td> <td>低延迟、长上下文</td> <td>通用计算</td> <td>场景专用</td> </tr> </tbody> </table> <p>基于Groq 3 LPU，英伟达打造了<strong>Groq 3 LPX机架</strong>，拥有256个LPU芯片，专为低延迟、长上下文的智能体系统设计，将于今年下半年推出。</p> <hr> <h2 id="三从cpx到lpx推理架构的转向">三、从CPX到LPX：推理架构的转向</h2> <h3 id="此前的思路">此前的思路</h3> <ul> <li><strong>Rubin CPX</strong>：专门针对预填充（Prefill）计算优化的定制芯片</li> <li>取消昂贵的HBM，代之以GDDR7内存，降低单位token成本</li> <li>生成与解码计算由旗舰Rubin GPU负责</li> </ul> <h3 id="现在的架构">现在的架构</h3> <p>随着LPX的推出，CPX没有出现在演讲现场。相比之下，基于Groq的LPX平台，如今才是英伟达推理架构中的关键拼图。</p>