DeepSeek

黄仁勋在Dwarkesh Patel访谈中关于华为和DeepSeek的言论，到底是夸大威胁还是现实主义？从正反双方辩论视角，解析这位’清醒鹰派商人’的论证策略。

核心洞察 DeepSeek正站在一个关键转折点。这家以"不卷"著称的AI Lab，在R1爆火后经历了核心人才流失、V4延迟发布、以及来自竞争对手的疯狂挖角。但比八卦更重要的是：梁文锋的"理想主义实验"能否在商业化压力下继续？ 人才流失：谁在离开，为什么 已确认离职的核心成员 成员 角色 去向 影响 王炳宣 DeepSeek LLM核心作者 腾讯（姚顺雨团队） 历代模型训练骨干 魏浩然 DeepSeek-OCR系列核心 某大厂（待定） 多模态文档理解 郭达雅 DeepSeek-R1核心作者 某大厂（待定） 推理模型核心 阮翀 幻方元老、Janus-Pro核心 元戎启行（自动驾驶） 多模态+端侧AI 离职背后的推力 1. 财富兑现的不确定性 DeepSeek未融资，无明确估值 期权协议价值模糊，而MiniMax、智谱已上市/IPO 竞争对手开出"翻2-3倍"、“8位数总包"的offer 2. 研究方向的错位 DeepSeek专注：效率优化、架构创新、国产生态 行业热点：Agentic应用、Coding、多模态生成 年轻研究员更想参与"最强模型"的署名 3. 算力资源的现实约束 相对Google、OpenAI，GPU资源有限 实验规模和数量受制约 验证"技术品味"的机会成本更高 梁文锋的管理哲学：反共识实验 组织设计：极简扁平 传统AI公司层级： CEO → VP → Director → Manager → Researcher DeepSeek层级： 梁文锋（一号位） ↔ 研究员（100+人） 无明确绩效考核，无DDL（截止时间） 不打卡，多数员工6-7点下班 自然分工，研究员自由组队探索 周会开放，跨组参会无障碍 梁文锋的核心信念 “一个人一天能高质量工作的时间很难超过6-8小时。加班疲劳下的昏庸判断反而会浪费宝贵的算力资源。” 这与行业常态形成鲜明对比： Google、OpenAI、xAI、字节：每周70-80小时 DeepSeek：约大厂1/10人数，1/2人均工时，跻身第一梯队 人才策略：应届生为主 2025年初统计（172名研究者中84人可查）： >70% 本科生和硕士生 >70% 年龄小于30岁 几乎不社招，以实习生留任为主 V4模型：延迟背后的技术路线 进展时间线 时间 事件 2026年1月 小参数版V4已给开源框架社区适配 原计划2月中旬 大参数版V4发布（乐观预期） 预计4月 V4可能正式发布 DeepSeek的技术重心（2025年至今） 效率优化方向： ...

原文来源：华为黄大年茶思屋 / 机器之心编译 本文基于Sebastian Raschka博客《现代LLM中注意力变体的可视化指南》整理 引言 著名AI技术作家Sebastian Raschka继「LLM架构画廊」后，又发布了重磅博客《现代LLM中注意力变体的可视化指南》。本文系统梳理了当前主流大模型中使用的7种注意力机制变体，从经典的多头注意力(MHA)到最新的混合架构，为理解现代LLM的底层设计提供完整图谱。 一、多头注意力 (MHA)：经典基线 核心原理 自注意力机制允许每个token查看序列中其他可见的token，为它们分配权重，并利用这些权重构建一个新的具有上下文感知的输入表示。 **多头注意力(MHA)**是Transformer中的标准版本，并行运行多个具有不同学习投影的自注意力头，然后将它们的输出组合成一个更丰富的表示。 MHA流程： 输入嵌入 X → 投影到Q/K/V → 计算注意力矩阵 → 输出表示 Z ↓ ↓ ↓ ↓ Wq/Wk/Wv QK^T得分 Softmax归一化 加权求和 历史背景 注意力机制的出现早于Transformer，最初用于解决RNN编码器-解码器的瓶颈问题： 问题：RNN隐藏状态无法存储无限信息 突破：注意力让解码器直接回顾整个输入序列 演进：Transformer移除了循环结构，将注意力作为主要序列处理机制 示例架构 GPT-2 OLMo 2 7B OLMo 3 7B 二、分组查询注意力 (GQA)：内存优化之选 核心创新 GQA由Google在2023年提出，让多个查询头共享相同的键值投影，摒弃了为每个查询头提供各自键和值的做法。 机制 KV头数量 内存占用 实现复杂度 MHA = Query头 高 简单 GQA 减少共享 中等 简单 MQA 1个共享 低 简单 为什么GQA成为新标准 内存节省：KV缓存成本显著降低 实现简单：无需像MLA那样大幅改动 性能平衡：比MQA建模质量更好 “GQA是MHA和MLA之间的甜蜜点——比MHA便宜，比MLA易于实现。” 示例架构 稠密模型：Llama 3 8B、Qwen3 4B、Gemma 3 27B、Mistral Small 3.1 24B ...

原文来源：华为黄大年茶思屋 / 机器之心编译 本文基于Sebastian Raschka博客《现代LLM中注意力变体的可视化指南》整理 引言 著名AI技术作家Sebastian Raschka继「LLM架构画廊」后，又发布了重磅博客《现代LLM中注意力变体的可视化指南》。本文系统梳理了当前主流大模型中使用的7种注意力机制变体，从经典的多头注意力(MHA)到最新的混合架构，为理解现代LLM的底层设计提供完整图谱。 一、多头注意力 (MHA)：经典基线 核心原理 自注意力机制允许每个token查看序列中其他可见的token，为它们分配权重，并利用这些权重构建一个新的具有上下文感知的输入表示。 **多头注意力(MHA)**是Transformer中的标准版本，并行运行多个具有不同学习投影的自注意力头，然后将它们的输出组合成一个更丰富的表示。 MHA流程： 输入嵌入 X → 投影到Q/K/V → 计算注意力矩阵 → 输出表示 Z ↓ ↓ ↓ ↓ Wq/Wk/Wv QK^T得分 Softmax归一化 加权求和 历史背景 注意力机制的出现早于Transformer，最初用于解决RNN编码器-解码器的瓶颈问题： 问题：RNN隐藏状态无法存储无限信息 突破：注意力让解码器直接回顾整个输入序列 演进：Transformer移除了循环结构，将注意力作为主要序列处理机制 示例架构 GPT-2 OLMo 2 7B OLMo 3 7B 二、分组查询注意力 (GQA)：内存优化之选 核心创新 GQA由Google在2023年提出，让多个查询头共享相同的键值投影，摒弃了为每个查询头提供各自键和值的做法。 机制 KV头数量 内存占用 实现复杂度 MHA = Query头 高 简单 GQA 减少共享 中等 简单 MQA 1个共享 低 简单 为什么GQA成为新标准 内存节省：KV缓存成本显著降低 实现简单：无需像MLA那样大幅改动 性能平衡：比MQA建模质量更好 “GQA是MHA和MLA之间的甜蜜点——比MHA便宜，比MLA易于实现。” 示例架构 稠密模型：Llama 3 8B、Qwen3 4B、Gemma 3 27B、Mistral Small 3.1 24B ...

引言：当《硅谷》神剧照进现实 看过HBO神剧《硅谷》（Silicon Valley）的朋友，想必都对那个名为Pied Piper（魔笛手）的虚构公司念念不忘。 剧中，男主角Richard Hendricks发明了一种「中间压缩算法」，能以极高的压缩率无损处理文件，甚至因此改写了整个互联网的规则。 当时我们都以为这只是编剧的脑洞。直到Google Research正式发布了名为TurboQuant的AI压缩算法。 这原本是一条枯燥的技术新闻，却在社交网络上引发了病毒式传播，不到24小时就收获了1280万次浏览。原因无他，这项技术的设定简直就是Pied Piper的翻版： 在不损失模型性能的前提下，将AI的「工作记忆」压缩至少6倍。 市场的反应也极为真实——美股存储芯片板块盘中遭遇抛售，美光科技、闪迪等头部企业股价齐齐收跌。 这不禁让人好奇：一项纯软件层面的算法创新，为什么会让卖硬件的先慌了神？ 困在「记忆黑洞」里的大模型 抛开网络热梗，TurboQuant的出现其实不仅是为了好玩，更是为了解决一个让整个AI行业头疼已久的真实瓶颈。 众所周知，现在的AI模型越来越大，对显存的胃口也像无底洞一样。尤其是在推理阶段（也就是你和AI聊天的时候），AI需要记住上下文信息，这部分数据被称为KV Cache（键值缓存）。 每处理一个词，模型都要把它转成一个高维向量存进GPU显存。对话越长，这份「数字备忘录」膨胀越快，很快就把GPU显存塞满。这就是为什么你的AI助手聊久了会「变笨」或者直接报错——脑容量不够了。 更棘手的是，传统的压缩方法一直面临一个两难困境：压缩数据时，需要额外存储「量化常数」来告诉模型怎么解压。这些元数据听起来很小，加起来却能把压缩带来的收益全部抵消掉。 Google的TurboQuant的诞生正是基于此。 TurboQuant的技术解法 研究人员设计了一套两阶段的数学解法： 第一阶段：PolarQuant（极坐标量化） 把数据向量从传统的直角坐标系转换成极坐标系，拆分成： 半径（表示大小） 角度（表示方向） 这个几何变换的妙处在于：转换后角度的分布变得高度可预测，模型不再需要为每个数据块单独存储昂贵的归一化常数，直接映射到固定的圆形网格上就行了，开销为零。 第二阶段：QJL（纠错优化） Quantized Johnson-Lindenstrauss变换充当数学层面的纠错器： 把压缩后残留的误差投影到低维空间 每个误差值压缩成一个符号位（+1或-1） 保证AI在计算「注意力分数」时，压缩版本与高精度原版在统计意义上完全一致 类比理解：如果说以前AI记笔记是「逐字逐句抄写」，那么TurboQuant就像发明了一套「极简速记符号」——该记的一个不漏，占的空间却少了六倍。 实测数据：不只是概念 无需重新训练 对企业格外友好的特性：无需重新训练模型。你现有的开源模型，或者自己微调过的模型，直接套上TurboQuant就能跑，不用额外的数据集，也不用重新跑一遍训练流程。 大海捞针测试 在「大海捞针」基准测试里，让AI从10万个词里找出一句藏好的话： TurboQuant在Llama-3.1-8B和Mistral-7B上跑出了满分召回率 同时把KV Cache的显存占用压缩了至少6倍 LongBench综合评测 在涵盖问答、代码生成、长文摘要的LongBench综合评测套件上，TurboQuant全面追平甚至超过了此前的最强基线方法KIVI。 H100实测速度 最硬核的数字来自英伟达H100 GPU的实测：4位精度的TurboQuant在计算注意力逻辑上的速度，比未压缩的32位方案快了整整8倍。 Google的「DeepSeek时刻」 论文发布后的24小时内，社区已经开始动手验证。 Apple Silicon MLX框架的知名开发者@Prince_Canuma把算法移植到了Apple Silicon的MLX框架，测试Qwen3.5-35B模型，上下文长度从8500到64000 token全覆盖，每个量化等级都跑出了100%的精确匹配。 他还发现，2.5位的TurboQuant能把KV Cache压缩近5倍，准确率零损失。 Cloudflare CEO的评价 对于TurboQuant的发布，Cloudflare CEO Matthew Prince甚至将其称为Google的「DeepSeek时刻」。 把时间拨回一年前，DeepSeek以极低的成本训练出了性能惊人的模型，彻底打破了硅谷大厂对「高成本才能训练出高性能AI」的迷信。那次冲击也让整个行业意识到：光有大模型不够，还得跑得起、跑得快。 TurboQuant也是这种背景下的产物。如果这项技术能从实验室走向大规模应用，它将带来肉眼可见的商业价值： 场景 影响 云端推理 同样一张H100，推理成本理论上可以直接打折超过50% 端侧部署 以前需要32位精度才能跑的大模型，放在Mac Mini或者本地服务器上也能运行，还不会有质量损耗 硬件门槛 16GB内存的设备也能运行强大的大模型 市场反应：存储芯片股为何恐慌？ TurboQuant发布当天，美股存储芯片板块盘中遭遇明显抛售。闪迪、美光科技等头部企业股价显著收跌，存储芯片与硬件供应链相关指数单日跌幅超过2%。 ...