PastNoise
AI 与前沿科技·6 幕·5m 00s·6 独立视角·5 份文献·筛自 2 亿+ 数据中 4,038 条命中 · 剔除 1 条广告

大模型越大越贵?混合专家如何把账单打下来

The Routing Trick That Makes Giant AI Models Cheap

从Shazeer在2019年带火MoE,到DeepSeek让美国股市紧张:一条路由规则如何把120B模型塞进迷你主机,并改写推理成本。

Shazeer's 2019 Bet Made MoE Mainstream

ACT I · Hugging Face · 5m 00s

Shazeer如何把MoE推成主流

说到 MoE(混合专家模型),

And talking about MoEs in particular,

00:00 / 05:00
0%
高光速跳:
ACT I深度评述Hugging Face · Apr 15, 2026
跳转原片 (00:02)

Shazeer如何把MoE推成主流

Hugging Face 梳理 MoE 博客文章。

点击任意时间戳精准跳播

30 秒速查核心结论 · 一手原声提炼

6 幕 · 5 份文献 · 最近核验 Nov 21, 2026
  • 01Gaurav Sen 说,按比例增加设备,就能让总批次大小和训练容量随集群线性增长。
  • 02Alex Ziskind 报告,在一套不到 1000 美元的设备上,1200 亿参数的混合专家模型达到每秒 11.4 个词元。
  • 03Hugging Face 和 codebasics 把 MoE 放进 Transformer 扩展之中,视作路由层,与单一稠密网络不同。
  • 04PyData 谈到领域专用系统和主权系统,AI Master 则说,这一架构本身就让对应价位的质量领先一大截。
“一台不到 1000 美元的工作站,跑 1200 亿参数模型,速度可达每秒 11.4 个词元。”

全片核心结论

六段视频里,从业者把混合专家模型描述为一种扩展语言模型的架构:靠路由和增加设备来扩展。Gaurav Sen 提到按比例扩充集群,以及线性扩展;Alex Ziskind 在消费级硬件上测试 1200 亿参数的 MoE。学术资料补充了服务架构和编排,而讲者反复回到同一个实际问题:哪个专家处理哪个词元?

01

靠增加设备来扩展

Gaurav Sen 描述的是按比例增加设备,以及线性扩展:训练集群变大,总批次大小也随之上升。Codebasics 把混合专家模型放在 Transformer 组件之后,把它看成扩展步骤,不是另起炉灶的发明。文字定义也一致:多个专家网络把问题空间划分成同质区域。实际结果是,容量通过路由和硬件增长,批次大小是看得见的杠杆。

扩展来自更多设备、更大批次,以及被路由的专家容量。
02

把词元路由给专家

Hugging Face 从围绕 MoE 的博客文章讲起,AI Master 则把这一架构称为某个价位上做出质量的关键手段。外部文献把服务架构和编排放在中心:AMESA 和 Bora 都关注面向高效 LLM 系统的路由。讲者从不同角度描述同一机制:专家是专用子网络,路由器决定哪些词元到达哪些专家。

路由器决定哪些词元进入哪个专用专家网络。
03

消费级硬件测试

Alex Ziskind 在一台不到 1000 美元的机器上测得,1200 亿参数的 MoE 达到每秒 11.4 个词元。这是一个具体的性能说法,不是一张示意图。PyData 把话题转向小型、主权、领域专用的智能,以及在消费级 GPU 上训练 MoE。TradeExpert 展示从业者把专家路由用在交易上。这些片段合在一起,把讨论从集群规模拉到桌面规模:内存、吞吐和专用化成了日常约束。

基准测试把 MoE 的说法从集群示意图拉到桌面吞吐。

多方原声共识

  • • MoE 通过把词元路由到专用专家网络来扩展容量,不再为每个输入激活同一个稠密模型。
  • • 讲者和资料都把效率看成架构与服务问题,不只是参数数量。

值得注意的分歧与边界

  • • 线性集群扩展有利于训练,但消费级硬件测试暴露出集群示意图掩盖的吞吐和内存限制。
  • • 领域专用和主权系统需要路由控制,而通用质量说法往往让专家选择过程不透明。

顺着这条线索继续追问

全片完整时间戳双语逐字稿

全部 6 幕原声逐字稿档案

点击任意时间戳直跳播放
ACT I · Hugging Face · 00:02 - 00:49

Shazeer如何把MoE推成主流

ACT II · Gaurav Sen · 35:39 - 36:25

加设备线性扩展,专家负载不变

ACT III · PyData · 00:12 - 01:10

8GB显卡跑两个专用AI系统

ACT IV · Alex Ziskind · 20:17 - 21:02

迷你主机跑120B模型,每秒11词元

ACT V · codebasics · 11:05 - 11:58

DeepSeek靠MoE搅动美国股市

ACT VI · AI Master · 09:52 - 10:43

大模型答案,小模型推理成本

如果想用电影短句练习口语连读、地道俚语或日常跟读,我们的姊妹工具 WinkLingo 专注于影视级逐句精听与日常英文表达训练。

深度问答与核心摘要

关于本片与一手原声的常见问题

关于「大模型越大越贵?混合专家如何把账单打下来」,最核心的深度结论是什么?

六段视频里,从业者把混合专家模型描述为一种扩展语言模型的架构:靠路由和增加设备来扩展。Gaurav Sen 提到按比例扩充集群,以及线性扩展;Alex Ziskind 在消费级硬件上测试 1200 亿参数的 MoE。学术资料补充了服务架构和编排,而讲者反复回到同一个实际问题:哪个专家处理哪个词元? 核心要点包括:Gaurav Sen 说,按比例增加设备,就能让总批次大小和训练容量随集群线性增长。;Alex Ziskind 报告,在一套不到 1000 美元的设备上,1200 亿参数的混合专家模型达到每秒 11.4 个词元。。

这部「大模型越大越贵?混合专家如何把账单打下来」放映收录了哪些一手播客原声与频道?

本片共剪辑 6 幕连播原声章节,涵盖 Hugging Face、Gaurav Sen、PyData、Alex Ziskind、codebasics 等独立信源,并清晰标注「一手原声 / 权威报道 / 独立评述」出处与精确时间戳,点击逐字稿任意一句即可直接跳播。

不同思想者与研究者在「大模型越大越贵?混合专家如何把账单打下来」上有哪些共识与分歧?

主要共识:MoE 通过把词元路由到专用专家网络来扩展容量,不再为每个输入激活同一个稠密模型。。 关键张力与分歧:线性集群扩展有利于训练,但消费级硬件测试暴露出集群示意图掩盖的吞吐和内存限制。。

如何查看「大模型越大越贵?混合专家如何把账单打下来」的中英双语逐字稿与权威文献出处?

在播放器下方切换「时间戳双语逐字稿」即可阅读全部双语对照台词并一键导出 Obsidian / Notion 笔记;右侧「权威文献与背景佐证」汇总了 5 份外部参考(如《Mixture of experts》等)供核验。

同专题延伸纪录片

AI 与前沿科技 →
AI 智能体要跑得快,更要踩得住刹车
AI 与前沿科技4m 57s

AI 智能体要跑得快,更要踩得住刹车

Microsoft Mechanics 问企业如何扩展智能体架构,同时不绕过安全与控制。NVIDIA 用 OpenShell 和 Century 作答:一个硬件隔离的可信域,用来监控推理流量。Cole Medin 强调专业能力的组合,DM Radio 强调提示上下文,剑桥大学强调居民参与。AI 智能体可以自主追求目标,OpenAI Codex 已经在编辑代码、修复缺陷。规划因此成为围绕控制、上下文与合法性的较量。

6 幕2 一手原声2 份文献
开源权重,闭源高墙:谁在争夺AI的未来?
AI 与前沿科技4m 52s

开源权重,闭源高墙:谁在争夺AI的未来?

开源 AI 重新分配责任,并未取消责任。Clem Delangue 和 Yann LeCun 把开放视为对权力集中的制衡,CNBC 的一种声音则警告,扩大开放模型规模很危险。NVIDIA 的机器人演示显示,用户在系统部署后继续训练;OpenAI 的 PBC 与失控智能体报道说明,封闭实验室仍要面对直接问责,Jerry Murdock 则谈到市场生存压力。

5 幕3 一手原声2 份文献
AI 2027:如果超级智能预言成真,我们准备好了吗
AI 与前沿科技5m 02s

AI 2027:如果超级智能预言成真,我们准备好了吗

这份档案追踪一份把超级智能放在 2027 年的预测:从博斯特罗姆的基本定义,到 AI Futures Project 的研究。评论频道承诺拆解炒作,也提醒智能体的局限;蒂姆·费里斯和萨姆·奥尔特曼则呈现这场竞赛的文化与人的代价。现有证据足以支持一场严肃的预测辩论,但时间点、可靠性和制度压力仍是未解问题。

6 幕3 一手原声2 份文献
CRISPR 的豪赌:从贺建奎到首款获批疗法
AI 与前沿科技8m 16s

CRISPR 的豪赌:从贺建奎到首款获批疗法

这份档案追踪 CRISPR 的轨迹:从 CASGEVY 获 FDA 批准,到阿西洛马指南,再到贺建奎事件。CNBC 报道了一种治疗两种遗传性血液病的疗法;彭博社回顾1975年之后科学家如何写下伦理规则。艾萨克森和 Big Think 把 DNA 放在身份问题的中心,而费里斯和 CrashCourse 显示公共讨论如何漂向赞助口播和玩笑。专利纠纷一直笼罩着这项诺贝尔奖技术。

6 幕3 一手原声5 份文献
当AI学会自保:十万亿美元的失控赌局
AI 与前沿科技6m 56s

当AI学会自保:十万亿美元的失控赌局

控制问题是一连串失败叠在一起:智能体追求目标,基准测试却抓不住意图;机构也无法为灾难性错误定价。布莱恩·克里斯蒂安的访谈与 Anthropic 的专题讨论都承认技术难度。The Information 和 CNBC 则显示,在研究尚无定论之前,成本、部署与监督已经在哪些地方正面相撞。

6 幕3 一手原声4 份文献
像素之下的大地
AI 与前沿科技5m 02s

像素之下的大地

李飞飞的工作,从为图像贴标签走向为图像奠基:ImageNet 教会机器识别,而空间智能要求机器在三维世界中感知、推理并行动。她并不宣称人工智能已经抵达终点,而是说艰难的一步,生成带有空间语境的像素,正在发生。面对胜利主义,她让科学保持谦逊,也对代际评判保持警惕。本档案将这种纪律读作一种实践伦理:建造理解真实世界的系统,并保持好奇,足以知道自己仍看不见什么。

5 幕4 一手原声5 份文献