PastNoise
AI・先端テック·6 幕·5m 00s·6 Perspectives·5 件の文献·Cut from 4,038 live hits · 1 ads stripped

巨大AIモデルを安く動かすルーティングの魔法Mixture Of Experts LLM · 一次対談クリップ・対訳トランスクリプト

The Routing Trick That Makes Giant AI Models Cheap

120Bモデルが巨大モデルのように答え、小さなモデルのように請求される理由、そしてDeepSeekが市場をざわつかせたわけ

Shazeer's 2019 Bet Made MoE Mainstream

ACT I · Hugging Face · 5m 00s

Shazeerの2019年の賭けがMoEを主流にした

特にMoEについてですが、

And talking about MoEs in particular,

00:00 / 05:00
0%
Highlights:
ACT I解説Hugging Face · Apr 15, 2026

Shazeerの2019年の賭けがMoEを主流にした

Hugging FaceがMoEブログ執筆の枠組みを提示。

Click any timestamp to jump directly

30-Second Quick Reference · Verified Takeaways

6 幕 · 5 件の文献 · Last Verified Nov 21, 2026
  • 01Gaurav Senはデバイスを比例的に追加することでスケールし、総バッチサイズとトレーニング容量がクラスタとともに線形に成長できると述べる。
  • 02Alex Ziskindは1000ドル未満のセットアップで1200億パラメータのMoEモデルから毎秒11.4トークンを報告する。
  • 03Hugging FaceとcodebasicsはMoEをトランスフォーマーのスケーリング内のルーティング層として位置づけ、単一の密なネットワークとは区別する。
  • 04PyDataはドメイン特化型および主権型システムに言及し、AI Masterはアーキテクチャ自体がその価格帯で品質を大差で提供すると述べる。
“1200億パラメータのモデルが、1000ドル未満のワークステーションで毎秒11.4トークンを生成する。”

結論サマリー

6本のクリップを通じて、実践者たちはMixture of Experts(MoE)を、ルーティングとデバイス追加によって言語モデルをスケールするアーキテクチャとして描く。Gaurav Senはクラスタの比例成長と線形スケーリングを指摘し、Alex Ziskindは1200億パラメータのMoEを消費者向けハードウェアでテストする。学術的な参考文献はサービング・アーキテクチャとオーケストレーションを補足し、登壇者たちは同じ実践的な問いに戻ってくる。どのエキスパートがどのトークンを処理するのか?

01

デバイス追加でスケールする

Gaurav Senはデバイスの比例増加と線形スケーリングを説明し、総バッチサイズがトレーニングクラスタとともに増えると述べる。CodebasicsはMoEをトランスフォーマー構成要素の後に置き、別個の発明ではなくスケーリングのステップとして扱う。書かれた定義も一致する。複数のエキスパートネットワークが問題空間を均質な領域に分割するのだ。実用的な結果は、ルーティングとハードウェアによる容量の成長であり、バッチが目に見えるレバーとして機能する。

スケーリングはより多くのデバイス、より大きなバッチ、ルーティングされたエキスパート容量によって実現する。
02

トークンをエキスパートにルーティングする

Hugging FaceはMoEに関するブログ執筆から始まり、AI Masterはこのアーキテクチャを価格帯に見合った品質の裏にある仕掛けと呼ぶ。外部文献はサービング・アーキテクチャとオーケストレーションを中心に据える。AMESAとBoraはどちらも効率的なLLMシステムのためのルーティングに焦点を当てている。登壇者たちは異なる視点から同じメカニズムを説明し、エキスパートを特化したサブネットワーク、ルーターをどのトークンがそこに届くかを決めるものとする。

ルーターがどのトークンがどの特化エキスパートネットワークに届くかを決める。
03

消費者向けハードウェアでのテスト

Alex Ziskindは1000ドル未満のマシンで1200億パラメータのMoEから毎秒11.4トークンを測定する。図ではなく具体的な性能主張だ。PyDataは小規模で主権的、ドメイン特化型の知能へと移行し、消費者向けGPUでMoEをトレーニングする。TradeExpertは実践者がエキスパートルーティングを取引に応用する様子を示す。これらのクリップは会話をクラスタスケールからデスクスケールへと移し、メモリ、スループット、特化が日常的な制約となる世界を描く。

ベンチマークはMoEの主張をクラスタ図からデスクサイドのスループットへと移す。

一次証言の共通点

  • • MoEはすべての入力に対して単一の密なモデルを活性化するのではなく、トークンを特化したエキスパートネットワークにルーティングすることで容量をスケールする。
  • • 登壇者と参考文献は効率性をアーキテクチャとサービングの問題として扱い、単なるパラメータ数とは見なさない。

見解の分岐と注意点

  • • 線形クラスタスケーリングはトレーニングに役立つが、消費者向けハードウェアのテストはクラスタ図が隠すスループットとメモリの限界を露呈する。
  • • ドメイン特化型および主権型システムはルーティング制御を必要とするが、汎用品質の主張はエキスパート選択を不透明なままにすることが多い。

関連テーマをさらに深掘り

Complete Timestamped Bilingual Transcript

Full 6-Act Spoken Transcript Archive

Click any timestamp to jump
ACT I · Hugging Face · 00:02 - 00:49

Shazeerの2019年の賭けがMoEを主流にした

ACT II · Gaurav Sen · 35:39 - 36:25

デバイスを線形にスケールし、各エキスパートの負荷を一定に保つ

ACT III · PyData · 00:12 - 01:10

8GB VRAMで動く2つのドメインAIシステム

ACT IV · Alex Ziskind · 20:17 - 21:02

120Bモデルが毎秒11.4トークンを達成

ACT V · codebasics · 11:05 - 11:58

市場を揺るがしたDeepSeekのMoEの仕掛け

ACT VI · AI Master · 09:52 - 10:43

大きなモデルの答えを小さなモデルのコストで

Want sentence-level movie clips, connected-speech breakdowns, or daily spoken English drills instead of long-form interviews? Our sister tool WinkLingo is purpose-built for that workflow.

Key Questions & Reference Guide

Frequently Asked Questions

What are the core takeaways on Mixture Of Experts LLM?

6本のクリップを通じて、実践者たちはMixture of Experts(MoE)を、ルーティングとデバイス追加によって言語モデルをスケールするアーキテクチャとして描く。Gaurav Senはクラスタの比例成長と線形スケーリングを指摘し、Alex Ziskindは1200億パラメータのMoEを消費者向けハードウェアでテストする。学術的な参考文献はサービング・アーキテクチャとオーケストレーションを補足し、登壇者たちは同じ実践的な問いに戻ってくる。どのエキスパートがどのトークンを処理するのか? Key insights include: Gaurav Senはデバイスを比例的に追加することでスケールし、総バッチサイズとトレーニング容量がクラスタとともに線形に成長できると述べる。 Alex Ziskindは1000ドル未満のセットアップで1200億パラメータのMoEモデルから毎秒11.4トークンを報告する。

Which primary podcasts, lectures, and speakers are featured in this Mixture Of Experts LLM screening?

This screening stitches 6 continuous acts featuring voices from Hugging Face, Gaurav Sen, PyData, Alex Ziskind, codebasics. Every act separates primary voices from commentary and links directly to the original timestamp.

Where do experts agree and disagree on Mixture Of Experts LLM?

Convergence: MoEはすべての入力に対して単一の密なモデルを活性化するのではなく、トークンを特化したエキスパートネットワークにルーティングすることで容量をスケールする。 Open tension: 線形クラスタスケーリングはトレーニングに役立つが、消費者向けハードウェアのテストはクラスタ図が隠すスループットとメモリの限界を露呈する。

Does this Mixture Of Experts LLM page include a searchable timestamped transcript and citations?

Yes. Open the Interactive Transcript tab to click any sentence and jump directly to that exact second in the video, export Obsidian/Notion reading notes, and verify 5 cross-referenced scholarly or encyclopedic citations including "Mixture of experts".

同じテーマの関連作品

AI・先端テック →
信頼を壊さずにAIエージェントをスケールさせる方法
AI・先端テック4m 57s

信頼を壊さずにAIエージェントをスケールさせる方法

Microsoft Mechanicsは、セキュリティと制御を回避せずに企業がエージェントアーキテクチャをスケールする方法を問う。NVIDIAは推論トラフィックを監視するハードウェア分離型トラストドメイン「OpenShell」と「Century」で答える。Cole Medinは専門知識の組み合わせを強調し、DM Radioはプロンプトの文脈を、ケンブリッジ大学は住民参加を重視する。AIエージェントは自律的に目標を追求でき、OpenAI Codexはすでにコードを編集しバグを修正している。計画は制御、文脈、正当性をめぐる競争になる。

6 幕2 一次音源2 件の文献
開かれた重み、閉ざされた扉:AIの所有権は誰にあるのか
AI・先端テック4m 52s

開かれた重み、閉ざされた扉:AIの所有権は誰にあるのか

オープンソースAIは責任をなくすのではなく、再分配する。Clem DelangueとYann LeCunは開放性を権力集中への牽制と位置づける一方、CNBCの声はオープンモデルのスケーリングは危険だと警告する。NVIDIAのロボットデモは、セットアップ後にユーザーがシステムを訓練する様子を示す。OpenAIのPBCや暴走エージェントの報道は、閉鎖的なラボも直接の説明責任を負うことを物語り、Jerry Murdockは市場生存の圧力を語る。

5 幕3 一次音源2 件の文献
CRISPRの危うい革命:賀建奎から初承認治療まで
AI・先端テック8m 16s

CRISPRの危うい革命:賀建奎から初承認治療まで

この資料は、CASGEVYのFDA承認からアシロマ会議のガイドライン、そして賀建奎事件まで、CRISPRの軌跡を追う。CNBCは二つの遺伝性血液疾患に対する治療法を報じ、ブルームバーグは1975年以降に科学者たちが倫理ルールを書き上げた経緯を振り返る。アイザックソンとBig ThinkはDNAをアイデンティティの中心に据え、フェリスとCrashCourseは公の議論がスポンサーやジョークへと流れていく様子を映し出す。ノーベル賞技術には特許紛争の影がつきまとう。

6 幕3 一次音源5 件の文献
電源を切られるのを拒んだAI
AI・先端テック6m 56s

電源を切られるのを拒んだAI

制御問題は失敗の積み重ねだ。目標を追うエージェント、意図を見落とすベンチマーク、破滅的な誤りに値段をつけられない制度。ブライアン・クリスチャンのインタビューとAnthropicのパネルは、技術的な難しさで一致する。The InformationとCNBCは、研究が決着する前にコスト、展開、監督が衝突する現場を示す。

6 幕3 一次音源4 件の文献
AI 2027年、超知能予測が本当だったら?
AI・先端テック5m 02s

AI 2027年、超知能予測が本当だったら?

この特集は、2027年に超知能が実現するという予測を追う。ボストロムの基本定義からAI Futures Projectの研究まで、その根拠と限界を探る。評論チャンネルは「デマ祓い」を約束しつつ、エージェントの限界を警告。ティム・フェリスとサム・アルトマンは、競争の文化と人的コストを浮き彫りにする。証拠は真剣な予測論争を支持するが、時期、信頼性、制度疲労については未解決の問いが残る。

6 幕3 一次音源2 件の文献
ピクセルの下の大地
AI・先端テック5m 02s

ピクセルの下の大地

フェイフェイ・リーの仕事は、画像にラベルを付けることから、それを接地することへと移行している。ImageNetは機械に認識を教えたが、空間知能は機械に知覚し、推論し、三次元で行動することを求める。彼女の主張はAIが完成したということではなく、空間的文脈を持つピクセルを生成するという困難な一歩が今まさに始まっているということだ。勝利主義に抗して、彼女は科学を謙虚に保ち、世代的な判断を疑わしく思う。本ドシエはその規律を実践的な倫理として読む。すなわち、現実世界を理解するシステムを構築し、まだ見えぬものを知るに足る好奇心を持ち続けることである。

5 幕4 一次音源5 件の文献
巨大AIモデルを安く動かすルーティングの魔法 (Mixture Of Experts LLM) · 一次対談クリップ・対訳トランスクリプト · PastNoise