Nvidia Expands Its Inference Kingdom, Report Says

米SemiAnalysis（セミアナリシス）は3月24日「Nvidia - The Inference Kingdom Expands」と題したレポートを公開した。米NVIDIAが推論の王国を拡大しているという意味だ。

ここでいう推論とは、学習済みのAIが実際に動き、利用者の質問に答えたり、企業の業務を処理したりする段階を指す。つまり、企業が日常的にお金を払いながら使うAIである。

SemiAnalysisは、米NVIDIAが今、この推論市場の覇権争いに王手をかけた状態だとみているようだ。

AIをどれだけ安く、速く、大量に動かせるか AIのコストが経営テーマに

これまでAI業界では、どれだけ高性能なモデルを学習できるかが最大の関心事だった。そのため、巨大な学習を支える半導体が主役となり、米NVIDIAはその中心に立ってきた。

だが、AIが企業システムや現場業務に本格的に入り込むにつれて、勝負の軸は変わりつつある。これから重要になるのは推論の領域、つまりAIをどれだけ安く、どれだけ速く、どれだけ大量に動かせるかという点だ。SemiAnalysisのレポートは、NVIDIAの最近の発表を追いながら、AIの主戦場が移動していることを解説している。

背景にあるのは、推論の計算量の急増だ。企業のAI利用は、単純な質疑応答からAIエージェントの利用へと移行している。AIエージェントは、長い資料を読んだり、大量のコードを処理したりと、複数の手順を踏んで作業を進める。

NVIDIA自身も、長い文脈を扱う対話や、複数段階で考えながら動くエージェント型AIの需要が強く伸びていると説明している。AIが仕事の現場に深く入るほど、1回の利用で必要になる計算量も増え、月間の利用回数も膨れ上がる。AIのコストが経営テーマになってきたのはそのためだ。

1トークンの「製造原価」を巡る戦い 問われるのは賢さより経済性

ここで重要になるのが、1トークンをいくらで生成できるかという発想である。

トークンはAIが文章を処理したり生成したりする際の最小単位で、要するにAIの返答にかかる原価に近い。

今後のAIビジネスでは、モデルの賢さだけではなく、その原価をどこまで下げられるかが極めて重要になる。しかも、ただ安いだけでは足りない。応答が遅ければ使い物にならず、同時に大量処理できなければ企業向けサービスとして成立しない。SemiAnalysisは、これからのAI市場では、コスト、処理量、応答速度の3つをそろえた企業が勝つ構図になっていくと指摘する。

SemiAnalysisによると、NVIDIAは、最新GPUだけでなく、それらを高速につなぐ接続技術、AIを効率よく動かすソフトウェア、さらにデータセンター全体の設計まで含めて、一気通貫で提供し始めている。

同社は3月の技術ブログで、次世代のAI基盤を一つの巨大なAIスーパーコンピューターとして説明した。部品を個別に売るのではなく、AI工場そのものを丸ごと設計して供給する発想である。SemiAnalysisも、NVIDIAが推論向けの新しいラック構成や、長文処理を支える周辺基盤まで含めて押さえにきている点を重視している。

NVIDIAが仕掛ける圧倒的なコスト破壊の「具体数値」と、需要が減るどころか増え続ける「逆説の理論」はこの先にある。