LLMの一般知識と企業固有データのギャップ

生成AIの登場以来、多くの企業は大規模言語モデル（LLM）の性能向上に注目してきました。「ChatGPT」や「Claude」「Gemini」をはじめとするモデルは、文章生成や要約、翻訳、プログラミング支援などの分野で驚異的な進化を遂げています。しかし、企業向けAIにおいて本当に重要なのは、モデルがどれだけ一般知識を持っているかではありません。その企業固有のデータや業務の文脈やプロセスを理解し、それらを重要なビジネスの意思決定に効果的に活用できるかどうかです。

例えば営業担当者が顧客向けの提案資料を作成する場合、必要となる情報は顧客管理システム（CRM）の情報だけではありません。過去の商談履歴や契約内容、製品情報、在庫状況、価格体系、市場動向など、複数のシステムに分散している情報を総合的に参照する必要があります。人間であれば必要なシステムを横断して確認しながら判断できますが、AIが同じことをするためには、これらの情報に適切にアクセスできる環境が必要です。

つまり、企業AIの価値は、「どれほど高性能なモデルを利用しているか」ではなく、「企業内のデータをどれだけ有効活用できるか」によって決まります。しかし現実には、多くの企業のデータ基盤はAI活用を前提として設計されておらず、そこに大きなギャップが存在します。

データの分断が生む情報の分断

企業におけるAI活用を阻む最初の課題が、いわゆる「データの分断」です。長年にわたり企業システムは部門ごとに最適化されてきました。営業部門はCRM、マーケティング部門はMAツール、生産部門はMESやERP、経理部門は会計システムというように、それぞれが独自の目的に合わせて導入、運用されています。その結果、企業内には膨大なデータが存在するにもかかわらず、それらが部門ごとに分断され、相互に十分連携できていない状況です。

AIは企業全体の状況を踏まえて判断することが求められますが、参照できる情報が限定されていると適切な回答や提案ができません。

例えば営業支援AIが顧客からの問い合わせに対応する場合、顧客情報だけではなく、在庫状況や生産計画、契約条件なども考慮する必要があります。しかしデータがサイロ化されていると、AIは部分的な情報しか取得できず、不完全な回答を返してしまいます。利用者はその結果に不信感を抱き、AIを業務で活用しなくなってしまいます。AIの導入、活用は停滞し、組織全体への展開も進まなくなってしまうでしょう。

こうしたデータの分断は、多くの企業が共通して抱える課題でもあります。Clouderaの最新調査「データレディネス・インデックス調査」では、日本企業の45％がデータのサイロ化をデータ活用における主要な障壁として挙げており、その解消が依然として重要なテーマであることが示されています。

バッチ処理前提のデータ基盤でAIは機能しない

もう一つの大きな課題は、企業のデータ基盤が依然としてバッチ処理を前提としていることです。

従来のデータ分析では、夜間にデータを集約し、翌日に分析レポートを作成するのが一般的でした。この仕組みは経営分析やBI用途では十分機能してきましたが、予測やレコメンデーションといったAI主導の業務運用においては限界があります。

AIはリアルタイムに状況を把握し、その時点で最適な判断をすることが求められます。リアルタイムデータ処理そのものは新しい概念ではありません。しかしAIが人間の意思決定を支援する存在から、自ら推論し行動するAIエージェントへと進化する中で、リアルタイム性は単なる分析要件ではなく、AIの判断品質そのものを左右する要件へと変化しています。

例えば物流業界では配送状況が刻々と変化しますし、金融業界では不正取引を秒単位で検知する必要があります。製造業でも設備異常を即座に検知しなければ、生産停止や品質問題につながる可能性があります。

しかし、多くの企業では依然として日次や時間単位でデータが更新されているため、AIが参照する情報が既に古くなっているケースが少なくありません。どれほど高性能なモデルを利用していても、入力されるデータが最新でなければ適切な判断はできません。AIの性能向上と同時に、データのリアルタイム性を確保することが重要になっています。

ハルシネーションではなく「AIを信用できない」という壁

企業の生成AI活用において、頻繁に聞かれる課題の一つが「AIの回答を信用できない」というものです。一般的にはハルシネーションの問題として語られますが、企業利用における本質的な課題はそれだけではありません。

企業の業務では、回答そのものだけでなく、その根拠も重要です。利用者は「なぜその結論になったのか」「どのデータを参照したのか」「その情報はいつ更新されたものなのか」を知りたいと考えます。

しかし企業内のデータ管理が十分でない場合、AIは利用者が信頼できる形で回答の根拠を明確に示せません。その結果、利用者はAIを正式な業務ツールとしてではなく、参考情報を得るための補助的なツールとしてしか使わなくなります。

これはAI活用の定着を阻む大きな要因です。今後の企業AIには、回答精度だけでなく、説明可能性やトレーサビリティーがこれまで以上に求められるようになるでしょう。

AI時代に求められるリアルタイムデータ基盤

近年注目を集めているエージェンティックAIは、この課題をさらに顕在化させます。生成AIは、人間の質問に回答することが主な役割でしたが、エージェンティックAIは自律的に判断し、複数のシステムを横断しながら業務そのものを実行します。

例えば営業支援エージェントであれば、顧客情報の取得や商談履歴の確認、在庫確認、見積書作成、顧客へのメール送信といった一連の業務を自動的に実行します。つまりAIは単なるチャットbotではなく、企業システムの利用者そのものになるのです。

このような環境では、データの分断やリアルタイム性の欠如といった課題がより深刻になります。AIが複数のシステムをまたいで判断する以上、企業全体のデータがシームレスにつながっていなければなりません。また、どのデータにアクセスし、どのような判断をしたのかを管理するガバナンスも不可欠です。エージェンティックAIの普及は、データ基盤の重要性をこれまで以上に高めることになるでしょう。

では、企業はどのようなデータ基盤を構築すべきなのでしょうか。重要なのは、AI専用の新たなシステムを導入することではありません。企業全体のデータの流れを見直し、AI活用を前提とした基盤へと進化させることです。

まず必要なのはデータの統合です。構造化データ、非構造化データ、ストリーミングデータを問わず、一貫したセキュリティとガバナンスの基で、一元的に管理し活用できる仕組みが求められます。次に重要なのがリアルタイム性です。AIは分析ツールから意思決定支援ツールへと進化しているため、データ取得から活用までの時間を極力短縮する必要があります。

さらに欠かせないのがガバナンスです。誰がどのデータを利用できるのか、AIがどの情報を参照して判断したのか、その結果をどのように監査するのかといった管理体制を整備する必要があります。こうした基盤が整って初めて、企業はAIを安心して業務に組み込めます。

分析中心から「推論基盤中心」のアーキテクチャへ

生成AI市場では、現在もモデル性能を巡る競争が続いています。しかし企業の現場で本当に重要なのは、どのモデルを選択するかではありません。データが分断されていないか、リアルタイムに活用できるか、適切なガバナンスが整備されているかといった、データ運用の仕組みそのものです。

分析基盤中心だった企業ITは、今後、推論基盤中心のアーキテクチャへと進化していく必要があります。AI 2.0時代に求められるのは、AI戦略そのものではなく、それを支えるデータ戦略と推論基盤戦略です。

優れたAIモデルを導入するだけでは企業変革を実現できません。データを継続的かつ信頼性高く流通、活用できる基盤を整備してこそ、AIは初めて本番業務で価値を発揮します。

次回は、本番導入が進んだ企業が新たに直面する「推論コスト」の課題に焦点を当てます。エージェンティックAIの普及によってなぜコスト構造が変化するのか、そして企業がどのように推論経済性を考えるべきかについて解説します。