[ITmedia News] AI×裸眼3Dディスプレイ？　2D映像をその場で3D化し、見る人の目も追う　現地で確かめた

ディスプレイの前に立つと、おせち料理の3D映像が目の前に浮かび上がった。3Dメガネは必要ない。体を左右に動かすと、料理の見える角度も変わる。AIがカメラを通じて視聴者の目の位置を追跡しているからだ。しかも、元は普通の2D動画で、AIがリアルタイムで3D映像に変換しているという。

和食チェーンを運営するとんでん（北海道恵庭市）と、ソフトバンク、SBクリエイティブの3社は11月12日、裸眼で3D映像を体験できるデジタルサイネージの実証実験を、とんでん白幡店（さいたま市）で報道陣に公開した。「浮き出るおせち」は、来店客の足を止められるのか。現地での体験をもとにまとめた。

今回の実証は、既存の2D動画をAIでリアルタイムに3D化するソフトバンクの技術を、飲食店の電子看板（デジタルサイネージ）に生かそうという試みだ。同社がこの3Dディスプレイを国内で実証するのは初めてという。

3社は、裸眼3D映像が通常の2D映像よりも来店客の注目を集め、料理への関心や購買意欲を高められるかを検証する。あわせて、既存の2D動画をそのまま3D化し、専用の素材を作らなくても手軽に配信・運用できるかも確かめる。

3Dおせちを体験してみた

記者がディスプレイの正面に立つと、確かにおせち料理が画面から手前にせり出して見えた。体を左右に動かすと、それに合わせて料理の見える角度も変わる。写真では伝わりにくいが、専用メガネなしでも立体的に見えることを確認できた。どのような仕組みなのか。説明会では、ソフトバンク サービス企画本部の公文勇二氏が3つの技術を紹介した。

1つ目は、裸眼での3D視聴を実現する「レンチキュラーレンズ」だ。かまぼこ状の細長いレンズを並べ、光の屈折を利用して左右の目に異なる映像を届ける。これにより、専用メガネなしで映像が立体的に見える。

2つ目は、通常の2D映像を3D映像に変換する「深度推定AIモデル」だ。AIが映像内の物体の奥行きなどを推定し、右目用と左目用の映像をリアルタイムで生成する。例えば、桜の奥に富士山が写った映像なら、AIがその前後関係を瞬時に読み取り、手前の桜が浮き出て見えるように変換する。従来は3Dディスプレイ向けに専用の映像を制作する必要があったが、この技術を使えば既存の2D動画をそのまま活用できる。

「深度推定AIを使うことで、3Dディスプレイ用に映像を作らなくてもよくなったことが、一番のポイント」（公文氏）

3つ目は、ディスプレイに搭載したカメラの映像から、AIが視聴者の目の位置を検出する「AIアイトラッキング」だ。視聴者の視点の位置に合わせて映像を調整し、より鮮明な3D映像を表示する。正面から多少外れても、アイトラッキングが機能する範囲であれば立体視が可能となる。

ただし、気になった点もある。AIアイトラッキングが検出できる視点は、ディスプレイ1台につき1人。そのため複数人で見た場合、全員の目に3Dとして映るわけではない。実際、ほかの記者が体験している様子を離れた場所から眺めていると、角度によっては画面が蜃気楼のようにゆがんで見えた。多くの客が行き交う飲食店で、立体映像をどの程度の人数に届けられるかは課題になりそうだ。

SBクリエイティブは今後、この3D変換技術をクラウド型のデジタルサイネージ配信システム「BeyondCAST」に組み込む考えだ。BeyondCASTは、複数拠点のディスプレイに動画などを一括で配信・管理できる同社のサービス。実現すれば、企業は手持ちの2D動画を登録するだけで、3D対応ディスプレイに立体映像を流せるようになる。

実証の状況は？

今回の実証では、アンケートや来店客の反応などから効果を確かめていく。アンケートはディスプレイの横にボードを置き、体験した人が3つの質問に二択で答える形式。当てはまる方にシールを貼ってもらう。

12日午後3時時点では、「おせちは3Dに飛び出して見えたか」「3D映像が店にあったらつい見てしまうか」の2問とも、シールはすべて肯定的な回答に集まった。一方、「3D映像を見ておせちへの興味が高まったか」では、「高まった」が大半を占めたものの、「変わらなかった」にも数票が入っていた。

ソフトバンクとSBクリエイティブは最終的な結果を踏まえ、商用化を検討する方針だ。