[ITmedia ビジネスオンライン] 人間より「PC作業がうまい」AI機能がリリース　OpenAI「Dots」が変えるデバイスの未来

米OpenAI（オープンAI）のエンジニアが人気ポッドキャスト「Latent Space」に登場し、新しいパーソナルAI「Dots」のコンピューター操作（computer use）機能について説明した。そこで示されたのは、AIが人間よりPCを上手に使い始めているという現状だ。

「人間より速い」PC操作AIの進化

computer useとは、AIエージェントが人間に代わってPCを操作する技術だ。Webサイトを開き、ボタンを押し、フォームに入力し、必要な情報を探す。これまで人間がマウスやキーボードを使ってしてきた作業を、AIが代行する。

computer useには、ユーザー自身のPCをAIに操作させる方式もある。一方、Dotsでは各エージェントにクラウド上のLinux仮想コンピュータが与えられる。AIはその中でブラウザだけでなく、デスクトップアプリも操作できる。

これまでcomputer useには、途中で操作に失敗したり、処理に時間がかかったりする問題があった。ところがOpenAIでcomputer use agentsのプロダクト・エンジニアリングを率いるアリ・ワインスタイン（Ari Weinstein）氏によると、この数カ月で性能が大きく向上したという。

同氏は現在のDotsのcomputer useについて「おそらく多くの場合、平均的な人間より速くタスクを完了できる」と語っている。同氏は、食材の量まで細かく指定できる宅配食サービスを例に挙げた。何食分もの注文内容を細かく設定する作業は、自分でやると約2時間かかった一方、computer useでは15分で終わったという。次の目標は、熟練したコンピュータユーザーと同等か、それ以上の速度でソフトウェアを操作することだという。

AIが人間よりも“優位”な2つの要素

だが、AIが人間より優位なのは速さだけではない。

人間なら「クリックする、待つ、画面を見る、次をクリックする」と順番に進めるところを、Dotsは必要に応じてJavaScriptを書き、一連の操作をまとめて実行する。さらにOpenAIの新しいAPIでは、あるツールの処理が終わるのを待たずに、別の処理を進める仕組みも導入されている。

さらにDotsには、人間にはないもう一つの強みがある。

「Appshot」という仕組みでは、Dotsが受け取るのは画面の画像だけではない。アプリやWebページの内部構造も一緒に渡される。

例えば人間がWebサイトを見ても、画面上に表示された文字の裏側に設定されているリンク先URLまでは見えない。しかしDotsには、その情報まで渡すことができる。カレンダーで画面上では途中までしか表示されていない予定名なども取得できるのだ。