めだまロボット（2022年度まとめ）
はじめに
一般に人型ロボットでは図1に示すようにその形状が人に近づくと不気味の谷と呼ばれる感覚が生じることが知られている。また人型ロボットが人らしさを感じるにはロボットの視線の影響が大きいことも知られている。
そこで、これらの性質を逆手にとれば、「視線を正確に再現すると機械的な装置であっても人間的に感じる」
という仮説が考えられる。そうすると、見た目は機械的でも人間的あるいは生き物のように見えるガジェット（小さな機械）を作ることができ、人との感性的なコミュニケーションが図れるかもしれない。
そこで本稿では、はじめに、図2、図3のような眼球を模した球体の中にカメラを埋め込み、そこから得られる画像によって、相手の顔の中心を正確に見つめるように球体を正確に動かす「眼球ロボット」の製作を行う。次に、この「眼球ロボット」について、人らしく感じるかを科学イベントなとのフィールドにて評価を行う。
試作機
最近はAIの分野においてフリーの学習済みネットワークが数多く公開提供されるようになり、日常的な認識用途であれば簡単にAI的手法による認識処理が行えるようになった。今回の眼球ロボットの場合、顔認識と顔のランドマーク抽出を組み合わせれば求める情報が得られる。そこでこれらの認識を行う学習済みネットワークが提供されるdlibとONNXRUNTIMEの２つの認識系を使った眼球ロボットを試作する。
めだまロボットのブロック図
- dlibを利用した試作機
-
dlibはよく使われるC++言語で書かれた汎用目的のクロスプラットフォームソフトウェアライブラリの１つである。Pythonによるラッパーも用意されていて、１つめの試作機はこれを利用しPythonでプログラムしている。WindwosPC上で認識系を実行し、その計算結果である眼球の移動量をArduinoに転送して動作する。
カメラはUSBカメラモジュールを使用し筐体は3Dプリンタで作成する。更に、カメラと処理系を２つ持つ２眼タイプも製作した。
２眼タイプ - ONNXRUNTIMEを用いた試作機
-
ONNXRUNTIMEはONNX モデルを運用環境にデプロイするためのハイパフォーマンスの推論エンジンである。2つめの試作機はこの推論エンジンをGPU搭載の組み込み向けボードPCのJetsonで動作させる。
dlib版試作機と同様のUSBカメラモジュールを使用し、筐体は3Dプリンタで作成する。
試作機の評価
これらの試作機を科学イベントの「青少年のための科学の祭典奈良大会2022」と「けいはんな科学体験フェスティバル2023」、ものづくりイベント「大垣ミニメイカーフェア2022」に出展し、簡単なアンケート調査とヒアリングを行った。「大垣ミニメイカーフェア2022」の様子と「けいはんな科学体験フェスティバル」に出展した2眼タイプを示す。
アンケートを見るとどのイベントに於いても人間的な印象を感じている観客がいることから、当初の仮説、「視線を正確に再現すると機械的な装置であっても人間的に感じる」は一定の評価が得られたと思われる。
応用
- めだまゾーン ～エンターテイメントへの応用
-
JetsonなどのGPU搭載のボードコンピュータを利用すれば、十分な反応速度を持ちポータブルな「眼球ロボット」にまとめることができる。この「眼球ロボット」を複数個用意して室内空間に配置すればお化け屋敷のような「めだまゾーン」と呼べるような不思議な空間が演出できる。
めだまゾーン - めだまインターフェース ～コンピュータ・インターフェースとしての応用
眼球ロボットが人間的な印象をあたえることから、眼球の動きが感情を表現するのに適当である可能性がある。そこで、PCの音声アシスタントなどの表現の拡張として、より感情に訴えるインターフェースが可能になると考えられる。
- めだまターミナル ～遠隔対話ツールとしての応用
簡単に利用できるようになった顔認識と同様に特別なハードウェアなしに視線追跡も可能になってきている。そこで眼球ロボットと視線追跡を組み合わせれば、遠隔会議ツールとしての応用が考えられる。その様子を右図に示す。
- 害獣対策
害獣対策では天敵を模した模型や眼球を模した物体を利用することが従来より行われているが、すぐに害獣が慣れてしまうという問題点がある。そこで、能動的に動作する眼球ロボットを応用することが考えられる。その様子を右図に示す。
まとめ
本稿で紹介した眼球ロボットは技術的なその動作の実現方法だけでなく、人型ロボットをはじめとする新しいインターフェースとしての可能性を提案することになった。つまりスマートスピーカーの画像版のような人との感情のインターフェースや害獣対策など幅広い応用の可能性が確認できた。
これらの分野はすでのパーソナルロボットと呼ばれるカテゴリの一部があてはまると思われるが、十分な成果をあげているとは言えない。また、背後にある原理として人とのインタラクションの特性を掘り下げる必要もある。今後検証すべき点は多く見つかったと思われる。