人間同士の対話に見られる言語的・非言語的な特徴の分析や、人と相互作用（インタラクション）する知能システムの構築、メディア特性と利用状況の把握と活用法の探索などのテーマに取り組んでいる井上先生。収集したコミュニケーションデータの中にある細かな変化に目を凝らしながら、考察を深めていきます。その目線の先には、高度な人工知能を有するコンピューターやロボットが生み出すであろう、新しいコミュニケーションの可能性があります。

手に取った本が後押しした人間の理解を究める研究者の道

人間について研究するきっかけとは。

高校生の時、人間が何かを認識する仕組みとはどのようなものなのか、不思議に思うようになりました。学問として学んでみたいという意欲はあったのですが、なかなかその手がかりとなるものを見つけられませんでした。そんな時、図書館に行って何気なしに本棚を眺めていたら、認知科学に関する書籍を見つけました。本を読むことで認知科学という学問領域の全体像をおぼろげながら理解することができました。私が抱いていたような疑問が研究対象となっていることを知ったことが、今の研究分野に進む最初の一歩になりました。

進路はどのように選んだのですか。

大学への進学を考えていた当時は、認知科学分野で活躍されている先生はいらっしゃいましたが、専門として学べる学部やコースは、ほとんど無かったように記憶しています。そこで学際的な学びが可能な国際基督教大学の理系コースに進学し、その中で情報科学の分野を選択することにしました。学部卒業後、情報科学を専門分野としてしっかり学ぶために、奈良先端科学技術大学院大学へ進学しました。

会話の抑揚や身振り手振りなどから特別な意味を見出す研究手法

人やシステムの相互作用に関する研究とは。

典型的な例として挙げられるのは会話です。人はどうやって会話をうまく成り立たせているのか、会話がうまく噛み合わなくて失敗する時は何が起きているのか、実際に会話を録音したり映像を撮影したりして分析します。分析対象とした対話の例としては、カウンセリングがあります。カウンセリングの結果として問題解決につながったかどうかよりも、対話の中で何が起こっているかに興味がありました。マルチモーダル分析という、言語と身振り手振りなどの非言語のふるまいとをあわせて観察する研究方法があります。そのためにビデオカメラで撮影するだけでなく、体にセンサーを付けて動きを計測する手法にも取り組んだことがあります。どんな質問や会話の内容の時にうなずきが増えるのかや、うなずきのタイミングを計測し、データの分析を行いました。また、カウンセリングを学んでいる学生と経験を積んだベテランとの比較を行い、どのような違いがあるのかも調べました。

研究の応用先にはどんなものが考えられますか。

研究の成果が即座に先進機器やプログラムの開発につながるわけではありませんが、人間の会話について調べた知見をAIの対話システムに組み込めば、より自然で上手な会話ができるようになるのではないかと考えています。また、最近取り組んでいる研究では、VRゴーグルなどを使用した仮想空間のシミュレーション体験の中で、現実世界をどこまで反映できるのかを調べています。実用的な場面で例えると、パソコン上で部屋の間取りを再現して家具や照明機器などを配置する3Dシミュレーション体験の中で、スキャナーで取り込んだ仮想の物体をいかに現物と近く感じているかを明らかにするような研究です。この研究は、VR機材の改良やソフトウェアの開発を直接の目的とするものではありませんが、仮想環境の活用の幅を広げるために役立つと考えています。

東北の地で未知の体験や感動を通じて心躍るような未来図を描く

研究室の学生はどんな研究テーマに取り組んでいますか。

人々とロボットがどのように関わり合うべきか、どのように共生していくべきかを考えるヒューマン・ロボット・インタラクション（HRI）という学術分野があります。お掃除ロボットなどの人型でない単純なロボットを使い、私たちの生活の中でどんなコミュニケーションが発生するのか考察する課題に取り組んでもらっています。プログラムで地上走行ロボットやドローンなどを操作し、動作に対する人間の反応を見るような実験を行っています。その他にも、人工知能の高度化に伴って日々発展している対話システムが、どのようなコミュニケーションの癖を持っているかを調べている学生もいます。

井上先生にとっての「未来のエスキース」とは。

東北が面白くなっていくような、そんな未来図です。これまで関東や関西に移り住んで学んだり働いたりしてきました。そこでは商業文化や歴史遺産などの点で、地方とは違う面白さを感じる機会がありました。東北では、土地の面白さがまだ未開拓であるように感じることがあります。山形に住んでいたときに、以前から知っていた山形国際ドキュメンタリー映画祭に関わらせていただく機会がありました。地元の人々の手で独自の文化を作り上げていく躍動感や面白さに触れ、とても感動しました。簡単ではないと思いますが、東北の各地で様々な文化がこれから生まれていく可能性があるのではないかと思っています。