JAIST産学官共創フォーラム・令和7年度 第2回定期講演会

1．講演テーマ

マルチモーダル対話支援・社会的信号処理の最前線
～ 感情・性格・スキル・関係性・会話の仕組みを読み解き、支援するマルチモーダル研究と実践 ～

2．開催概要

人間同士の対話、そして人間とAIのコミュニケーションにおいては、言葉だけでなく、表情・声の調子・視線・身振りなどのマルチモーダルな行動が、相手の感情や性格、関係性を理解する上で大きな役割を果たします。
これらの社会的シグナルを定量的に捉え、モデル化する「社会的信号処理」やマルチモーダル対話の状況を理解する「マルチモーダル対話モデリング」は、AIによる自然なコミュニケーション支援と人間理解の基盤技術として注目されています。

本講演では、この分野で長年研究を行ってきた大学・企業研究所研究者が、それぞれの立場から研究と実践の最新動向を紹介します。
学術的基盤から応用展開までを俯瞰しつつ、AIが人間社会に溶け込むために必要な技術、さらには産学連携による新たな可能性を議論します。

３．講演

講演１：認知機能・心理・行動をつなぐ社会的信号処理の展開

講演者
北陸先端科学技術大学院大学 先端科学技術研究科 教授　岡田 将吾 氏

​概要
本講演では、人と人、人とシステム、人と機械との相互作用（インタラクション）において観察される非言語行動や言語情報といったマルチモーダル情報を手がかりに、個人の内面状態（感情）や認知機能、さらにはスキルや性格といった個人特性を推定・分析する「社会的信号処理（Social Signal Processing， SSP）」の研究事例を広く紹介します。表情・視線・声のトーン・ジェスチャなどの非言語的な行動指標と言語的特徴を統合的に解析し、対話や協調作業における対人理解やAIによる適応的支援に活用する最新の研究を取り上げます。さらに、教育、面接支援、医療・福祉、人材育成などの応用事例も交え、今後の人間中心AIの設計や人間理解技術の発展の可能性について議論します。

​経歴
2003年横浜国立大学工学部卒業。2008年東京工業大学大学院総合理工学研究科知能システム科学専攻博士後期課程修了。同年、京都大学情報学研究科知能情報学専攻特定助教。2011年東京工業大学大学院総合理工学研究科知能システム科学専攻助教。2014年IDIAP Research Institute 滞在研究員。2016年東京工業大学大学院情報理工学院助。2017年北陸先端科学技術大学院大学先端科学技術研究科准教授。2024年より同研究科教授。博士 (工学)。
主にマルチモーダルインタラクション、人間行動解析、社会的信号処理の研究に従事。 人工知能学会創設30周年記念論文  最優秀論文賞受賞。

講演２：マルチモーダル対話の機序のモデル化と対話支援

​講演者
NTT人間情報研究所 デジタルツインコンピューティング研究センタ特別研究員　石井 亮 氏

​概要
人間のマルチモーダル対話の仕組みを理解・モデル化し、人同士あるいは人とコンピュータとの円滑な意思疎通を支援する世界の実現を目指しています。現在は、対話における人のマルチモーダル行動から対話能力や状況を認識する技術、発話と身体動作の関連をモデル化して音声やテキストから自然な動作を自動生成する技術、さらに人のデジタルツイン「Another Me」を活用した対話支援技術に取り組んでいます。本講演では、これらの取り組みを紹介し、マルチモーダル対話支援の可能性を展望します。

​経歴
2008年 東京農工大学大学院工学府情報工学専攻修士課程修了。同年、日本電信電話株式会社（現：NTT株式会社）入社。現在、NTT人間情報研究所特別研究員。2013年 京都大学大学院情報学研究科博士後期課程修了、博士（情報学）。2011～2013年 成蹊大学客員研究員。2019～2020年 カーネギーメロン大学客員研究員。2023～2025年 宇都宮大学客員准教授。コミュニケーション科学およびマルチモーダルインタラクションの研究に従事。2023年、令和5年度科学技術分野の文部科学大臣表彰 若手科学者賞受賞。

主催：一般社団法人JAIST支援機構
後援：北陸先端科学技術大学院大学

会場参加、オンライン参加ともに事前申し込みが必要です。
こちらの申し込みフォームよりお申し込みください。
URL：https://www.jaistso.or.jp/jiagccf/regular-lecture2502/