音声には様々な心身状態に関する情報が含まれています。当研究室では、対話中の音声から、発声特徴パラメータの変化情報、非言語情報、パラ言語情報、言語情報などを利用して、人間の様々な心身の状態を測ろうとしています。非言語情報とは感情や個人性を，パラ言語情報は態度や意図を伝達する情報と言われており、人間同士あるいは人間－ロボット間での対話音声からこれらの情報を抽出し人間の状態を推定しています。また、対話中の言語的情報を普段から継続的に収集することにより、通常時からの人の発話の量の変化や、発話内容の変化などの継時的変化に反映される心身の状態の変化を捉えています。

これらの技術は高齢者の日々の心身の変化や認知症傾向の判断に応用しています。 他大学との共同研究の一環で、高齢者施設で需要のある、ロボットによる音声対話技術にも取り組んでいます。特に、高齢者の音声に対する音声認識精度は20代～50代の音声よりも低いため高齢者音声の認識率向上を目指しています。

さらに、雑談対話のための対話継続技術の開発も目指しています。人間同士の対話を理想として、利用者が継続したくなる対話を行うための条件を明らかにし、それを技術的に実現する方法を研究しています。特に、対話内容、対話中の話速や間などの韻律に注目し、予め与えられた対話シナリオだけではなく、Web上から対話内容に関連する情報を動的に検索し獲得することで、ロボットの発話内容を決定する機構を検討しています。

また、自然な対話を実現するために、話速や間に現れる対話のリズム、視線や顔向きなどのモダリティ情報、韻律情報、対話内容をもとに話者交替・話題交替のタイミングを的確に把握するための技術を開発しています。