研究活動（研究内容）
研究概要
調音運動に基づき頑健な音声認識を実現すると共に，これらを語学の発音矯正ソフトへ応用する技術を開発している．その実現のために，
（1）音声から調音運動を直接抽出，
（2）その調音特徴をもとに音声認識，
（3）基本的な母音・子音を効果的に矯正するための調音可視化，
（4）韻律の抽出，
（5）文中のリンキングの検出，
を行っている．また，「何時でも何処でも」学習を支援するためWebベースアプリとして実装し，スマートフォンによる学習の整備も進めている．
テーマ1：音声-調音特徴変換に基づく調音動作ジェスチャの可視化
概要
調音動作のアニメーション生成 語学発音学習では，調音位置（口唇，歯茎，口蓋，声門など））および調音様式（調音方法（破裂，摩擦，破擦，鼻音など）を，教師から直接学びつつ習得することが不可欠とされている．本研究では，（1）音声を高い精度で調音特徴へ変換し，さらに(2) 調音特徴系列を調音器官の動作に変換し，その情報をもとに調音動作アニメーションを生成し，(3) 教師と学習者の調音との違いを教示する技術を開発する．以上のように，音声から調音動作を高精度に抽出し可視化する．これまで開発された既存ソフトは，正しい調音動作を示すだけであったが，本技術は学習者の調音動作を含めて比較提示するため，学習者は発音動作の何処が具体的に誤っているのか，またどうすれば矯正できるのかを容易に理解することができる．
主な業績
- Yurie Iribe, Silasak Manosavanh, Kouichi Katsurada, Ryoko Hayashi, Chunyue Zhu, Tsuneo Nitta: "Generating Animated Pronunciation from Speech Through Articulatory Feature Extraction", Proc. of INTERSPEECH 2011, pp.1617-1620 (2011-8)
- Yurie Iribe, Silasak Manosavan, Kouichi Katsurada, Ryoko Hayashi, Chunyue Zhu, Tsuneo Nitta: "IMPROVEMENT OF ANIMATED ARTICULATORY GESTURE EXTRACTED FROM SPEECH FOR PRONUNCIATION TRAINING", Proc. IEEE ICASSP'11, Kyoto, Japan (2012-3)
- 科学研究費補助金（若手B）「音声-調音特徴変換に基く発音動作可視化の研究」（2012-2014）
- キーワード
- 調音特徴，調音動作可視化，発音学習
テーマ2：調音運動抽出技術に基づく発音マップの開発
概要
発音マップの画面例 教師と学習者の調音の違いが一目で理解でき，さらに正しい調音動作への矯正法を直感的に読み取ることのできる母音発音マップを開発している．正しい調音と学習者の誤った調音の違いを分かりやすく示すために，発音教育にて活用される口唇の開き具合（縦軸）や舌の位置（横軸）を模式的に表した IPA（International Phonetic Alphabet）チャート上に，学習者の母音の位置をリアルタイムにプロットする．これにより，学習者は発声しながら自分の調音を容易に確認することができ，正しい調音との違いを確かめながら口唇の開き具合や舌の盛り上がる位置を参考に徐々に修正し漸近的に調音を矯正することができる．
主な業績
- 平成24年度 科学技術振興機構 研究成果最適展開支援プログラム（A-STEP）起業検証 「音声から抽出した調音運動に基づく語学学習ソフトの開発」
- キーワード
- 発音マップ，IPAチャート
