頭の中でつぶやいた「内言」を顔の筋肉から読み取って会話できるシステムをMITが開発

人間は声に出して外に発する言葉の他に、自分の脳(あるいは心)の中だけに存在して思考の道具などとして用いられる言葉「内言」を持っています。
この内言は自分以外にはまったく伝わらないものなのですが、マサチューセッツ工科大学(MIT)内の研究所「MITメディアラボ」では、顔と顎の筋肉の微細な電気信号を読み取って人工知能(AI)で解析することで内言の内容を読み取って音声として発することができる装置の研究開発が進められています。

Computer system transcribes words users “speak silently” | MIT News
http://news.mit.edu/2018/computer-system-transcribes-words-users-speak-silently-0404

内言を読み取れる装置は、以下の写真のように耳から顎のラインに沿って装着されるデザインになっています。
唇の下あたりと顎に接触する部分には4つの電極が内蔵されており、人間が内言を発した時に起こる筋肉の微細な動きを電気信号で検知できるようになっています。
この筋肉の動きは人間の目には全く見えないものですが、機械学習を行わせたAIで電気信号を解析することで、簡単な単語であれば解読できるレベルに達しているそうです。

また、この装置は骨伝導ヘッドセットの役目も兼ねています。
外部から送られてきた音声はトランスデューサーによって振動に変換され、頭蓋骨を介して内耳を直接振動させることで音が聞こえるようにします。
つまり、この装置はマイクの代わりに4つの電極で人間の心の中で話された言葉を音声に変換し、相手から返ってきた言葉をスピーカーの代わりに骨伝導によって耳に届けることで、会話によるコミュニケーションを可能にする装置というわけです。

写真のモデルで、実際のこの装置を開発しているArnav Kapur氏は「モチベーションになったのは、『インテリジェント拡張デバイス』を創りたいというアイデアでした」と語っています。
「コンピューターによる解析技術を用いることで、人間の意識とコンピューターが溶け合って1つに融合し、自分の認知を内部で拡張する装置が作れないか？」という発想からこの研究が始まったといいます。

内言が人間の筋肉の動きに現れることについては1950年代から研究が進められてきており、1960年に広まった速読術の中で大きく注目されることになりました。
速読では、目に入った文字を心の中で音読してしまう「サブボーカリゼーション」を排除することが目標の1つとされており、その影響が顔の筋肉の微細な動きに現れます。

しかし、この筋肉の動きをコンピューターインターフェースとして活用する試みは、ほとんど進められてこなかったとのこと。
Kapur氏らの研究チームは、合計16個の電極を取り付けたヘッドセットを使った研究を始め、最終的には4つの電極で有用なデータを取ることができるところに行きついたそうです。

最初は20語程度の単語を用いた検証が進められました。
被験者が足し算やかけ算を頭の中で音読した内容を読み取らせる実験を進め、次にチェスの駒の動きを心の中でつぶかせ、それを読み取らせることで精度を上げてきたそうです。
そして最新の技術では、被験者が頭の中で思った言葉を92％の精度で解読することに成功しているとのこと。
しかしKapur氏は今後さらに学習を深くすることで精度を高め、日常会話に支障がないレベルにまで能力を高めることを目指しています。

この装置が実用化されると、空港や工場など騒音の激しいところでも頭の中で思うだけで会話が可能になるほか、物音を立てることが許されない軍事作戦遂行時のコミュニケーション手段としての活用も期待できることになりそう。
また、身近な使用シーンとしてオンラインゲームのチャットを声に出さずに行うことができたり、言葉を使うことが不自由な人のコミュニケーション支援ツールとして活用したりすることも十分に期待できそうです。

■写真

GIGAZINE　2018年04月05日 19時00分
https://gigazine.net/news/20180405-mit-internal-verbalization-transcribe-computer-system/