UCLAの生体工学者のチームが、スマートフォンのアプリを使ってリアルタイムでアメリカ手話を英語の音声に翻訳できる手袋のような装置を設計し、その研究が、雑誌「Nature Electronics」に掲載されたので紹介したいと思います。
このシステムには、5本の指のそれぞれの長さに沿って伸びる薄いセンサーが付いた一双の手袋とスマートフォンアプリで構成されています。これらのセンサーは、導電性の糸で作られており、手や指の動で、アメリカ手話のフレーズや単語を表す指の位置を拾うことで、翻訳を可能にします。指の動きを電気信号に変換し、手首ある装置からスマートフォンに無線で情報を送信し、アプリは、1秒間に約1単語の割合でそれらを話し言葉に翻訳することができます。
アプリは機械学習アルゴリズムを使用してアメリカ手話を認識するようにトレーニングされており、現在は660の手話語彙から毎秒約1語を翻訳することが可能だが、研究者達はこれをさらに高速化し、語数を増やすことを目指しています。
さらに研究者たちは、アメリカ手話の一部である顔の表情をキャプチャするために、手話をする人の顔（眉間と口の片側）に粘着センサーを追加することでさらに手話翻訳の可能性を広げています。
UCLAはこの技術に関する特許を申請している様です。
現在対応しているのは、アメリカ手話のみで国際手話や日本手話には対応していませんが、今後これらの技術が一般化することで手話を使う人とのコミュニケーションが今以上に取りやすくなるかもしれません。
下の動画は実際の動作デモ動画です。
参考
Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays
Wearable-tech glove translates sign language into speech in real time
DVDつき ゼロからわかる手話入門―手の動きがすぐにマネできる「ミラー撮影」採用 主婦の友社
パーフェクト・センス(字幕版)
コメント