話した言葉、字幕表示 筑波大院生ら装置開発

話した言葉を透明なディスプレーに字幕表示する「シースルーキャプションズ」を使って案内するつくば市役所の職員=10月28日、同所
話した言葉を透明なディスプレーに字幕表示する「シースルーキャプションズ」を使って案内するつくば市役所の職員=10月28日、同所
■茨城県つくば市役所や観光施設、実用化へ試験導入
話した言葉を透明なディスプレーにリアルタイムで字幕表示する装置を筑波大の大学院生らが開発し、実用化を進めている。聴覚障害者との意思疎通を円滑にするのが目的で、相手の表情や身ぶりを見ながら字幕で話の内容を確認できる。市役所や観光施設での試験導入のほか、限定販売があった。普及が進めば、新型コロナウイルスの影響でマスクやアクリル板越しの会話がしにくい現状の緩和にもつながりそうだ。

■液晶大手と協力
装置は「See-Through Captions(シースルーキャプションズ)」。マイクに向けて話すと音声を自動認識し、目の前にある12.3インチの透明ディスプレーに時間差なく文字起こしする。

高い翻訳精度や多言語対応のほか、字幕を表裏両方に表示するのが特長。話者は翻訳ミスがないか逐一確認できる。文字の大きさや色も調整でき、4インチの持ち運びできるタイプもある。

ディスプレーは、液晶パネル大手のジャパンディスプレイ(JDI、東京)が開発した。学生たちは同社と協力し、グーグルの自動音声認識技術を活用しシステムを作り上げた。

開発者の一人で筑波大大学院生の鈴木一平さん(25)は、「耳の聞こえない方とどうコミュニケーションを取るかは日常の課題だった」と振り返る。耳の聞こえない学生が研究室に入ったことで、意思疎通について皆で試行錯誤してきたという。新型コロナの影響でオンラインゼミになると、話す人の映像の前に字幕を表示するツールを作り、今回の装置の開発につなげた。

■多言語対応
装置は、市役所や観光施設で試験導入が始まった。

つくば市は7月下旬から約3カ月間、総合案内窓口に設置した。市が利用者や窓口職員にアンケートをすると、「マスクを着けてアクリル板越しだと声がこもる。設置で聞き返すことが減った」「英語が通じない人が来た時にスペイン語への翻訳機能で無事案内できた」といった意見が寄せられた。

市担当者は「機微な情報が周りに見えてしまう可能性があり、置く部署に限りがある」としながら、「好意的な意見が多かった。導入するかどうかはこれから検討していく」と話した。

日本科学未来館(東京)では6月と8月に、聴覚障害者などを対象に小型版の装置を使った展示ツアーを実施。職員は機器をリュックサックに入れ、手に持った画面に説明を表示させながら案内した。

JDIがディスプレーの開発のため実施したクラウドファンディングは、目標額を上回る650万円が集まった。エンジニアの育成に取り組む「ジェームズダイソン財団」(東京)主催のコンテストでは8月、国内最優秀賞を受賞した。

■意思疎通便利に
装置は障害者からも好評だ。つくば市職員で重度難聴者の豊島清美さん(52)は「耳の聞こえない人は、目で相手の感情を読み取る。筆談だと一方通行のやりとりになってしまうので、透明な画面越しに相手の顔を見ながら話せるのはいい」と受け止める。

自動音声認識アプリや、手話を文字化するソフトといった同様の技術は、各方面で開発が進む。

全日本難聴者・中途失聴者団体連合会関東ブロックの斎藤正昭副会長=つくば市在住=は、便利な道具があっても、周囲の目を気にして使うのをためらうケースがあると説明する。

「初めて会う人が多い会議では、道具を使うのに内心恥ずかしくて抵抗があった」と自身の経験を語る。「いろいろな場所で新たな技術を使えるようになれば、障害者の利便性が上がる」と期待を込めた。

最近の記事

ニュース一覧へ

全国・世界のニュース