自動サイン翻訳に向けて

サインは私たちの生活の至る所にあります。私たちがそれらに馴染んでいるとき、サインは私たちの生活を楽にしてくれます。しかし、時には問題も引き起こします。例えば、外国で観光客がサインを理解できないことがあります。本稿では、自動サイン翻訳に向けた私たちの取り組みを紹介します。自動サイン検出の方法を議論します。例に基づいた機械翻訳技術を用いたサイン翻訳を説明します。私たちは、自動サイン翻訳システムを開発する際にユーザー中心のアプローチを採用しています。このアプローチは、必要に応じて翻訳するための関心のある領域とドメインを選択する際に人間の知能を活用します。ユーザーは、画像内で複数のサインが検出された場合に、どのサインを翻訳するかを決定できます。選択された画像の部分は処理され、認識され、翻訳されます。私たちは、観光客にとって一般的なガジェットであるビデオカメラから入力された中国のサインを認識し、それを英語のテキストまたは音声ストリームに翻訳できるプロトタイプシステムを開発しました。