Googleは、品質と汎用性の面でブレークスルーとなる、大規模な多言語対応（massively multilingual）の手話からテキストへの翻訳モデルSL2Tを発表しました。この発表により、手話AIが初めて研究室から消費者向け製品に出ることになります。Pixel 11のGboardとLive Transcribeでは、SL2Tによる手話からテキストへのディクテーション機能が使え、まずはAmerican Sign Language(ASL)から英語に対応しています。
GoogleのPixel 11におけるGboardとLive Transcribeでは、SL2Tによる手話からテキストへのディクテーション機能が使えます。この機能は、まずはアメリカ手話(ASL)から英語に限り提供されます。聴者が入力の代わりに音声ディクテーションを使えるのと同様に、ろう者は通常入力する場面でスマートフォンに向かって手話で入力できます。SL2Tを搭載したsign-to-textでは、ユーザーは通常ならスマートフォンに文字を入力する場面のどこでも手話で入力できます。Live Transcribeでは、会話の中で文字を打ち返す代わりに手話で返答することができます。手話言語は世界中のろう者コミュニティの第一言語であり、ろう者の文化的アイデンティティの礎です。ろう者の間では手話・会話・読み・書きの習熟度に大きな多様性があるため、あらゆるモダリティでのアクセスを支援することが重要です。手話を使って、ウェブを検索したり、メッセージや文書の下書きを作ったり、Geminiに質問の解決やタスクの実行を頼んだりできます。
手話AIが直面する2つの課題
音声言語を処理するAIの能力は、ここ数十年で急速に進歩してきました。聴者にとって楽に感じられる自動翻訳、ディクテーション、対話型インターフェースが可能になっています。しかし、世界には200を超える手話言語があり、それらを使うろう者・難聴者(Deaf and hard of hearing)は推定7,000万人いますが、AIによる技術革命は、こうした手話言語とその使用者にはまだ及んでいません。
音声言語の文字起こしと比べると、手話翻訳には2つの中核的な課題があります。手話グローブのような初期の手話技術の試みの一部が根本的に限界を抱えていたのは、手話言語が単なる「手の上の英語」ではないからです。手話言語には、全身の細かな動きの複雑な視覚的知覚と、本格的な言語翻訳が必要であり、SL2Tはこれら両方を提供するよう設計されています。
1つ目の課題として、音声の書き起こしは、同じ言語内で音からテキストへ順次対応づける作業です。一方、手話言語は独自の文法と語彙を持つ独立した自然言語であるため、手話翻訳には、手話の各サインを単語へ順に変換する処理ではなく、真の機械翻訳が必要になります。
手話翻訳でモデルが学ぶ必要がある2つ目の課題は、身体の物理的な動きを「見て」理解することです。手話言語は手・腕・胴体・頭・顔の同時の動きで意味を伝えるため、これらを高いフレームレートで正確に追跡することは、難しく計算負荷の高いコンピュータビジョンの課題です。また、手話言語を書き起こすgloss(語注表記)は、非手指標識(non-manual markers)や空間的構成(spatial constructions)など、手話言語の豊かで非線形な側面を捉えられません。
訓練データ、プライバシーの扱い、提供状況
SL2Tは、ユーザー中心で文化的な知見を踏まえたアプローチと、大規模なデータスケーリングを組み合わせて構築されました。このモデルは、50を超える手話言語にわたる10万時間超のデータで訓練されており、データのおよそ4分の1がASLです。多様な言語、方言、習熟度にまたがって共同で訓練すると、モデルは共通の基底構造を学習し、実験では単一言語のモデルを上回りました。
SL2Tは、手話の入力を手話話者の身体上の点として捉え、それをストリーミングのテキスト出力に翻訳します。これはFLEURS-ASLベンチマークの例で示されています。ユーザーのプライバシーを守るため、手話を生のカメラ映像ではなく、ポーズのランドマーク(landmarks)位置の系列として捉えます。端末上のモデルであるMediaPipe Holisticが手話話者上の点の位置を追跡し、翻訳のためにサーバーへ送られるのは点の位置を表す幾何学的座標だけなので、元の動画は直ちに破棄できます。
テスターによると、ASLで手話をするほうが、英語で入力するよりも速く、自然で、楽しいとされています。SL2Tは学術界と産業界における数十年にわたる基礎研究の上に成り立っていますが、ASL入力をユーザーのスマートフォンに届けることは始まりにすぎません。
GboardとLive TranscribeのSL2Tは、まずPixel 11で利用できます。対応デバイスは近日中に増える予定で、いずれも追加費用はかかりません。Pixel 11以外のデバイスにも近日中に対応する予定で、ASLから英語以外の言語も追加される予定です。
ベンチマークでの翻訳品質と実用面の課題
SL2Tは座標系列を直接テキストに翻訳し、手話翻訳の先行研究で広く使われている「gloss」と呼ばれる中間アノテーションを経由しません。ランドマークから直接翻訳することで、人為的な語彙の制限がなくなり、翻訳品質をデータ量に応じて直接スケールさせられます。ASLから英語への翻訳品質を評価するFLEURS-ASL(sd-test)などの主要なベンチマークによれば、SL2Tはこれまでで最も高性能な手話翻訳モデルです。ゼロショットで70 BLEURTを達成しており、これはこれまでに報告されたどのスコアよりも大幅に高い数値です。
聴者が音声言語処理から恩恵を受けるのと同様に、ろう者は手話処理からも恩恵を受けられ、この技術はろう者コミュニティと聴者コミュニティの間のコミュニケーションのギャップを埋める新たな可能性を開きます。しかし、手話AIの進歩は遅れており、その理由は、手話向けのAI構築が複雑な課題を伴うことと、手話言語自体の仕組みについて広く誤解があることの両方にあります。Googleは、世界の情報を整理し、普遍的にアクセスでき使えるようにするという使命を掲げており、普遍的なアクセシビリティの達成とは、話し言葉・書き言葉との完全な同等性(parity)に到達することを意味しています。
学術ベンチマークの最適化だけでは実世界での使いやすさは保証されないため、実用上の課題にも取り組んでいます。具体的には、ストリーミング遅延の最小化、手話をしていない入力でのハルシネーションの防止、全体の10%にあたる左利きの手話話者への公平性の確保、そしてもう片方の手でスマートフォンを持つ際に使う片手での手話の性能改善に取り組んでいます。
ろう者コミュニティとの共同開発
Googleは、手話言語AIのプロジェクトを、ろう者コミュニティのためにだけでなく、コミュニティと共に作ることを信条としています。このプロジェクトの全段階は、ろう者の視点によって形作られてきました。具体的には、ろう者のGoogle社員であるSam Sepahによる構想から始まり、ろう者のパートナーとのデータ収集、ろう者を対象としたユーザー調査での評価、そしてろう者の専門家による技術の影響評価が行われています。
責任ある実世界での展開を導くため、AISLAC(AI Sign Language Advisory Committee)が設立されました。AISLACは、世界各地の多数のろう者団体と専門家を集めた組織です。この参加型のガバナンスモデルを通じて、この技術の影響を最も受けるコミュニティが、開発の優先事項に直接影響を与えます。GboardとLive TranscribeでのSL2T 1.0のリリースに際しては、共同の影響レポートを共著し、この技術の能力と現時点の限界を透明性をもって詳述しました。今後の手話関連の主要なリリースすべてにおいて、この共同のやり方を続ける予定です。
出力例と残る誤り、今後の展開
SL2Tは複雑なASLを流暢な英語に正確に翻訳します。ただし、まれな手話表現、速い指文字(fingerspelling)（例: "prey" → "grey"）、受動構文、類別詞(CL)による描写（例: "claws"が抜ける）、文脈のない時制（例: "kicked off" → "start"）では、誤りが時々残ります。たとえばFLEURS-ASLの例では、羽毛に覆われた恒温の猛禽類がヴェロキラプトルのような爪を持ち二足で直立歩行したと考えられていたという文が、SL2Tの出力では「This creature is warm-blooded, eats grey, and is covered in feathers. It is believed that it walks on two legs like a velociraptor.」となりました。また、クック諸島には都市がなく15の島からなり、主な島はラロトンガとアイツタキだという元の英文に対し、SL2Tの出力は「The Cook Islands have no cities and consist of 15 islands. The two main islands are Rarotonga and Aitutaki.」でした。
Googleのチームは、この技術を追加の手話言語、手話の生成、最先端のAI機能へ広げる取り組みを進めています。Googleは進捗を責任をもって共有し、手話言語によるアクセスをデジタル分野全体で標準にしたいと考えています。