EmbeddingGemma 2が公開されました。EmbeddingGemma 2は、テキストにとどまらず、コード、画像、動画、音声を共有の埋め込み空間に統合します。EmbeddingGemma 2は、Gemma 4アーキテクチャをベースにしており、商用利用が可能なApache 2.0ライセンスで公開されています。EmbeddingGemma 2は7億4,000万のパラメータ数を持ち、オンデバイス推論に最適とされています。 EmbeddingGemmaは昨年、消費者向けハードウェア上で、アプリが情報の整理・検索・関連付けを行えるようにする、高品質なテキスト埋め込みの軽量な選択肢として導入されました。開発者はこのモデルを、よりスマートなオンデバイス検索ツールや、プライバシーを重視した検索拡張生成(RAG)パイプラインに利用してきました。

EmbeddingGemmaは、2,000万回超のダウンロードを記録しています。

性能とモジュール設計の構成

EmbeddingGemma 2は、Gemini Embeddingモデルと同じ技術から作られています。MTEB (Massive Text Embedding Benchmark) CodeやMAEB (Massive Audio Embedding Benchmark)などのベンチマークでは、10億パラメータ未満のマルチモーダル埋め込みモデルの中で、そのサイズとして首位級のスコアを出しています。テキスト、視覚、音声のタスクでは、より大きな多くのモデルに並ぶか上回るとされています。また、モジュール設計になっており、テキストのみのワークロードなら2億7,000万パラメータという少ない規模で動作します。フルマルチモーダル対応には、オプションの視覚エンコーダー(1億7,000万パラメータ)と音声エンコーダー(3億パラメータ)を加えます。

オンデバイス動作とメモリ削減の手法

EmbeddingGemma 2では、ベクトルを短く切り詰めても使えるように学習する手法のMatryoshka Representation Learning(MRL)を使うことで、開発者は出力ベクトルを768次元から512、256、または128次元へと動的に切り詰められます。

これはローカルのベクトルデータベースとメモリ使用量において、最大6倍のストレージ削減を提供します。

EmbeddingGemma 2はオンデバイス向けに最適化されたモデルとされ、量子化を行うとGoogle Pixel 11 Pro上で、テキストのみのウェイトで最小約191MB、フルマルチモーダルモデルで約567MBのアクティブRAMで動作し、厳しいリソース制約の中でも効率的に動作します。

EmbeddingGemma 2は、EmbeddingGemma 1の4倍となる8Kトークンのコンテキストウィンドウを備えています。このコンテキストウィンドウにより、ローカルのハードウェア上で直接、最大5.5分の音声、29枚の画像、58個の動画フレーム、またはそれらを交互に組み合わせたものを処理できます。

EmbeddingGemma 2はエッジハードウェア上で直接、堅牢な機能を提供します。埋め込みをローカルで生成することで、データプライバシーの確保に役立ち、パイプラインのレイテンシを下げ、開発者が完全にオフラインで動作するクロスモーダルの検索・取得を構築できるようになります。EmbeddingGemma 2をGemma 4のような生成モデルと組み合わせると、複雑なマルチモーダルデータを理解するオンデバイスのRAGパイプラインを実現できます。

EmbeddingGemma 2は、EmbeddingGemmaの強い多言語テキスト性能を維持しつつ、MTEB Codeにおけるコード性能を68.76から78.68へ9.92ポイント向上させました。ローカルのコードベースのインデックス作成、セマンティックコード検索、コーディングエージェントの検索に適しています。画像、動画、ドキュメント、音声の分野では、10億パラメータ未満のモデルにおけるパラメータあたりの品質で新たな基準を示し、2倍以上の大きさの一部の専門モデルを上回るとされています。

EmbeddingGemma 2はGemma 4をベースに構築されており、テキストトークナイザーとオーディオエンコーダーをGemma 4と共有しています。開発者は両モデルを統合パイプラインで一緒に実行でき、合計のメモリフットプリントが低くなります。

入手方法と対応ツール

EmbeddingGemma 2のモデルのウェイトはHugging FaceとKaggleで入手できます。Gemini Enterprise Agent Platform Model Gardenでの提供は近日公開予定です。オンデバイス向けに最適化したモデルは、Hugging Face上のLiteRT Communityにあります。オンデバイスでのデプロイでは、クロスプラットフォームアプリを、埋め込み・検索・判断タスク向けにすぐ使えるGoogle AI Edge MediaPipe、またはカスタムモデル統合向けのLiteRTで開発できます。ブラウザ向けにはtransformers.jsまたはWebGPUで構築できます。LiteRTを用いてオンデバイス検索とRAGシステムを構築する方法は、Google AI Edgeのブログ記事で読むことができます。

EmbeddingGemma 2は、transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudioで効率的にサービングできます。埋め込みベクトルの保存にはQdrantを使えます。自分のユースケース向けにファインチューニングする方法は、Unslothのガイダンスに従うとよいです。