Shieldstralは、3Bのオープンウェイト(open-weights)のマルチモーダル安全性分類器(multimodal safety classifier)です。Shieldstralは、コンテンツモデレーションをポリシー適応型(policy-adaptive)の質問応答タスク(question-answering task)として捉えることで、最大7倍の大きさのモデルを上回ります。テキストの安全性(text safety)では最大7倍の大きさのモデルに並び、マルチモーダルのモデレーションでは新たな最高水準(state of the art)を打ち立てます。従来のガードレールモデルとは異なり、Shieldstralは推論時に平易な言葉で書いたポリシーを受け付け、再学習なしでテキストと画像の安全性評価を統一します。Shieldstralは、テキストの安全性、拒否検出(refusal detection)、ポリシー適応性(policy adaptability)、およびマルチモーダルの各ベンチマークにおいて、最大7倍の大きさのオープンなガードモデル(open guard models)に並ぶか、あるいはそれを上回ります。Shieldstralは、サイズが最大7倍のオープンなガードモデルと4つの評価軸で比較評価されており、すべての評価サンプルは学習から除外されています。Shieldstralは3Bモデルであり、ラベル形式や分類体系(taxonomy)が多様な実データと合成データで学習され、それらは1つのフレームワークに統合されています。Shieldstralは、1枚の16GB NVIDIA GPU上で効率的に動作します。
Shieldstralは、3B（30億パラメータ）のオープンウェイトのマルチモーダル安全性分類器であり、最大7倍の大きさのモデルを上回る性能を示し、Apache 2.0のもとでウェイトが公開されています。
リクエストの構成と判定の仕組み
Shieldstralの各リクエストは、<Instruct>、<Query>、<Document>の3つの部分から成ります。<Instruct>は評価の文脈、厳しさ、そして任意で何を安全でないコンテンツとみなすかの定義を指定する部分です。<Query>は、「Does this content promote physical violence?」(この内容は身体的暴力を助長するか)のような、yes/noで答える単一の質問です。<Document>は判定対象のコンテンツを入れる部分であり、プロンプト、応答、プロンプトと応答のペア、または任意のテキストつきの画像を入れられます。
Shieldstralでは、ポリシーを平易な言葉の質問として推論時(inference time)に書くと、モデルが較正された安全性スコア(safety score)を返します。再学習は不要で、テキストと画像に1つのインターフェースを使い、判定は1つのトークンから得られます。推論時には、`yes`と`no`のロジットだけを読み出し、softmaxで正規化して連続値の安全性スコア(continuous safety score)にします。この単純な定式化は、プロンプト分類、応答のモデレーション、拒否検出、有害表現の検出(toxicity detection)を1つの問題に統一します。また、ポリシーをすべてプロンプトの中に置けるので、1つのチェックポイントで、デプロイ時に新しいポリシーに適応できます。
このモデルは、与えられたポリシーに対してテキストと画像の安全性を分類するモデルで、ライセンスはApache 2.0、入出力の形式はText-to-textおよびImage-to-Textです。単一の自然言語インターフェースにより、プロンプト、レスポンス、およびプロンプトとレスポンスのペアにまたがるテキスト、画像、またはテキスト+画像のコンテンツを扱います。ポリシーは自由形式のクエリとして与えられ、再学習なしで推論時に対象を切り替えられます。
Shieldstralは3Bモデルであり、1枚の16GB GPUで動作します。また、Shieldstralは1回のフォワードパスから、較正された`yes`/`no`の確率を連続値の安全性スコアとして返します。そのため、離散的なラベルに頼らず、確信度でしきい値を設定したり順位付けしたりできます。
学習データを整える課題:形式の統一と厳しさの較正
Shieldstralの中心的な考え方は、データが適切であれば小さなモデルが大きなモデルを上回れるというもので、データを適切にするには4つの問題を解く必要がありました。
公開の安全性データセットは、二値のsafe/unsafeフラグから細粒度のマルチラベル分類体系まで、分類体系、ラベル、アノテーション規約が一致しません。Shieldstralでは、すべてのデータセットをデータセットごとのプロセッサで同じinstruction–query–document形式に変換します。さらに、指示、クエリ、プロンプトと応答の区切り文字(delimiter)の表現を変化させることで、モデルが1つの文体に過学習せず、さまざまな言い回しに汎化するようにしています。
Shieldstralの学習では、データソースごとに厳しさを較正しています。敵対的なジェイルブレイクには厳しく、レスポンス品質のデータには緩くすることで、モデルは較正された決定境界を学びます。これにより、本来は互換性のないデータソースを統合できます。
多くのガードレールモデル(guardrail model)は、有害性カテゴリの固定された分類体系をウェイトに組み込んでいます。そのため、新しい運用状況に合わせ直すには再学習が必要になります。安全性の定義はアプリケーションや分野によって異なるため、そもそもモデル化すべき唯一の「正しい」カテゴリ集合は存在しません。モデレーションで答えるべき問いの例として、「このコンテンツは保護対象グループへの暴力を助長しているか」「この画像は未成年者に見せても安全か」「アシスタントはそのリクエストを拒否したか」が挙げられています。モデルを組み込んで提供するプロダクトはこうした問いに答える必要がありますが、正しい答えはプロダクト、利用者層、その時点の状況によって変わります。同じコンテンツでも、サイバーセキュリティ研究ツールでは問題がなく、メンタルヘルスのプラットフォームでは有害になりえます。モデレーションを質問として表す例として、「Does this content promote violence against a protected group?」(このコンテンツは保護対象グループへの暴力を助長しているか)という問いが挙げられています。画像についての問いの例としては、「Is this image safe to show to a minor?」(この画像は未成年者に見せても安全か)が挙げられています。アシスタントの応答についての問いの例としては、「Did the assistant refuse the request?」(アシスタントはそのリクエストを拒否したか)が挙げられています。
固定されたポリシーラベル群で学習すると、モデルはその事前定義されたポリシーを分類することしか学ばず、特定のポリシーの正確な境界について推論しません。これは新しいポリシーへの汎化を妨げます。
Shieldstralでは、意図的に似ていて混同しやすいポリシーの集合を作り、LLMに安全なテキストを対照的なペア(contrastive pair)に書き換えさせています。各書き換えは、似たポリシーの組のうち一方には違反し、もう一方には違反しないように作られます。これによりモデルは、コンテンツがどの特定のポリシーに違反するかを見分けることを学びます。この能力は推論時に未知のユーザー定義ポリシーへ転用されます。
安全でない画像はテキストのようにLLMで合成できないため、視覚的な安全性データは乏しい状況にあります。Shieldstralでは、限られたモデレーションデータセットに汎用の画像データセットを高品質なネガティブとして補い、クエリを変化させてデータセットを拡張しています。さらに、すべての画像とクエリのペアを視覚言語リランカー(vision–language reranker)に通して、誤ラベルとハルシネーションを減らします。
モデルのマージと開発基盤、今後の展望
Shieldstralは、LoRAでファインチューニングし、公開データで較正したチェックポイント(checkpoint)、生成データから細粒度のポリシー判別を加えたチェックポイント、ベースのinstructモデルをSLERPでマージしています。このマージにより、共通のポリシー較正とポリシー適応性が1つのモデルに回復し、ベースモデルの指示追従がモデレーションタスクに転移します。
Shieldstralは、カスタムモデルの学習、アライメント、評価のためのプラットフォームであるForgeで一貫して構築されました。Forgeは最先端の分散学習の上で、インフラ、データとモデルのシャーディング、メトリクス、ログを管理します。これにより、チームは安全性モデルの品質を左右するデータに集中できました。
公開元は、NVIDIAなどの組織とともにOpen Secure AI Allianceの創設メンバーであり、そのメンバーとしてShieldstralをApache 2.0のオープンウェイト(open weights)で公開し、ダウンロードできるよう提供しています。Shieldstralは、すべての製品を1つの固定された分類に当てはめるのではなく、文脈に適応するモデレーションへ向けた一歩です。今後に向けて、多言語対応の範囲、長い文書に対する頑健性、より広いマルチモーダルの安全性(multimodal safety)の改善に引き続き取り組んでいます。