Claude Haiku 5.5は、Haiku 4.5と比べて、ほぼすべてのアラインメント(alignment)評価で大きな改善を示しました。意図からずれた(misaligned)振る舞いの事例は大幅に減り、悪用への協力の意思も低くなっています。
提供状況と速度、向いている用途
Claude Haiku 5.5は、Amazon Web Services、Google Cloud、Microsoft Azureを含むすべてのプラットフォームで現在利用可能です。Claude Platformでは、開発者は `claude-haiku-5-5` で使い始めることができます。Claude Haiku 5.5は、各モデルの標準速度(standard speed)ではこれまでで最速のモデルですが、Fast ModeのOpusモデルよりは動作が遅くなります。この速さから、ライブのカスタマーサポートやbrowser useのような、速度が重要なタスクに特に適しています。
Haiku 5.5について、3つのベンチマークでの性能を各努力度(effort)設定ごとに示すチャートが記事に掲載されています。初期テストでは、顧客がHaiku 5.5について、これらのベンチマーク結果が示す性能向上およびコスト削減と一致する結果を報告しました。なお、アラインメント評価のプロセスと結果の詳細は、このモデルのsystem cardに記載されています。
Claude Haiku 5.5は、大量でコスト重視のタスク向けに設計されています。このモデルは、要約、compaction、データベースクエリ、分類リクエストのような、素早く反復的なワークロードを確実にこなします。Haiku 5.5は調整可能な努力度設定を備えたHaikuクラス初のモデルであり、他のモデルと同様に、ユーザーはコストとインテリジェンスのどちらを優先するかを決められます。また、Claude Haiku 5.5はSonnet 5.5やOpus 5.5のものに似た更新されたトークナイザーを備えており、Haiku 4.5と比べて同じ作業を完了するのに使うトークン数がわずかに増えます。Claude Haiku 5.5は、これまでにリリースした小型モデルの中で最も安く、最も速く、最も高性能なモデルです。
Claude Haiku 5.5は、コーディング作業においてOpus 5.5やSonnet 5.5と組み合わせてサブエージェントとして使うのに向いています。Terminal-Bench 4.0で測定されるような複雑なエージェント型コーディングタスクでは、引き続きSonnet 5.5とOpus 5.5の方がよい選択肢となります。対してHaiku 5.5は、これまでのClaudeではコスト面で見合わなかったかもしれない、compaction、要約、サブエージェントの作業などの範囲を絞ったタスクに最も適しています。値下げ後のSonnet 5.5について、Terminal-Bench 4.0でのコスト対性能を示すチャートは、Haiku 5.5とより大きなモデルとの間にある重要な違いを示しています。なお、Claude Sonnet 5.5のキャッシュ読み取り(cache reads)の料金は当日から50%引き下げられ、100万トークンあたり$0.20から$0.10になりました。キャッシュ読み取りはモデルのトークン消費の大きな割合を占めるため、この価格引き下げによって、Sonnet 5.5のほとんどのエージェント型タスクでのコストが約20%下がります。
Haiku 5.5は、速度・能力・価格の組み合わせから、computer useやbrowser useのタスクに特に適しています。開発者向けには、Claude PythonおよびTypeScript SDKを更新し、computer useとbrowser useのサポートをベータで追加します。
各ベンチマークでの性能比較
ナレッジワーク(knowledge work)のベンチマークGDPval-AA v2.1におけるスコアは、Haiku 5.5が1620、Haiku 4.5が735、GPT-6 Lunaが1437、参考のSonnet 5.5が1840です。ナレッジワークのベンチマークAA-Briefcase v1.1におけるスコアは、Haiku 5.5が1578、Haiku 4.5が614、GPT-6 Lunaが1336、参考のSonnet 5.5が1824です。
| Haiku 5.5 | Haiku 4.5 | GPT-6 Luna | Sonnet 5.5 For reference | |
|---|---|---|---|---|
| ナレッジワーク GDPval-AA v2.1 | 1620 | 735 | 1437 | 1840 |
| ナレッジワーク AA-Briefcase v1.1 | 1578 | 614 | 1336 | 1824 |
| コンピュータ利用 OSWorld 2.1 | 72.4% Offline subset | 15.7% Offline subset | 48.9% Offline subset | 83.9% Offline subset |
| 多分野の推論 Humanity’s Last Exam | 45.9% no tools | 10.2% no tools | — | 56.9% no tools |
| 57.4% with tools | 18.7% with tools | — | 64.5% with tools | |
| エージェント的コーディング Terminal-Bench 4.0 | 39.2% | 0.0% | 16.4% | 70.6% |
| エージェント的コーディング FrontierCode 1.1 (Main) | 46.4% | — | 42.4% | 52.1% Xhigh |
| 視覚的推論 Chartography | 46.4% no tools | 6.4% no tools | 29.1% no tools | 61.6% no tools |
元記事の表を転載しています(見出しは日本語にしています。値は原文のままです)。出典: 元記事
computer useのベンチマークOSWorld 2.1（オフラインサブセット(offline subset)）での結果において、Claude Haiku 5.5のスコアは72.4%です。Haiku 4.5のスコアは15.7%です。GPT-6 Lunaのスコアは48.9%です。参考のSonnet 5.5のスコアは83.9%です。
多分野の推論のベンチマークであるHumanity’s Last Examにおいて、ツールなしの場合、Claude Haiku 5.5のスコアは45.9%で、Haiku 4.5のスコアは10.2%、参考としてSonnet 5.5のスコアは56.9%です(GPT-6 Lunaのスコアは記載されていません)。同じくHumanity’s Last Examにおいて、ツールありの場合、Claude Haiku 5.5のスコアは57.4%で、Haiku 4.5のスコアは18.7%、参考としてSonnet 5.5のスコアは64.5%です。
エージェント的コーディングのベンチマークであるTerminal-Bench 4.0において、Haiku 5.5は39.2%のスコアを記録しました。Haiku 4.5はTerminal-Bench 4.0で0.0%です。GPT-6 LunaはTerminal-Bench 4.0で16.4%、FrontierCode 1.1 (Main)では42.4%のスコアを記録しました。参考として、Sonnet 5.5はTerminal-Bench 4.0で70.6%、FrontierCode 1.1 (Main)ではXhigh設定で52.1%です。FrontierCode 1.1 (Main)でのHaiku 5.5のスコアは46.4%でした。
視覚的推論のベンチマークChartography（ツールなし）において、Haiku 5.5は46.4%です。Haiku 4.5は6.4%であり、GPT-6 Lunaは29.1%、参考のSonnet 5.5は61.6%となります。
Haiku 5.5の価格とコスト削減
Haiku 5.5はHaiku 4.5よりかなり低い価格で提供され、平均すると運用コストは約75%安くなります。Claude Haiku 5.5の価格は、100,000トークンまでのリクエストではClaude Haiku 4.5より90%低く、100,000トークンを超えるリクエストでは50%低いです。Haiku 4.5では、リクエストの90%が前者の100,000トークンまでのカテゴリに該当していました。Haiku 5.5は、プロンプトが100,000トークンまでのタスクで特にコストパフォーマンスが高くなります。
入力トークンの100万トークンあたりの価格は、Haiku 5.5がプロンプト100k以下で$0.10、100k超で$0.50です。Haiku 4.5は$1.00、Sonnet 5.5は$2.00です。出力トークンの100万トークンあたりの価格は、Haiku 5.5がプロンプト100k以下で$0.50、100k超で$2.50であり、Haiku 4.5は$5.00、Sonnet 5.5は$10.00です。キャッシュ読み取りの100万トークンあたりの価格は、Haiku 5.5がプロンプト100k以下で$0.01、100k超で$0.05であり、Haiku 4.5は$0.10、Sonnet 5.5は$0.10です。
| 100万トークンあたりの価格 | Haiku 5.5 プロンプト 100k以下 / 100k超 | Haiku 4.5 | Sonnet 5.5 |
|---|---|---|---|
| キャッシュ読み取り | $0.01 / $0.05 | $0.10 | $0.10 |
| キャッシュ書き込み | $0.125 / $0.625 | $1.25 | $2.50 |
| 入力トークン | $0.10 / $0.50 | $1.00 | $2.00 |
| 出力トークン | $0.50 / $2.50 | $5.00 | $10.00 |
元記事の表を転載しています(見出しは日本語にしています。値は原文のままです)。出典: 元記事
MaxとTeam向け月次APIクレジット
Claude MaxおよびTeamを契約しているユーザー向けに、新たに月次APIクレジットが導入されます。この月次APIクレジットは、Claude Platform上で動く新しいエージェントやアプリケーションを構築するユーザーを支援するためのものです。
MaxおよびTeamのすべての契約者向けに、Claude Platformで使える月次APIクレジットが今週のうちに展開されます。Max 5xのユーザーには月100ドル、Max 20xのユーザーには月200ドルの月次APIクレジットが付与され、Teamプランの契約者は最大500ドル分を受け取りますが、これはユーザー間で共有されます。
月次APIクレジットは、APIを呼び出すツール、アプリ、エージェントを作る実験を想定したもので、どのモデルにも使えます。
サイバーと生物学のセーフガード
Claude Haiku 5.5のサイバーセキュリティ関連のセーフガードは、その能力に見合って、Haiku 4.5のものより制限が厳しいです。一方、最近の他のモデルに適用しているセーフガードよりは、いくらか制限が緩くなっています。
サイバーセキュリティ分野において、Haiku 5.5のセーフガードはSonnet 5.5向けのセーフガードより幅広い防御的タスクを許可します。ただし、ペネトレーションテストや、攻撃者に使われる可能性がより高いその他の手法は引き続きブロックします。
Haiku 5.5の生物学関連のセーフガードは、Sonnet 5、Sonnet 5.5、およびOpus 5と同じです。研究目的の生物学の質問は許可されますが、害を及ぼす可能性が高いと判断したリクエストへのアクセスは制限されます。
より広範な生物学・サイバー関連の活動に取り組む組織は、Life Sciences Verification ProgramおよびCyber Verification Programに申請できます。
評価の実施方法の詳細は、Haiku 5.5 System Cardに記載されています。