GPT-6により、永続エージェント(persistent agents)は、コードベースのリファクタリングから、十分に調査された文書やプレゼンテーションの作成まで、複雑なタスクに何時間も取り組めるようになります。永続エージェントの背後にあるアプリケーションは、互いに積み重なる一連のAPIリクエストを行い、同じ指示、ツール定義(tool definitions)、前のターンのコンテキストを引き継ぐことが多くあります。

OpenAIはGPT‑6ファミリーとともに、改良されたプロンプトキャッシュ(prompt caching)システムを公開しました。このシステムは、デフォルトでキャッシュヒット率を高めます。OpenAIはリクエスト間で共有されるコンテキストをキャッシュして計算を再利用し、応答時間を短縮します。開発者には、キャッシュされた入力トークンに対して最大90%の割引が提供されます。現在は、30分の時間枠内で再利用される、対象となる共有プレフィックスに対してキャッシュ割引を適用しています。

明示的なキャッシュブレークポイント(explicit cache breakpoints)により、再利用するプロンプトプレフィックスを選べます。更新されたプロンプトキャッシュガイドでは、その使い方、キャッシュされたプレフィックスがどのくらいの間対象であり続けるか、ツールや入力の変更が再利用にどう影響するかを説明しています。エージェントのツール使用のニーズが変わっても、以前のコンテキストを再利用可能に保つために、ツール定義、スキーマ、順序は安定させておくことが推奨されます。ツールや指示(instructions)が変わっても、ツール定義・スキーマ・順序を安定させておくなどすれば、キャッシュを保持できます。古い指示を上書きしたいときは、新しい developer message を使って、コンテキストの末尾近くに新しい指示を追加します。ツール定義を削除する代わりに、`allowed_tools` を使って関連するツールだけを呼び出せるようにするか、ツールが不要なときは tool_choice を none に設定します。

明示的なキャッシュブレークポイント、推論の努力度(reasoning effort)の変更、プリウォームなどの任意の制御は、エンジンのデフォルトの性能の上に構築されており、ワークロードに合わせてキャッシュを調整するのに役立ちます。

監視と診断のための新しいツール

開発者がキャッシュの監視を行い、キャッシュミス(cache miss)を診断し、プロンプトのどこまでをキャッシュするかを選べるようにするための新しいツールも導入しています。

新しいPrompt Caching Dashboardは、アプリケーションの入力のうちどれだけがキャッシュから提供されているかを示します。このDashboardでは、ヒット率(hit rate)の経時推移を追跡でき、入力構成チャート(input composition chart)を用いて、キャッシュされたトークンとされていないトークンを比較できます。Prompt Caching Dashboardのビューは、キャッシュヒットの低下を見つけたり、アプリケーションの変更がキャッシュ性能にどう影響するかを評価したりするのに役立ちます。

予期しないキャッシュミスが起きたときは、プロンプトキャッシュ診断ツール(prompt caching diagnostics tool)で何が起きたかを把握できます。リクエストを最近のレスポンスと比較することで、再利用を妨げたモデル、ツール、設定、入力の変更を特定します。プロンプトキャッシュ診断ツールが示す影響を受けたトークン数の推定値は、影響の大きさを評価し、キャッシュヒット率を最大化するために連携をどう最適化するかを決めるのに役立ちます。診断の出力例では、prompt_cache_diagnosticsが type: cache_miss、reason: tools_changed を示し、comparison_reusable_tokens と cache_missed_tokens はどちらも 5629 です。

推論の努力度の変更とプリウォーム

GPT-6モデルでは、レスポンス間で推論の努力度を、キャッシュを無効にせずに変更できます。リクエストレベルの推論の努力度は変えず、`configuration_update` を追記することで、難しいタスクでは努力度を上げ、定型的なフォローアップでは下げることが可能です。これにより、再利用可能なコンテキストを保ちながら、タスクに必要な推論の量を調整できます。

キャッシュをプリウォーム(prewarm)しておくことで、レイテンシを下げられます。プリウォーム(prewarming)は、既知のコンテキストをあらかじめ準備しておくことで、リクエストが届いたときにモデルがより早く応答を始められるようにし、レイテンシを下げます。例えばアプリケーションは、起動時、ユーザーが最初の質問をする前に、共有の指示、ツール定義、参考資料をプリウォームでき、これにより処理がユーザーの待ち時間の外に移ります。

まとめと設定改善の方法

GPT-6のプロンプトキャッシュは、キャッシュヒット率が上がり、永続エージェントがより速く、より低コストで動くための新しいツールが加わりました。キャッシュヒット率は、Prompt Caching Dashboardで監視できます。

プロンプトキャッシュの設定を改善するには、プロンプトキャッシュガイドに従う方法があるほか、Codexを使ってコードのレビュー、改善の適用、結果の測定を行うこともできます。