Mistralの最初の時系列基盤モデルファミリーであるTimestralは、2億900万パラメータで最先端の確率的・多変量予測を行い、主要なベンチマークにおいてより大きなモデルを上回ると、Mistralは説明しています。この最大モデルはわずか2億900万パラメータでありながら、GIFT-Eval、TIME、fev-benchという3つの主要な公開ベンチマークのすべてで1位となり、従来の最先端モデルを上回っていますが、そのパラメータ数は従来の最先端モデルの3分の2にとどまっています。

Timestralは500万から2億900万パラメータまでの4つのサイズで提供され、精度と効率のバランスをとり、CPU上で効率よく動作するとしています。過去のみの共変量と未来既知の共変量の両方にも対応しています。時系列基盤モデルは、事前学習のアプローチを時系列に持ち込みます。大規模で多様なコーパスで学習したため、系列をまたいで転移するパターンを学習し、データが乏しい領域を含む、見たことのないデータに対してもゼロショットで予測を行うことができます。Timestralのモデルファミリーは、予測精度とモデルサイズのパレートフロンティア上にあり、各サイズでトップクラスの性能を示します。これらの結果はGIFT-EvalとTIMEのリーダーボードに提出済みです。Timestralは、Mistralが公開した最初の時系列基盤モデルのファミリーです。

時系列は、センサーのテレメトリから可観測性メトリクスまで、企業で最も一般的なデータ型の1つです。時系列に基づく予測は、キャパシティプランニング、エネルギー、サプライチェーン、リスク、保守の意思決定を支えます。産業プラントでは、生産スケジュールに照らしてプロセスセンサーを予測し、設備の故障前にドリフトを検知し、数千の資産にわたるキャパシティと予備部品を計画します。また、金融チームは、数千の口座にわたり、ポジション、ヘッジ、資金管理の判断のために、フロー、取引量、ボラティリティを予測します。ARIMAや線形回帰などの古典的モデルは、時系列予測の確立した手法であり続けています。これらは通常1つの系列に当てはめられ、その系列の履歴だけから学習します。PatchTSTなどの深層学習モデルは、関連する多数の系列にまたがる非線形パターンを学習する能力を加えますが、それでも通常は各データセットでゼロから学習されるため、モデルが学んだ内容は新しい領域に引き継がれません。

Mistralが公開した最初の時系列基盤モデルのファミリーであるTimestralは、確率的予測と多変量予測を出力します。Timestralは、500万パラメータ、2800万パラメータ、1億2300万パラメータ、2億900万パラメータの4つのモデルからなるファミリーとして最適化されており、大きいモデルは予測性能が向上し、小さいモデルはより高速で低コストです。すべてのモデルサイズにおいて、それより良く予測する公開モデルはありません。

ベンチマークでの比較結果

2800万パラメータのモデルは、約4倍大きいChronos-2をGIFT-EvalとTIMEで上回ります。また、2億900万パラメータのモデルは、より少ないパラメータ数でTimesFM-3とFalcon-2.0を上回ります。これらの比較は、GIFT-Eval、TIME、fev-benchにおけるスコア（fev-benchは1 − スキルスコア(skill score)で示され、いずれも低いほど良い）に基づいています。

Timestralは、公開予測ベンチマークのGIFT-Eval、TIME、fev-benchの3つで評価され、事前学習済みのゼロショットモデルの中で5つの指標すべてで1位となりました。この結果は、アンサンブルなしの単一チェックポイントによるものです。なお、GIFT-Evalの結果表は比較可能な事前学習済み・ゼロショットのエントリ83件のうち上位10件を示しており、値は低いほど良い指標です。TIMEベンチマークの結果は、リーダーボードの35エントリーのうち上位10件を対象としています。TIMEの結果も、両方の指標で値が低いほど良い結果です。

Timestralは、数千のセンサーを備えた産業プラントのデータに対して、複数の方法で予測を改善できます。多変量予測において、ポンプの振動・温度・圧力は互いに独立して動かず、一方の上昇が他方の変化を説明したり引き起こしたりすることが多いです。関連する系列を同時にモデル化するため、各センサーを個別に予測する代わりに、振動・温度・圧力の間の依存関係を利用できます。カテゴリカルな共変量とは、曜日や機械の状態(稼働中、待機中、保守中)のように、連続的な数値ではなくカテゴリの集合から値を取る共変量です。これらを数値として符号化すると、本来ない順序や尺度を課すことになりますが、Timestralはカテゴリカル入力として直接受け取り、予測を改善します。生産スケジュール、計画停止、天気予報のように、センサーの挙動を左右する要因のうち事前に分かっているものを未来既知の共変量といいます。これらを条件として予測品質を改善でき、予定された負荷増加は、突発事象として検知されるのではなく想定済みのものとして扱われます。確率的予測では、分位数の完全なセットを予測します。これにより、チームは不確実性の幅を把握し、それを反映したアラートのしきい値を設定し、単一の数値ではなくリスクに基づいて保守を計画できます。

Timestralは推論時にGPUを必要としません。8スレッドの標準的なサーバーCPUを使用する場合、500万パラメータのモデルでは3週間分の15分間隔の履歴から1日先を予測するのに10ミリ秒かかり、2億900万パラメータのモデルでは140ミリ秒かかります。小さいモデルは精度を一部譲って速度を取る設計で、2800万パラメータのモデルは2億900万パラメータのモデルの5倍速く、1億2300万パラメータのモデルは2億900万パラメータのモデルのスコアとの差が0.2%以内で、レイテンシは4分の3です。また、Timestralは数値モデルで、既存の監視パイプラインの内部で実行することも、マルチモーダルなエージェント型ワークフローにおいて同社の言語モデルと組み合わせて使うこともできます。

fev-benchの結果表は、リーダーボードの37エントリのうち上位10件をSQL skill scoreで示しており、値は高いほど良い結果となります。公開ベンチマークは汎用的な性能を測るものですが、本番データは挙動も構造も大きく異なりうると、Mistralは指摘しています。市場のレジーム変化、設備の劣化、需要パターンの移動に伴い、本番データは時間とともに変化することもあります。持続的な価値は、モデルをドメイン内データに適応させ、分布の変化に合わせて再学習し続けられることにあると、Mistralは述べています。

プラントでのエージェント型ワークフローの例では、まずTimestralがプラントのセンサーストリーム上で継続的に動作し、異常が発生した時点で検知します。ポンプの異常を検知すると、エージェントがその信号を埋め込み表現に変換して過去のセンサーデータの埋め込みと比較し、類似する過去の故障を探します。次に、エージェントはサブエージェントを起動して根本原因分析を行います。サブエージェントは、保守記録、シフト日誌、オペレーターのメモ、設備マニュアル、過去の作業指示書、関連設備の測定値といった、そのプラントの文脈を参照します。エージェントは調査結果に基づき、裏付けとなる証拠と考えられる次のステップを添えた診断案を作成します。プラントマネージャーは、アラートだけでなく、センサーデータに裏付けられた診断と計画を受け取ります。

技術的な工夫と学習データ

今回の発表で示された結果は複数のアイデアを組み合わせて得られたものであり、それぞれのアイデアの詳細は技術レポートで説明される予定です。Toto 2.0やTimesFM-3のように連続パッチマスキングで学習した因果デコーダーは、予測対象の値をマスクするため、それらが欠損値のように見えてしまい、後続の予測のコンテキストとしても失われます。これに対し、今回の手法であるDecoupled Horizon Forecasting(DHF)では、予測対象の値と本当の欠損を切り分け、履歴全体をシーケンスに残し、学習済みの予測用トークンがそれより前の履歴を読むようにします。これにより、観測された各値が予測対象とコンテキストの両方として働き、本当の欠損は欠損としてフラグが立ったままになり、学習時のホライズン長と欠損データ拡張を互いに独立に調整できます。

Timestralの主要な技術的貢献の一つである共変量対応アテンション(Covariate-aware attention)では、各入力系列に、ターゲット変量、過去のみの共変量、未来既知の共変量のいずれかの役割が割り当てられます。未来既知の共変量はウィンドウ全体で参照できる一方、ターゲットは因果的のままであり、情報は共変量からターゲットへのみ流れます。そのためTimestralは、ターゲット自身の未来を予測に漏らさずに、祝日カレンダーや天気予報を使うことができます。

Timestralの学習データの大半は合成データでした。まずトレンド、季節性、多様なノイズパターンを含む、時間的ダイナミクスに一貫性のある単変量プロセスを生成し、次に多変量シンセサイザーで、生成した単変量プロセスの間に非線形な依存関係を導入して多変量系列を構築しました。事前学習は、コンテキストサイズ8192の純粋に合成されたデータで大規模に行われ、その後、実データと合成データを混ぜたデータで4倍長いコンテキストで事後学習されます。学習目的関数は、確率的予測の評価指標であるCRPSの離散近似である、21分位数にわたるピンボール損失です。

Mistral Forgeでの提供と仕様

さらに踏み込みたい組織向けに、TimestralはMistralの言語モデルに使っているのと同じ学習パイプラインであるMistral Forge経由で利用できます。Mistral Forge経由では、箱から出してすぐに使えるゼロショット推論に対応しています。そのままでのゼロショット推論に加え、ドメイン固有の共変量などのアーキテクチャ拡張、汎用性能を保ちながらドメインに特化する独自データでのファインチューニングもサポートします。学習データについては、学習ミックスの調整、事前学習データのリプレイ、対象ドメインを反映した合成データサンプルの生成などで制御できます。データを完全に制御しているため、Mistralがバックテストに用いるデータが事前学習中に使われていないことが保証される、と同社は説明しています。パイプライン全体は、外部ネットワークから隔離されたエアギャップ環境を含む顧客のハードウェア上にデプロイ可能です。Timestralを自分のデータで実行するためのGitHubリポジトリが公開されています。全結果を載せた技術レポートは後日公開される予定です。より専門的な予測課題や共同研究については、問い合わせを受け付けています。

Timestralのコンテキスト長は32,768タイムステップであり、出力は21分位数の確率的予測です。

Timestralのデプロイ形態は、オンプレミス、仮想プライベートクラウド(VPC)、またはエアギャップです。ライセンスはModified MITが適用されます。

元記事の表
Timestral
種類Time-series foundation model (TSFM)
パラメータ5M, 28M, 123M and 209M
コンテキスト長32,768 time steps
出力Probabilistic forecasts, 21 quantiles
入力Multivariate targets, past-only and known-future covariates
デプロイOn-prem, VPC or air-gapped
ライセンスModified MIT

元記事の表を転載しています(見出しは日本語にしています。値は原文のままです)。出典: 元記事