概要
- Timestral はMistral初の時系列基盤モデルファミリー
- わずか 209Mパラメータ で主要ベンチマークを上回る精度を実現
- ゼロショット予測 やCPU推論に対応し、多様なドメインで高効率運用
- 合成データ事前学習 ・ 共変量対応アテンション ・ 長文脈学習 を組み合わせた革新
- Mistral Forge によるファインチューニングやドメイン適応も可能
Timestral:時系列予測の新基準
- Timestral はMistralが開発した初の時系列基盤モデルファミリー
- 5M、28M、123M、209Mの4サイズ展開
- 最大モデル(209Mパラメータ) が主要ベンチマーク(GIFT-Eval、TIME、fev-bench)で首位獲得
- 確率的・多変量予測 に対応し、過去・未来の共変量入力をサポート
- モデルサイズと精度のパレート最前線 に位置し、各サイズで他の公開モデルを上回る性能
- CPUのみでの高速推論 が可能
- 例:5Mモデルで3週間分の15分間隔データから1日先を10msで予測
- 小型モデルは速度重視、大型モデルは精度重視で用途に応じて選択可能
- 28MモデルはChronos-2(4倍大)を上回る精度
- 123Mモデルは209Mのスコアに0.2%差で到達、レイテンシは3/4
産業用途での活用例
- 産業プラント など数千のセンサーデータに対する多様な予測タスクに対応
- 多変量予測 :振動・温度・圧力など相関する複数センサーを同時に予測
- 確率的予測 :不確実性を定量化し、リスクベースの意思決定を支援
- カテゴリ共変量 :曜日や装置状態(稼働・待機・保守中)などを直接入力
- 既知未来共変量 :生産スケジュール・天気予報などの事前情報を活用
システム連携とワークフロー
- 既存の監視パイプライン や マルチモーダルエージェント との連携が容易
- Timestralが異常検知を担い、エージェントが過去事例やメンテナンス記録を参照し原因分析
- 結果として、データに裏付けられた診断・アクションプランを現場責任者に提示
技術的な革新点
- Decoupled Horizon Forecasting(DHF)
- 予測区間と履歴を分離し、全履歴を文脈として活用しつつ欠損値も明示的に扱う
- 共変量対応アテンション
- 各入力系列に役割(ターゲット、過去のみ共変量、既知未来共変量)を割り当て、情報流を制御
- 合成データ主導の事前学習
- トレンド・季節性・ノイズを含む合成単変量系列を生成し、多変量合成器で複雑な依存性を付与
- 二段階学習
- まず合成データで大規模事前学習、次に実データ混合で文脈長4倍の後学習
- 21分位点のピンボール損失で確率分布を学習
適応性とファインチューニング
- Mistral Forge を通じてユーザー独自のデータでファインチューニング可能
- ゼロショット推論、ドメイン固有共変量追加、独自データでの微調整
- トレーニングデータの調整や合成データ生成も柔軟に制御
- エアギャップ環境を含むオンプレミス導入対応
実装・ライセンス・今後の展開
- GitHubリポジトリ で自社データへの適用が可能
- 技術レポート も近日公開予定
- 特殊な予測課題や共同研究 の相談も受け付け中
Timestralモデル仕様まとめ
- モデルタイプ :時系列基盤モデル(TSFM)
- パラメータ数 :5M、28M、123M、209M
- 文脈長 :32,768タイムステップ
- 出力 :21分位点の確率的予測
- 入力 :多変量ターゲット、過去のみ/既知未来共変量
- 導入形態 :オンプレミス、VPC、エアギャップ
- ライセンス :Modified MIT
すごいね。5年前は予測モデルを作ってデプロイするのに数ヶ月かかってたのに、今は数分でこんなことができるなんて驚きだよ。LLMの助けを借りて実装して、かなり良い結果が出るみたいだし(データに合わせて微調整もできるみたい)。スピードもいい感じだし、今はこのパフォーマンスのオープンウェイトモデルが欲しいな。