FAQ: モデルの適応性と管理
- 既存のお客様の予測アルゴリズムを再評価し、再評価または切替する頻度はどれくらいですか?この再評価はどのような要因で行われますか (パフォーマンスの低下、データのシフト、新たなデータのコース ステータスなど) ?
- 既存のお客様の予測アルゴリズムを定期的に再評価し、精度と有効性が確保されているようにしています。このアプローチは、再研修と再訓練の 2 つの主要なアクティビティに分けられ、それぞれに独自の頻度とトリガが設定されています。機械学習(ML) モデルは、予測が実行されるたびに再トレーニングされ、最新のデータを使用して最新の予測が生成されます。予測のたびに再トレーニングを行うことで、モデルに最新の情報を組み込み、発生するとすぐに新しいパターンや傾向を把握して、予測の精度を維持します。モデルのハイパーパラメータ (学習率、バッチ サイズなど) は、四半期ごとに返されます。このプロセスは、特定のメトリックにおいてモデルのパフォーマンスを最適化することを目的とした詳細な調整です。定期的なスケジュールでハイパーパラメータを調整することで、エラーを最小限に抑えたり、精度を最大化したりするなど、モデルを KPI に一貫して調整することができます。
- 根本的な傾向に大きな変化が持続的に存在する場合 (新製品の開始、市場の大きなシフト、感染症のようなグローバルなイベントなど)、機械学習モデルが迅速にに対応する、予測を調整するのにどのくらい時間がかかりますか?こうした新しい傾向を反映していますか?
- 機械学習モデルが重大な傾向の変化にに対応するのにかかる時間は、一定の数値ではありません。このプロセスは動的であり、いくつかの要因に依存しますが、主な考慮事項についてアウトラインことができます。実務において、通常、予測モデルが市場の大きなシフトに完全にに対応するて調整するのには、数週間から数か月かかりますが、メトリックとその履歴データによっては、この処理が高速化される場合や対応できない場合があります。これは、モデルの学習と適応の能力が、変化を反映する新しいデータのコース ステータスに関連付けられているためです。対応時間に影響を与える主な要因には、データの速度と再研修頻度があります。再研修スケジュールは、モデルが "" にに対応する能力において最も重要な要素です。予測プロセスが次回実行されると、すぐにモデルに新しいデータと新しい傾向が表示されます。ただし、この新しいデータが研修セットの大部分を占めるには、時間がかかります。1 週間のデータで明確に変化する大きなシフトは、数年間の履歴データでトレーニングされたモデルのごく一部である場合があります。
- 急な大きなシフト: パンデミックに関連したロックダウンのようなイベントは、大きな影響を及ぼします。モデルのパフォーマンスはほぼすぐに低下しますが、新しいデータが収集され、モデルが新しいイベント開始パターンを学習するのには時間がかかります。
- 段階的で一定のシフト: 新製品のローンチや市場の変化のペースについて、モデルの段階的な変化に対応できます。再研修プロセスにより、より多くの最新のデータが利用可能になるにつれて、モデルが新しい傾向を徐々に学習させることができます。
- モデルのメモリ:研修に使用される履歴データの長さは非常に重要です。5 年のデータでトレーニングされたモデルは、1 年のデータでトレーニングされたモデルよりも古い傾向を放棄するのに時間がかかります。大きなシフトが存在するシナリオでは、モデルの適応を加速するために、一部の古いデータを意識的に忘れたり、最新のデータに積極的な加重値を適用したりすることが必要になる場合があります。
- 再調整の役割:再研修は、予測プロセスが再実行されるたびに行われますが、より根本的な調整を可能にするのは、ハイパーパラメータの四半期ごとの再調整です。大幅な傾向の継続的な変化によって、スケジュールよりも早い対応がトリガ可能性があります。たとえば、モデルのパフォーマンスが数週間にわたって一貫して低下していることが確認された場合、手動で再調整をトリガ、別のパラメータ セットを使用することで、モデルが新しい状況をよりうまく把握できるかどうかを確認します。これは、モデルの適応能力を「調整」するための主要なメカニズムです。
- モデルの予測の精度が低下した場合 (データ分布の変更によって、時間の経過とともにモデルの予測が精度が低下した場合) を検出して対応するために、どのような仕組みになっていますか?
- 私たちは、Workday モデルが体験する現実のデータが絶えず進化していることを認識しています。これは、モデルの外れ値が発生する可能性があり、基盤となるデータ パターンの変更によって、モデルの予測精度が時間とともに低下する可能性があります。これを効果的に管理するために、内部のViz、データ パターン分析、専門家調査に基づく戦略を採用しています。ドラフト管理への Workday のアプローチ
- 内部ビジュアライゼーションとデータ パターン ツール: 技術チームは、専用の内部ツールとビジュアライゼーションを使用して、変動を示す可能性のあるデータ パターンのシフトを積極的に探します。
- パターンの可視化: 収集されるデータの統計的特性を示すグラフとダッシュボードを手動でレビューします。これにより、モデルが予測を行うために使用する機能に、予期しない変更や異常がないかを視覚的に検査することができます。
- エラー分析: モデルが新しいタイプのエラーを発生している場所と理由を詳細に分析します。この実践的なレビューは、モデルがトレーニングを行っていないパターンが発生しているかどうかを診断するのに役立ちます。
- 改善 (モデルの再訓練) - 離職が特定されたら、すぐにモデルを再訓練するための手順を実行します。
- このシフトの原因となった、最新の最も代表的なデータが収集されます。
- その後、モデルはこの新しく更新されたデータセットで再訓練され、現在の現実のパターンを学習します。
- この新しい修正バージョンは、正確性とパフォーマンスを復元するために導入されます。
強力な内部Vizツールを使用した、専門家による手動分析に依存して、モデルの変動を効率的に特定、診断、修正できるため、精度について高い基準を管理ます。 - どの程度先まで (絶対時間または親族間隔で)、どの程度の精度で予測を行うことができますか?
- 予測機能は、特定の有効ウィンドウ内で予測インサイトを提供するように最適化されています。期待される精度は、データに固有の要因に大きく依存型ます。最大 8 週間 (2 か月) 先までの確実な予測が可能です。この対象期間により、予測が最新のデータに基づいて行われ、プランニングのニーズに合った実用的なレベルの関連性と精度が管理。精度はさまざまな主要な要因によって異なりますが、一般的に、ほとんどの予測において堅牢な結果を実現しています。
- 全般精度: これまでは、ほとんどのメトリックで 70% 以上の精度を実現しています。
- 要因: 精度は変数であり、以下のような重要な要素に依存します。
- データ品質: 特定のメトリックで使用可能な履歴データの信頼性と完全性。
- 期間: 通常、短期の予測は、8 週間の上限に向けて行う予測よりも精度が高くなります。
- メトリックの複雑性: 季節性、データの分散、測定対象のメトリック (受注書、在庫など) 固有の安定性などの要因はすべて、達成可能な精度に影響します。
- 精度の向上に関する業界の基準は何ですか?Workday の標準は何ですか?
- 「良い精度」という単一の基準は、業界全体で統一されているわけではありません。許容できる精度のレベルは、メトリクス、業界、需要の不安定性の種類によって大きく異なるためです。Workday の基準は、実証済みのパフォーマンスによって定義され、貴社のビジネスに信頼性の高い予測を提供できるよう構成されています。予測精度に関する単一の固定ベンチマークで、すべての業界に適用されるものはありません。何が "良い" とみなされるかは、以下に応じて決まります。
- メトリックと揮発性: 安定性の高いメトリック (長期供給契約のような) は、多くの場合、精度が 90% 以上に設定されますが、不安定性の高いメトリック (季節変動性や販売促進の影響を受ける新製品の売上など) では、精度が 70% 程度が優れた場合もあります。
- 対象期間: 予測精度が低下するほど、予測値が離れることになります。
- 期間: 使用される時間枠によって、特に外れ値が存在する状況では、精度が変動する可能性があります。
- 使用する精度メトリック: 使用する計算式 (Mマッピング、WorkWork など) は、結果のパーセントに影響します。内部では、精度は次のように計算されます。パーセントの精度 = 100 - (₪タようにで、
Workday の内部標準は、範囲なお客様データにわたって Workday のモデルが示した堅牢なパフォーマンスに基づいています。- Workday の基準: 予測するほとんどのメトリックで、70% 以上の精度を実現できています。
- 可変パフォーマンス: データにおける以下のような要因の複雑性を管理しながらも、このターゲットを達成します。
- 利用可能な履歴情報のデータ品質と一貫性。
- 予測対象の特定のメトリックにおける季節変動型、各メトリック、または固有の不安定性の程度。
- 分析する組織の詳細 (発注書と製品系列など) の特定の期間およびレベル。
大半のメトリックにおいて一貫して 70% の閾値を満たすか超えることにより、大半の予測は効果的な業務や財務上の意思決定に十分な信頼性を有しています。