常見問題︰模型適應性與維護
- 我們多久會重新評估一次，並可能為現有客戶重新訓練或切換一次預測演算法？哪些因素會觸發重新評估(例如效能下降、重大的資料轉移、新資料的報名開放狀態)？
- 我們會定期為現有客戶重新評估我們的預測演算法，以確保其持續的準確性和有效性。我們的方法主要分為兩個活動：重新學習和重新調校，每個活動都有自己的步調和触發條件。我們的機器學習(ML) 模型會在每次執行預測時重新訓練，能使用最新資料產生最新的預測。每次預測時都會重新訓練，確保我們的模型納入最新資訊，並在任何新模式或趨勢出現時立即擷取，維持預測的準確性。我們模型的超參數 (例如學習率、批次大小等) 會每季重新調整一次。此流程是深度調整，目的是針對特定指標最佳化模型的效能。透過定期調整超參數，我們可以確保模型始終如一地符合我們的關鍵績效指標，例如盡可能減少錯誤或盡可能提高準確度。
- 如果潛在趨勢發生重大而持續的變更(例如新產品發布、重大市場變化或大流行病等全球事件)，機器學習模型通常需要多長時間才能做出反應並調整其預測？反映這些新趨勢？
- 機器學習模型對趨勢的重大持續變更做出反應所需的時間不是固定數字。這是一個取決於多種因素的動態流程，但我們仍可概要其中的關鍵注意事項。實際上，預測模型通常需要數周至數月的時間，才能針對市場的重大變化做出全面反應和調整，但實際情況可能會變快或變慢，具體取決於指標及其歷史資料。這是因為模型的學習與調適能力，與是否有可反映變更的新資料報名開放狀態。影響反應時間的關鍵因素包括資料速度和重新學習頻率。再重新學習時間表是影響模型反應能力的最重要因素。模型會在下次執行預測流程時，開始檢視新的資料及趨勢。不過，這些新資料要在培訓集中佔相當大的比例，尚需時日。在使用數年曆史資料訓練的模型中，在一周的資料中清晰可見的重大轉變，可能只佔其中的一小部分。
- 突如其來的劇烈變化：像大流行病相關的封鎖等事件是衝擊事件。雖然模型的效能幾乎會立即下降 (我們的監控系統會偵測到這一點)，但收集新資料以及學習新的事件後模式都需要時間。
- 漸進且持續的轉變：新產品的發布或緩慢的市場轉變使模型能夠逐步適應。隨著可用的最新資料越來越多，我們的重新學習流程將協助模型逐漸了解新的趨勢。
- 模型記憶力：培訓中使用的歷史資料長度至關重要。與使用一年資料訓練的模型相比，使用五年資料訓練的模型要忘記舊趨勢需要更長的時間。在發生重大轉變的情境中，可能需要有意識地忘記一些最舊的資料，或者對最新的資料採取更積極的加權，以加速模型的適應。
- 重新調校的作用：雖然每次重新執行預測流程都會進行重新學習，但每季都會重新調校超參數，以便進行更基本的調整。趨勢若發生重大且持續的變更，可能會比排定的時間更早地觸發重新調整。例如，如果我們發現模型效能已連續數週下降，我們會手動觸發重新調整，以查看一組不同的參數是否能協助模型更好地掌握新的現實情況。這是我們「調整」模型適應能力的主要機制。
- 有哪些適當的機制來偵測和解決模型「偏差」(當模型的預測因資料分佈變化而隨著時間推移而變得不那麼準確時)？
- 我們深知模型所遇到的現實世界資料在不斷變化。這可能會導致模型偏差，由於基礎資料模式的變化，模型的預測準確性會隨著時間的推移而降低。為了有效解決這個問題，我們採取了以內部視覺化、資料模式分析和專家調查為基礎的策略。我們的偏差管理方法
- 內部視覺化與資料模式工具：我們的技術團隊使用專用的內部工具與視覺化工具，積極尋找資料模式中可能存在偏差的變化。
- 模式視覺化：我們會手動審查顯示傳入資料統計屬性的圖表和儀表板。這讓我們能夠目視檢查模型用來進行預測的功能是否發生意料之外的變更或異常。
- 錯誤分析：我們會具體分析模型在何處以及為何會產生新類型的錯誤。這項動手實作審查可協助我們診斷模型是否遇到從未訓練過的模式。
- 修正 (模型重新訓練) - 一旦發現偏差，我們會立即採取步驟重新訓練模型。
- 我們會收集造成這種轉移的最新、最具代表性的資料。
- 然後在這個更新的新資料集上重新訓練模型，以學習目前的現實模式。
- 然後部署這個經過更正的新版本，以還原準確性和效能。
我們依靠專家使用強大的內部視覺化工具進行手動分析，以有效識別、診斷和更正模型偏差，確保我們維護高標準的準確性。 - 我們可以預測多遠的未來 (絕對時間或親屬間隔)？準確度如何？
- 我們的預測功能經過最佳化，可在特定的有效時段內提供預測性深度解析，而預期的準確度在很大程度上相依資料的獨特因素。我們最多可對未來八週 (兩個月) 的未來進行可靠預測。此範圍可確保預測以最近的資料為基礎，並維護符合您規劃需求的實用相關性和準確性。我們的準確性因多項關鍵因素而異，但在大多數預測中，大體上都能取得穩健的結果：
- 一般準確度：我們預測的大多數指標過往準確率都在 70% 以上。
- 控制因素：準確度是高度變數的，並且取決於幾個關鍵要素：
- 資料品質：特定指標可用歷史資料的可靠性和完整性。
- 時期：較短期預測的準確度通常高於 8 週限制的預測。
- 指標複雜度：季節性、資料稀少性以及所衡量指標 (例如銷售訂單、庫存等) 固有的穩定性等因素，都會影響可實現的準確度。
- 良好準確性的產業標準是什麼？Workday 的標準是什麼？
- 單一「良好準確性」標準的概念並非在整個產業中通用，因為可接受的準確性等級因指標類型、產業和需求波動性而有很大差異。我們的標準是以經過實證的績效表現來定義，其結構旨在為您的業務提供可靠的預測。預測準確性並沒有適用於所有產業的單一固定基準。「良好」的表現取決於：
- 指標與波動：高度穩定的指標 (如長期供應合約) 準確度通常能達到 90% 以上，而高度波動的指標 (如受季節性或促銷影響的新產品銷售) 則可能認為準確度可達 70% 以上。
- 「時間範圍：準確度」隨著您預測的越遠，準確度自然會越低。
- 時間範圍：準確度可能會因分析所用的時間範圍而波動，在存在極端異常值的情況下尤其如此。
- 使用的準確度指標︰使用的公式 (例如 MAPE、WMAPE) 會影響得出的百分比。在內部，我們的準確度計算方式如下：百分比準確度 = 100 - ( ÷
Workday 的內部標準是以我們的模型在範圍客戶資料中所展現的穩健效能為基礎：- Workday 的標準：我們對大部分預測指標的準確度都達到了 70% 以上。
- 多變的績效：即使您在管理資料中複雜度的因素，我們仍能實現此對象/目標，例如：
- 可用歷史資訊的資料品質和一致性。
- 預測特定指標的季節性、稀少或固有波動程度。
- 正在分析的特定時期和組織詳細資料層級 (例如，銷售訂單與產品系列)。
透過大多數指標持續達到或超過 70% 的門檻，我們確保您的大部分預測都足夠可靠，可有效制定營運和財務決策。