Passa al contenuto principale
Documentazione
Documentazione
Administrator Guide
Ultimo aggiornamento: 2026-02-06
Domande frequenti: Adattabilità e manutenzione del modello

Domande frequenti: Adattabilità e manutenzione del modello

Con quale frequenza rivalutare ed eventualmente riqualificare o cambiare gli algoritmi di previsione per i clienti esistenti? Cosa attiva questa rivalutazione (ad es. riduzione delle performance, cambiamenti significativi dei dati, disponibilità di nuovi dati)?
Rivediamo regolarmente i nostri algoritmi di previsione per i clienti esistenti al fine di garantirne la continua accuratezza ed efficacia. Il nostro approccio si articola in due attività principali: aggiornamento professionale e risintonizzazione, ciascuna con cadenza e trigger propri.
I nostri modelli machine learning (ML) vengono addestrati nuovamente a ogni esecuzione delle previsioni per generare le previsioni più aggiornate utilizzando i dati più recenti. La riqualificazione a ogni previsione garantisce che i nostri modelli incorporino le informazioni più recenti e acquisiscano eventuali nuovi modelli o tendenze non appena emergono, mantenendo la precisione delle nostre previsioni.
Gli iperparametri (ad es. tasso di formazione, dimensione del batch, ecc.) dei nostri modelli vengono ricalibrati trimestralmente. Questo processo è un adeguamento più approfondito volto a ottimizzare le performance del modello in base a una metrica specifica. Regolando gli iperparametri a intervalli regolari, possiamo garantire che il modello sia coerentemente allineato ai nostri indicatori chiave di performance, ad esempio riducendo al minimo gli errore o massimizzando la precisione.
Se si verifica un cambiamento significativo e duraturo delle tendenze sottostanti (ad es. il lancio di un nuovo prodotto, un importante cambiamento di mercato o un evento globale come una pandemia), quanto tempo impiega in genere il modello ML per reagire e adeguare le previsioni rispecchiare queste nuove tendenze?
Il tempo necessario a un modello machine learning per reagire a un cambiamento significativo e duraturo delle tendenze non è un numero fisso. È un processo dinamico che dipende da diversi fattori, ma è possibile schema le considerazioni chiave.
In pratica, un modello di previsione richiede in genere da alcune settimane ad alcuni mesi per reagire e adattarsi a un importante cambiamento di mercato, ma può essere più veloce o più lento a seconda della metrica e dei dati storici. Questo perché la capacità del modello di apprendere e adattarsi è legata alla disponibilità di nuovi dati che riflettono il cambiamento.
Alcuni fattori chiave che influenzano i tempi di reazione sono la velocità dei dati e la frequenza aggiornamento professionale . Il piano aggiornamento professionale è il fattore più importante per la capacità di reazione di un modello. Il modello inizia a vedere i nuovi dati e la tendenza emergente alla successiva esecuzione del processo di previsione. Tuttavia, è necessario del tempo prima che i nuovi dati costituiscano una parte significativa dell'insieme di formazione/corso di formazione . Un cambiamento importante che è chiaramente visibile in una settimana di dati potrebbe rappresentare solo una piccola parte di un modello addestrato su diversi anni di dati storici.
  • Turni di lavoro improvvisi e drastici: eventi come un blocco correlato a una pandemia sono
    eventi scioccanti
     . Sebbene le performance del modello diminuiscano quasi immediatamente (come rilevano i nostri sistemi di monitoraggio), ci vorrà del tempo prima che i nuovi dati vengano raccolti e il modello apprenda i nuovi modelli post-evento.
  • Turni graduali e sostenuti: il lancio di un nuovo prodotto o un lento spostamento del mercato consente al modello di adattarsi in modo più incrementale. Il nostro processo aggiornamento professionale aiuterà il modello ad apprendere gradualmente la nuova tendenza man mano che saranno disponibili dati sempre più recenti.
  • La memoria del modello: la lunghezza dei dati storici utilizzati nella formazione/corso di formazione è fondamentale. Un modello addestrato su cinque anni di dati impiegherà più tempo a dimenticare le vecchie tendenze rispetto a un modello addestrato su un anno di dati. In uno scenario caratterizzato da cambiamenti importanti, potrebbe essere necessario dimenticare consapevolmente alcuni dei dati meno recenti o applicare ponderazione più aggressiva ai dati più recenti per accelerare l'adattamento del modello.
  • Il ruolo della rimessa a punto: sebbene la aggiornamento professionale avvenga ogni volta che il processo di previsione viene eseguito nuovamente, è la rimessa a punto trimestrale degli iperparametri che consente rettifiche più fondamentali. Un cambiamento significativo e duraturo delle tendenze può trigger una nuova messa a punto prima del previsto. Ad esempio, se le performance di un modello sono costantemente diminuite per diverse settimane, si trigger manualmente una nuova messa a punto per vedere se un insieme di parametri diverso può aiutare il modello a cogliere meglio la nuova realtà. Questo è il nostro meccanismo principale per "regolare" la capacità di adattamento del modello.
Quali meccanismi sono in atto per rilevare e affrontare la "deriva" del modello (quando le previsioni del modello diventano meno accurate nel tempo a causa di modifiche nella distribuzione dei dati)?
Siamo consapevoli del fatto che i dati del mondo reale che i nostri modelli incontrano sono in continua evoluzione. Ciò può causare una deriva del modello, in cui l'accuratezza predittiva di un modello diminuisce nel tempo a causa delle modifiche nei modelli di dati sottostanti. Per gestirlo in modo efficace, adottiamo una strategia basata sulla visualizzazione interna , sull'analisi dei modelli di dati e indagine di esperti .
Il nostro approccio alla gestione della deriva
  1. Strumenti interni di visualizzazione e modelli di dati: i nostri team tecnici utilizzano strumenti interni e visualizzazioni dedicati per cercare attivamente cambiamenti nei modelli di dati che potrebbero indicare una deriva.
    1. Visualizzazione pattern: vengono esaminati manualmente i grafici e i dashboard che mostrano le proprietà statistiche dei dati in entrata. Questo ci consente di ispezionare visivamente la presenza di modifiche impreviste o anomalie nelle funzionalità utilizzate dal modello per fare previsioni.
    2. Analisi degli errori: analizziamo in modo specifico dove e perché il modello commette nuovi tipi di errori. Questa valutazione pratica ci aiuta a diagnosticare se il modello sta riscontrando modelli su cui non è mai stato eseguito il training.
  2. Correzione (nuovo addestramento del modello) - Una volta identificata la deriva, si procede immediatamente al nuovo addestramento del modello.
    1. Raccogliamo i dati più recenti e rappresentativi che hanno causato il turno.
    2. Il modello viene quindi addestrato di nuovo su questo nuovo set di dati aggiornato per apprendere i modelli attuali del mondo reale.
    3. Questa nuova versione corretta viene quindi distribuita per ripristinare la precisione e le prestazioni.
Ci affidiamo all'analisi manuale di esperti che utilizzano potenti strumenti visualizzazione interni per identificare, diagnosticare e correggere in modo efficiente le derive del modello, garantendo il gestire di standard elevati di precisione.
Quanto lontano nel futuro (in tempo assoluto o intervalli familiare ) è possibile prevedere e con quale accuratezza?
Le nostre funzionalità di previsione sono ottimizzate per fornire insight predittivi all'interno di una finestra specifica ed efficace e la precisione prevista dipendenza in larga misura dai fattori specifici dei dati.
È possibile prevedere in modo affidabile fino a un massimo di otto settimane (due mesi) nel futuro. Questo orizzonte garantisce che le previsioni siano basate sui dati recenti e gestire un livello pratico di pertinenza e accuratezza per le esigenze pianificazione .
La nostra accuratezza varia in base a una serie di fattori chiave, ma in genere otteniamo risultati solidi nella maggior parte delle proiezioni:
  • Precisione generale: storicamente abbiamo raggiunto una precisione del 70% e superiore per la maggior parte delle metriche previste.
  • Fattori di controllo: la precisione è molto variabile e dipende da diversi elementi critici:
    • Qualità dei dati: l'affidabilità e la completezza dei dati storici disponibili per una metrica specifica.
    • Periodo di tempo: le previsioni a breve termine in genere mostrano una precisione maggiore rispetto a quelle previste verso il limite di 8 settimane.
    • Complessità delle metriche: fattori come la stagionalità, la scarsità dei dati e la stabilità intrinseca della metrica misurata (ad es. ordini di vendita, scorte, ecc.) influiscono sulla precisione ottenibile.
Monitoriamo e perfezionare continuamente i nostri modelli per fornire previsioni più accurate possibili entro la finestra definita di 8 settimane.
Qual è lo standard di settore per una buona precisione? Qual è lo standard di Workday?
Il concetto di un unico standard di "buona precisione" non è universale in tutto il settore, poiché i livelli di accuratezza accettabili variano notevolmente a seconda del tipo di metrica, del settore e della volatilità della domanda. Il nostro standard è definito dalle nostre comprovate performance ed è strutturato per fornire proiezioni affidabili per l'azienda.
Non esiste un unico benchmark fisso per l'accuratezza delle previsioni applicabile a tutti i settori. Ciò che è considerato "buono" dipende da:
  1. Metriche e volatilità: una metrica altamente stabile (come un contratto di fornitura a lungo termine ) può spesso raggiungere una precisione superiore al 90%, mentre metriche altamente volatili (come le vendite di nuovi prodotti influenzate dalla stagionalità o dalle promozioni) potrebbero considerare un'accuratezza del 70% eccellente.
  2. Orizzonte temporale: la precisione diminuisce naturalmente all'aumentare della previsione.
  3. Intervallo di tempo: la precisione può variare a seconda dell'intervallo di tempo utilizzato per l'analisi, in particolare in situazioni in cui sono presenti valori anomali estremi.
  4. Metrica di precisione utilizzata: la formula utilizzata (ad es. MAPE, WMAPE) influisce sulla percentuale risultante. La precisione viene calcolata internamente come segue:
    Precisione percentuale = 100 - ( ∑∣Previsione−Effettiva∣ / ∑Effettiva × 100)
Nei contesti aziendali generali, tassi di accuratezza del 70% o superiori sono spesso considerati una base solida e affidabile per la pianificazione, soprattutto quando si affronta l'incertezza intrinseca della domanda nel mondo reale.
Lo standard interno di Workday si basa sulle solide performance che i nostri modelli hanno dimostrato su una vasta intervallo di dati cliente :
  • Standard di Workday: siamo stati in grado di ottenere una precisione del 70% e oltre per la maggior parte delle metriche previste.
  • Performance variabile: raggiungiamo questo destinazione anche gestendo la complessità dei fattori nei dati, ad esempio:
    • La qualità dei dati e la coerenza delle informazioni storiche disponibili.
    • Il grado di stagionalità, scarsità o volatilità intrinseca nella metrica specifica prevista.
    • Il periodo di tempo specifico e il livello di dettaglio dell'organizzazione (ad es. ordine di vendita e famiglia di prodotti) da analizzare.
Il raggiungimento o il superamento costante della soglia del 70% nella maggior parte delle metriche garantisce che la maggior parte delle previsioni sia sufficientemente affidabile per un processo decisionale operativo e finanziario efficace.