FAQ: Modellanpassungsfähigkeit und -verwaltung

Wie oft führen wir eine Neuevaluierung und möglicherweise ein erneutes Training oder Wechseln der Prognosealgorithmen für bestehende Kunden durch? Was triggert diese Neubewertung (z. B. Performance-Einbußen, erhebliche Datenschichten, neue Verfügbarkeit)?

Wir evaluieren unsere Prognosealgorithmen für bestehende Kunden regelmäßig neu, um ihre kontinuierliche Genauigkeit und Effektivität sicherzustellen. Unser Ansatz gliedert sich in zwei Hauptaktivitäten: erneutes Training und Neuabstimmung, jede mit ihrem eigenen Intervall und ihren eigenen Triggern.

Unsere Machine Learning Modelle (ML) werden bei jedem Prognoselauf trainiert, um die aktuellsten Prognosen mit den neuesten Daten zu generieren. Bei jeder Prognose wird sichergestellt, dass unsere Modelle die neuesten Informationen enthalten und neue Muster oder Trends erfassen, sobald sie sich zeigen. So erhalten wir die Genauigkeit unserer Prognosen.

Die Hyperparameter (z. B. Lernrate, Batch-Größe usw.) unserer Modelle werden vierteljährlich abgestimmt. Dieser Prozess umfasst eine detailliertere Anpassung mit dem Ziel, die Performance des Modells für eine bestimmte Metrik zu optimieren. Indem wir Hyperparameter nach einem regelmäßigen Zeitplan anpassen, können wir sicherstellen, dass das Modell konsistent mit unseren KPIs ausgerichtet ist, z. B. Fehler oder Maximierung der Genauigkeit.

Wie lange dauert es im Falle einer signifikanten, dauerhaften Änderung der zugrunde liegenden Trends (z. B. die Einführung eines neuen Produkts, eine große Marktverschiebung oder ein globales Ereignis wie eine Pandemie) normalerweise, bis das ML-Modell reagieren und seine Prognosen entsprechend angepasst wird? diese neuen Trends widerspiegeln?

Die Zeit, die ein Machine Learning Modell benötigt, um auf eine signifikante, nachhaltige Änderung der Trends zu reagieren , ist keine feste Zahl. Es ist ein dynamischer Prozess, der von mehreren Faktoren abhängt, aber wir können die wichtigsten Überlegungen Gliederung .

Tatsächlich dauert es in der Regel Wochen bis einige Monate, bis ein Prognosemodell vollständig reagieren und sich an eine größere Marktverschiebung angepasst hat. Je nach Metrik und ihren historischen Daten kann das Verfahren jedoch schneller oder langsamer sein. Dies liegt daran, dass die Lern- und Fertigkeit des Modells von der Verfügbarkeit neuer Daten abhängig ist, die die Änderung widerspiegeln.

Einige wichtige Faktoren, die die Reaktionszeit beeinflussen, sind die Datengeschwindigkeit und die Häufigkeit erneutes Training . Unser Zeitplan für erneutes Training ist der wichtigste Faktor für die reagieren eines Modells. Die neuen Daten - und den sich abzeichnenden Trend werden vom Modell beim nächsten Lauf des Prognoseprozesses angezeigt. Es dauert jedoch einige Zeit, bis diese neuen Daten einen wesentlichen Teil des Training bilden. Eine große Verschiebung, die in den Daten einer Woche deutlich sichtbar ist, kann nur einen kleinen Bruchteil eines Modells darstellen, das mit historischen Daten aus mehreren Jahren trainiert wurde.

Pzeitige, unerwartete Schichten: Ereignisse wie eine Pandemie im Zusammenhang mit einer Sperre sind Schwellenereignisse
. Auch wenn sich die Performance des Modells fast sofort verringert (wie unsere Überwachungssysteme erkennen würden), wird es einige Zeit dauern, bis die neuen Daten erfasst sind und das Modell die neuen Muster nach dem Ereignis lernt.

Schrittweise, kontinuierliche Schichten: Bei der Einführung eines neuen Produkts oder eines langsamen Wandels auf dem Markt kann sich das Modell schrittweise anpassen. Unser Prozess für erneutes Training hilft dem Modell, den neuen Trend schrittweise zu erlernen, sobald mehr aktuelle Daten verfügbar sind.

Speicher des Modells: Die Länge der beim Training verwendeten historischen Daten ist von entscheidender Bedeutung. Bei einem Modell, das mit Daten aus fünf Jahren trainiert wird, dauert es länger, die alten Trends zu vergessen, als bei einem Modell, das mit Daten aus einem Jahr trainiert wurde. In einem Szenario mit einer größeren Änderung kann es sinnvoll sein, die ältesten Daten bewusst zu vergessen oder die neuesten Daten mit einer agileren Gewichtung zu gewichten, um die Anpassung des Modells zu beschleunigen.

Die Rolle der Neuabstimmung: Während der Prognoseprozess jedes Mal erneut ausgeführt wird, findet ein erneutes erneutes Training statt. Die vierteljährliche Neuabstimmung unserer Hyperparameter ermöglicht jedoch grundlegendere Anpassungen. Eine signifikante, nachhaltige Änderung der Trends kann eine früher als geplante Neuabstimmung Trigger . Wenn wir beispielsweise feststellen, dass die Performance eines Modells über mehrere Wochen hinweg kontinuierlich beeinträchtigt wird, wird manuell eine erneute Abstimmung Trigger, um zu prüfen, ob das Modell mithilfe eines anderen Satzes Parameter die neuen Gegebenheiten besser erfassen kann. Das ist unser primärer Mechanismus zur „Abstimmung“ der Fertigkeit des Modells.

Welche Mechanismen gibt es, um Modellabweichungen zu erkennen und zu beheben, wenn die Prognosen des Modells im Laufe der Zeit aufgrund von Änderungen in der Datenverteilung weniger genau werden?

Uns ist bewusst, dass sich die realen Daten, auf die unsere Modelle zugreifen, ständig weiterentwickeln. Dies kann zu einer Modellabweichung führen, d. h. die prädiktive Genauigkeit eines Modells nimmt im Laufe der Zeit aufgrund von Änderungen in den zugrunde liegenden Datenmustern ab. Um dies effektiv zu managen, setzen wir eine Strategie ein, die auf interner Visualisierung, Analyse von Datenmustern und Untersuchung von Experten basiert.

Unser Ansatz für Drive-Management

Interne Visualisierungs- und Datenmuster-Tools: Unsere Technikteams verwenden spezielle interne Tools und Visualisierungen, um aktiv nach Verschiebungen in den Datenmustern zu suchen, die auf eine Abweichung hinweisen könnten.

Mustervisualisierung: Wir prüfen manuell Diagramme und Dashboards, die die statistischen Eigenschaften der eingehenden Daten zeigen. Auf diese Weise können wir die Funktionen, die das Modell für Prognosen verwendet, visuell auf unerwartete Änderungen oder Anomalien prüfen.

Fehleranalyse: Wir analysieren speziell, wo und warum das Modell neue Arten von Fehlern macht. Diese manuelle Prüfung hilft uns bei der Diagnose, ob das Modell auf Muster stößt, für die es nie trainiert wurde.

Korrektur (erneutes Training des Modells): Sobald eine Abweichung festgestellt wird, nehmen wir sofort Schritte für ein erneutes Training des Modells vor.

Wir erfassen die neuesten und aussagekräftigen Daten, die den Wechsel verursacht haben.

Das Modell wird dann erneut mit diesem neuen, aktualisierten Dataset trainiert, um die aktuellen realen Muster zu erkennen.

Diese neue, korrigierte Version wird dann bereitgestellt, um die Genauigkeit und Performance wiederherstellen .

Wir verlassen uns auf manuelle Analysen von Experten unter Verwendung leistungsstarker interner Visualisierung , um Modellabweichungen effizient zu identifizieren, zu diagnostiziert und zu korrigieren und gleichzeitig hohe Genauigkeitsstandards Verwalten .

Wie weit in die Zukunft (entweder in absoluten Zeitintervallen oder in Familienmitglied Intervallen) können wir Prognosen erstellen und mit welcher Genauigkeit?

Unsere Prognosefunktionen sind optimiert, um prädiktive Insights innerhalb eines bestimmten Gültigkeitsfensters zu liefern. Die erwartete Genauigkeit mit Abhängigkeit .

Wir können zuverlässige Prognosen für maximal acht Wochen ( zwei Monate) in der Zukunft erstellen. Dieser Horizont stellt sicher, dass die Prognosen auf aktuellen Daten basieren und für Ihre Planung ein ausreichendes Maß an Relevanz und Genauigkeit Verwalten .

Unsere Genauigkeit hängt von einer Reihe von Schlüsselfaktoren ab, aber im Allgemeinen erzielen wir bei den meisten Projektionen zuverlässige Ergebnisse:

Allgemeine Genauigkeit: In der Vergangenheit haben wir für die meisten unserer prognostizierten Metriken eine Genauigkeit von 70 % und höher erreicht.

Steuernde Faktoren: Die Genauigkeit ist stark Variable und hängt von mehreren kritischen Elementen ab:

Datenqualität: Zuverlässigkeit und Vollständigkeit der für eine bestimmte Metrik verfügbaren historischen Daten

Zeitperiode: Kurzfristige Prognosen weisen in der Regel eine höhere Genauigkeit auf als Prognosen für das Limit von 8 Wochen.

Komplexität der Metrik: Faktoren wie Saisonalität, Datensparität und die inhärente Stabilität der gemessenen Metriken (z. B. Verkaufsaufträge, Bestand usw.) haben Auswirkungen auf die erreichbare Genauigkeit.

Wir überwachen und Verfeinern unsere Modelle kontinuierlich, um innerhalb dieses definierten 8-Wochen-Fensters möglichst genaue Prognosen zur Verfügung zu stellen.

Was ist der Branchenstandard für hohe Genauigkeit? Was ist der Standard von Workday?

Das Konzept eines einzigen Standards für „gute Genauigkeit“ ist nicht branchenweit gültig, da die akzeptablen Genauigkeitswerte je nach Art der Metrik, Branche und Nachfragevolatilität stark variieren. Unser Standard wird durch unsere bewährte Performance definiert und ist so strukturiert, dass sie zuverlässige Prognosen für Ihr Unternehmen liefern.

Es gibt keine einheitliche, feste Benchmark für die Prognosegenauigkeit, die für alle Branchen gilt. Was als „gut“ angesehen wird, hängt von folgenden Faktoren ab:

Metriken und Volatilität: Eine sehr stabile Metrik (wie ein langfristiger Vertrag) kann oft eine Genauigkeit von über 90 % erreichen, während bei stark veränderlichen Metriken (wie Verkäufe neuer Produkte, die von Saisonalität oder Werbeaktionen beeinflusst werden) eine Genauigkeit von 70 % als sehr gut angesehen werden kann.

Zeithorizont: Die Genauigkeit nimmt natürlich ab, je länger Sie sind, als Sie prognostizieren.

Zeitbereich: Die Genauigkeit kann je nach Zeitrahmen der Analyse schwanken, insbesondere wenn extremer Ausreißer vorhanden sind.

Verwendete Genauigkeitsmetrik: Die verwendete Formel (z. B. MAPE, WWPE) wirkt sich auf den resultierenden Prozentsatz aus. Intern berechnen wir die Genauigkeit wie folgt:

Prozentsätze

Unter allgemeinen Geschäftskontexten gelten Genauigkeitsraten von 70 % oder mehr häufig als solide und zuverlässige Planung, insbesondere wenn die inhärente Unsicherheit der realen Nachfrage berücksichtigt werden muss.

Der interne Standard von Workday basiert auf der robusten Performance, die unsere Modelle in einer Bereich von Kunde gezeigt haben:

Standard von Workday: Wir konnten für die meisten unserer prognostizierten Metriken eine Genauigkeit von 70 % und höher erreichen.

Variable Performance: Dieses Soll wird sogar dann erreicht, wenn Sie die Komplexität der Faktoren in Ihren Daten verwalten, wie z. B.:

Datenqualität und Konsistenz der verfügbaren historischen Informationen.

Der Grad der Saisonalität, Parität oder inhärenten Volatilität in der prognostizierten Metrik.

Die Zeitperiode und die Ebene der organisatorischen Details (z. B. Verkaufsauftrag vs. Produktfamilie), die analysiert werden.

Da die Schwelle von 70 % bei den meisten Metriken durchgängig erreicht oder überschritten wird, sorgen wir dafür, dass der Großteil Ihrer Prognosen für effektive operative und finanzielle Entscheidungen ausreichend zuverlässig ist.