FAQ : Adaptabilité et mise à jour des modèles

À quelle fréquence réévaluons-nous et éventuellement réentraînons-nous ou changeons-les d'algorithmes de prévision pour les clients existants ? Qu'est-ce qui déclenche cette réévaluation (par exemple, une dégradation des performances, des changements de données importants, de nouvelles disponibilité de données) ?

Nous réévaluons régulièrement nos algorithmes de prévision pour les clients existants afin de garantir leur précision et leur efficacité. Notre approche se divise en deux activités principales : le formation récurrente et le rétablissement, chacune avec sa fréquence et ses déclencheurs.

Nos modèles de Machine Learning sont entraînés à chaque exécution de prévisions afin de générer les prévisions les plus récentes en utilisant les données les plus récentes. Le réentraînement à chaque fois que nous effectuons des prévisions garantit que nos modèles intègrent les informations les plus récentes et capturent de nouveaux modèles ou tendances dès qu'ils apparaissent, ce qui permet de garantir la précision de nos prédictions.

Les hyperparamètres (par exemple, taux d'apprentissage, taille des lots, etc.) de nos modèles sont actualisés chaque trimestre. Ce processus est un ajustement plus approfondi visant à optimiser les performances du modèle sur un indicateur/une métrique spécifique. En ajustant les hyperparamètres régulièrement, nous pouvons nous assurer que le modèle est aligné de manière cohérente sur nos indicateurs clés de performance, comme la réduction des erreur ou la précision.

En cas de modifier/changer significatif et continu des tendances sous-jacentes (par exemple, un nouveau produit, un changement de marché majeur ou un événement mondial de type pandémie), il faut généralement qu'il faut besoin que le modèle de Machine Learning puisse réagir et ajuster ses prévisions pour refléter ces nouvelles tendances ?

Le délai nécessaire à un modèle de Machine Learning pour réagir à un modifier/changer significatif et continu des tendances n'est pas un nombre fixe. Il s'agit d'un processus dynamique qui dépend de plusieurs facteurs, mais nous pouvons plan les éléments à prendre en compte.

D'un point de vue pratique, il faut généralement quelques semaines, voire quelques mois, à un modèle de prévision pour réagir et s'adapter à un changement de marché majeur, mais cela peut être plus rapide ou plus lent selon l'indicateur et ses données historiques. En effet, la aptitude d'apprentissage et d'adaptation du modèle est liée à la disponibilité de nouvelles données qui reflètent le modifier/changer.

La vitesse des données et la fréquence de formation récurrente récurrent sont des facteurs clés qui influent sur le temps de réaction. Notre calendrier de formation récurrente est le facteur le plus important dans la aptitude d'un modèle à réagir. Le modèle commence à voir les nouvelles données et les tendances émergentes dès que le processus de prévision est exécuté. Il faut toutefois du temps à ces nouvelles données pour constituer une part significative de l'ensemble formation . Une période de travail majeure qui est clairement visible en une semaine de données et ne représente peut-être qu'une petite fraction d'un modèle entraîné sur plusieurs années d'historique de données.

Périodes de travail survenues dans le contexte d'une pandémie, qui sont des événements de type « centralisation liée à une pandémie » qui sont des événements tombant un impact impactant
la pandémie. Même si les performances du modèle se dégradent presque immédiatement (que nos systèmes de contrôle peuvent détecter), il faut parfois que les nouvelles données soient collectées et que le modèle ait à apprendre les nouveaux modèles post-événement.

Périodes de travail progressives et continues : un nouveau produit ou un lent décalage du marché permet au modèle de s'adapter davantage. Notre processus de formation récurrente aidera le modèle à apprendre la nouvelle tendance à mesure que des données plus récentes seront disponibles progressivement.

La mémoire du modèle : la longueur des données historiques utilisées pour formation est essentielle. Un modèle entraîné sur cinq ans de données prendra plus de temps à oubliez les anciennes tendances qu'un modèle entraîné sur un an de données. Dans un scénario avec une période de travail importante, il peut être nécessaire d'oublier des données plus anciennes ou d'appliquer une pondération plus importante aux données les plus récentes pour accélérer l'adaptation du modèle.

Rôle de la formation récurrente : bien que la formation récurrente ait lieu chaque fois que le processus prévisionnel est réexécuté, c'est la relance trimestrielle de nos hyperparamètres qui permet des ajustements plus fondamentaux. Un modifier/changer significatif et continu des tendances peut déclencheur un rétablissement plus tôt que prévu. Par exemple, si nous constatons que les performances d'un modèle se dégradent de manière cohérente depuis plusieurs semaines, nous déclencheur manuellement un nouvel ajustement pour voir si un ensemble de paramètres différent pourrait aider le modèle à mieux saisir la nouvelle réalité. Il s'agit de notre principal mécanisme d'ajustement de la aptitude d'adaptation du modèle.

Quels mécanismes sont mis en place pour détecter et traiter la « dérivation » du modèle (lorsque les prédictions du modèle deviennent moins précises au fil du temps en raison de changements dans la distribution des données) ?

Nous sommes conscients que les données concrètes rencontrées par nos modèles sont en constante évolution. Cela peut entraîner une dérive du modèle, où la précision prédictive d'un modèle se déprécie au fil du temps en raison de modifications au niveau des modèles de données sous-jacents. Pour gérer efficacement ce problème, nous utilisons une stratégie basée sur la visualisation interne, l'analyse des modèles de données et l'enquête d'experts.

Notre approche de la gestion des brouillons

Visualisation interne et outils de modélisation de données : nos équipes techniques utilisent des outils et visualisations internes dédiés pour rechercher activement les périodes de travail dans les modèles de données qui pourraient indiquer une dérive.

Visualisation à modèle : nous révisons manuellement les graphiques et les tableaux de bord qui affichent les propriétés statistiques des données entrantes. Cela nous permet de visualiser les changements ou anomalies inattendus dans les fonctionnalités utilisées par le modèle pour faire des prédictions.

Analyse des erreurs : nous analysons spécifiquement où et pourquoi le modèle crée de nouveaux types d'erreur. Cet examen pratique nous permet de diagnostiquer si le modèle rencontre des modèles sur lesquels il n'a jamais été entraîné.

Remédiation (réentraînement du modèle) : une fois la dérive identifiée, nous prenons immédiatement des mesures pour réentraîner le modèle.

Nous recueillons les données les plus récentes et les plus représentatives qui ont entraîné la période de travail.

Le modèle est ensuite ré-entraîné sur ce nouveau jeu de données mis à jour pour apprendre les modèles du monde réel actuels.

Cette nouvelle version corrigée est ensuite déployée pour restaurer la précision et la performance du système.

Nous nous appuyons sur des analyses manuelles de experts en utilisant de puissants outils de visualisation internes pour identifier, diagnostiquer et corriger efficacement les dérives des modèles, ce qui mettre à jour la précision des normes élevées.

Jusqu'à quelle période (en temps absolu ou à intervalles parent ) pouvons-nous effectuer des prévisions et avec quelle précision ?

Nos fonctionnalités de prévision sont optimisées pour fournir des analyses prédictives dans une fenêtre d'effet spécifique, et la précision attendue dépendance fortement de facteurs spécifiques à vos données.

Nous pouvons donc établir des prévisions fiables jusqu'à huit semaines (deux mois) maximum. Cet horizon garantit que les prédictions reposent sur des données récentes et mettre à jour un niveau pratique de pertinence et de précision pour vos besoins de planification .

Notre précision varie en fonction d'un certain nombre de facteurs clés, mais nous atteignons généralement de solides résultats dans la plupart des projections :

Précision générale : nous avons historiquement atteint une précision de 70 % et plus pour la majorité des indicateurs que nous prévoyons.

Facteurs de contrôle : la précision est très variable et dépend de plusieurs éléments critiques :

Qualité des données : fiabilité et exactitude des données historiques disponibles pour un indicateur/une métrique spécifique.

Période : les prévisions à court terme font généralement preuve d'une plus grande précision que celles prévues pour la limite de 8 semaines.

Niveau de complexité : des facteurs, tels que la saisonnalité, la séparation des données et la stabilité inhérente à l'indicateur/la métrique pouvant être utilisée (par exemple, commandes ouvertes, stocks, etc.) ont tous un impact sur la précision réalisable.

Nous surveillons et affiner en permanence nos modèles pour fournir les prévisions les plus précises possibles au cours de cette fenêtre définie de 8 semaines.

Quelle est la norme standard du secteur en matière d'exactitude des données ? Quelle est la norme Workday ?

Le concept d' pouvoir de référence unique « de bonne précision » n'est pas universel dans le secteur, car les niveaux de précision acceptables varient considérablement selon le type d'indicateur, le secteur d'activité et la volatilité de la demande. Notre norme est définie par nos performances éprouvées et est structurée de manière à fournir des projections fiables à votre entreprise.

Il n'existe pas de benchmark fixe unique pour la précision des prévisions s'appliquant à tous les secteurs. Ce qui est considéré comme « bon » dépend des éléments suivants :

Indicateurs et volatilité : un indicateur très stable (comme un contrat d'approvisionnement à long terme) peut obtenir une précision de plus de 90 %, tandis qu'un indicateur très volatile (comme les nouvelles ventes de produits influencées par la saisonnalité ou les promotions) peut considérer qu'une précision de 70 % est optimale.

Horizon temporel : la précision diminue naturellement, à mesure que vous prévoyez de réduire les prévisions.

Intervalle de temps : la précision peut fluctuer en fonction de la période utilisée pour l'analyse, en particulier dans les situations où des valeurs extrêmes sont présentes.

Indicateur de précision utilisé : la formule utilisée (par exemple, MAPE, WMAPE) a un impact sur le pourcentage obtenu. En interne, nous calculons la précision comme suit :

Précision en pourcentage = 100 – ( / Réel × 100)

Dans les contextes opérationnels en général, des taux de précision d'au moins 70 % sont considérés comme une base solide et fiable pour la planification, en particulier lorsqu'il s'agit de faire face à l'incertitude inhérente à une demande concrète.

La norme interne de Workday repose sur les solides performances dont nos modèles ont fait preuve dans une plage de données client :

Norme de Workday : nous avons réussi à obtenir une précision de 70 % et plus pour la majorité des indicateurs que nous prévoyons.

Performance variable : nous atteignons cet cible même en gérant la complexité des facteurs dans vos données, notamment :

Qualité des données et cohérence des informations historiques disponibles.

Degré de saisonnalité, de saisonnalité ou de volatilité inhérente dans l'indicateur spécifique faisant l'objet d'une prévision.

La période spécifique et le niveau de détail organisationnel (ex. : commande ouverte et famille de produits) en cours d'analyse.

En accédant ou dépassant de manière régulière le seuil de 70 % pour la majorité des indicateurs, nous nous garantissons que la grande majorité de vos prévisions sont suffisamment fiables pour une prise de décision opérationnelle et financière efficace.