FAQ : Admissibilité et mise à jour des modèles
- À quelle fréquence réévaluons-nous les algorithmes de prévision pour nos clients existants? Qu'est-ce qui déclenche cette réévaluation (par exemple, dégradation du rendement, changements importants en matière de données, disponibilité de nouvelles données)?
- Nous réévaluons régulièrement nos algorithmes de prévision pour les clients existants afin d’assurer leur exactitude et leur efficacité continues. Notre approche repose sur deux activités principales : la formation à suivre de nouveau et la répétition de l’entraînement, chacune ayant sa propre cadence et ses propres déclencheurs.Nos modèles d’apprentissage apprentissage automatique sont entraînés à nouveau à chaque exécution de prévision afin de générer les prévisions les plus récentes à l’aide des données les plus récentes. En suivant l’entraînement de chaque prévision, nos modèles intègrent les informations les plus récentes et captent les nouveaux modèles ou tendances dès leur apparition, maintenant ainsi la précision de nos prévisions.Les hyperparamètres (p. ex., le taux d’apprentissage, la taille du lot, etc.) de nos modèles sont repensés chaque trimestre. Ce processus est un ajustement plus approfondi visant à optimiser le rendement du modèle pour un indicateur précis. En ajustant les hyperparamètres régulièrement, nous pouvons nous assurer que le modèle est aligné sur nos indicateurs clés de performance, tels que la réduction des erreur ou l’optimisation de la précision.
- S’il y a une modification importante et durable des tendances sous-jacentes (p. ex., un lancement d’un nouveau produit, une variation majeure du marché ou un événement mondial comme une pandémie), combien de temps faut généralement pour que le modèle apprentissage automatique puisse réagir et ajuster ses prévisions. refléter ces nouvelles tendances?
- Le temps nécessaire à un modèle d’apprentissage automatique pour réagir à un changement important et continu de tendances n’est pas un nombre fixe. Il s’agit d’un processus dynamique qui dépend de plusieurs facteurs, mais nous pouvons préciser les éléments clés à prendre en compte.Dans le sens pratique, il faut généralement plusieurs semaines à quelques mois pour qu’un modèle de prévision réagir entièrement et s’adapte à un changement majeur du marché, mais il peut être plus rapide ou plus lent en fonction de l’indicateur et de ses données historiques. En effet, la aptitude d’apprentissage et d’adaptation du modèle est liée à la disponibilité de nouvelles données qui reflètent la modification.La rapidité des données et la fréquence de formation à suivre de nouveau sont des facteurs clés qui influent sur le temps de réaction. Notre calendrier de formation à suivre de nouveau est le plus important facteur de aptitude d'un modèle à réagir. Le modèle commence à voir les nouvelles données (et la tendance émergente) dès qu’un processus de prévision est exécuté. Toutefois, il faut du temps pour que ces nouvelles données constituent une partie importante de l’ensemble de formation . Un quart important qui est clairement visible dans une seule semaine de données peut ne représenter qu’une fraction minuscule d’un modèle entraîné sur plusieurs années de données historiques.
- SudBien que la performance du modèle déprécie presque immédiatement (comme nos systèmes de surveillance le détecteraient), les nouvelles données pourront être collectées et le modèle apprendra les nouvelles tendances postérieures à l’événement.
- Des quarts progressifs et maintenus : Le lancement d’un nouveau produit ou un quart lent du marché permet au modèle de s’adapter de plus en plus progressivement. Notre processus de formation à suivre de nouveau de nouveau aidera le modèle à apprendre cette nouvelle tendance à mesure que des données plus récentes sont disponibles.
- La mémoire du modèle : La longueur des données historiques utilisées pour formation est essentielle. Un modèle entraîné sur cinq ans de données mettra plus de temps à risquer d’ignorer les anciennes tendances qu’un modèle entraîné sur une année de données. Dans un scénario comportant un changement important, il se peut que vous deviez penser des données les plus anciennes ou postuler une pondération plus rigoureuse aux données les plus récentes pour accélérer l’adaptation du modèle.
- Le rôle de la répétition de l’entraînement : bien que la formation à suivre de nouveau se produit à chaque exécution du processus de prévision, c’est la répétition trimestrielle de nos hyperparamètres qui permet des ajustements plus fondamentaux. Un changement important et continu des tendances peut déclencheur un retour au travail plus tôt que prévu. Par exemple, si nous constateons que la performance d’un modèle a subi une dégradation depuis plusieurs semaines, nous déclencheur manuellement un retour pour voir si un ensemble de paramètres différent pourrait aider le modèle à mieux saisir la nouvelle réalité. Il s’agit de notre principal mécanisme d’ajustement de la aptitude d’adaptation du modèle.
- Quels mécanismes sont mis en place pour détecter et traiter les « déviations » du modèle (lorsque les prévisions du modèle deviennent moins précises au fil du temps en raison de changements dans la distribution des données)?
- Nous reconnaissons que les données du monde réel auxquelles sont confrontés nos modèles sont en constante évolution. Cela peut mener à une dérive du modèle, où la précision prédictive d’un modèle diminue au fil du temps en raison de changements dans les modèles de données sous-jacents. Pour gérer cela efficacement, nous employons une stratégie fondée sur la visualisation interne, l’analyse de données et des enquête d’expertise.Notre approche de la gestion des worktags
- Outils de visualisation interne et de structure de données - Nos équipes techniques utilisent des outils internes et des visualisations dédiés pour rechercher activement des changements dans les modèles de données pouvant indiquer des dérives.
- Visualisation des structures : Nous examinons manuellement les graphiques et les tableaux de bord qui présentent les propriétés statistiques des données entrantes. Cela nous permet d’examiner visuellement les changements ou anomalies qui se produisent dans les fonctions que le modèle utilise pour faire des prédictions.
- Analyse des erreurs : Nous analysons précisément où et pourquoi le modèle commet un nouveau type d’erreur. Ce rapport pratique nous aide à déterminer si le modèle rencontre des schémas sur lesquels il n'a jamais été effectué d'entraînement.
- Correction (entraînement du modèle) - Une fois la dérive repérée, nous prenons immédiatement des mesures pour entraîner le modèle de nouveau.
- Nous recueillons les données les plus récentes et les plus représentatives à l’origine du quart.
- Le modèle est ensuite entraîné à nouveau à ce nouveau jeu de données mis à jour pour apprendre les tendances actuelles du monde réel.
- Cette nouvelle version corrigée est ensuite déployée pour rétablir l’exactitude et le rendement.
Nous misons sur des analyses manuelles d’experts à l’aide d’outils de visualisation internes puissants pour déterminer, diagnostiquer et corriger efficacement la dérive de modèle, ce qui nous permet de mettre à jour des normes d’exactitude précises. - Jusqu’à quelle date du jour (que ce soit en temps absolue ou à des intervalles membre de la famille ) pouvons-nous effectuer des prévisions et avec quelle précision?
- Nos capacités de prévision sont optimisées pour fournir des informations prédictives dans une fenêtre précise et efficace, et la précision attendue dépendance largement des facteurs propres à vos données.Nous pouvons compter de façon fiable jusqu’à un maximum de huit semaines (deux mois) pour le futur. Cet horizon garantit que les prévisions se fondent sur des données récentes et mettre à jour un niveau pratique de pertinence et de précision pour vos besoins en planification .Notre précision varie en fonction d’un certain nombre de facteurs clés, mais nous obtenez généralement des résultats robustes dans la plupart des projections :
- Information générale : Par le passé, nous avons atteint une précision de 70 % ou plus pour la plupart des indicateurs que nous prévoyons.
- Facteurs de contrôle : l’exactitude est très variable et dépend de plusieurs éléments essentiels :
- Qualité des données : fiabilité et exactitude des données historiques disponibles pour un indicateur donné.
- Période temporelle : les prévisions à court terme présentent généralement une plus grande précision que celles projetées pour la limite de 8 semaines.
- Complexité des indicateurs : Des facteurs tels que la saisonnalité, l’ n Work n
- Quelle est la norme de qualité de l’industrie en matière d’exactitude? Quelle est la norme de Workday?
- Le concept de norme unique de « bonne exactitude » n'est pas universel dans l'ensemble du secteur, car les niveaux d'exactitude acceptables varient considérablement selon le type d'indicateur, le secteur d'activité et la volatilité de la demande. Notre norme repose sur un rendement éprouvé et est structurée de manière à fournir des projections fiables pour votre entreprise.Il n’y a pas de référence fixe et unique de précision des prévisions qui s’applique à tous les secteurs d’activité. Ce qui est considéré comme « bon » dépend des éléments suivants :
- Indicateurs et volatilité : Un indicateur hautement stable (comme un contrat d’approvisionnement à long terme) peut souvent atteindre une précision de 90 % et plus, tandis que des indicateurs hautement volatiles (comme les ventes de nouveaux produits influencés par la saisonnalité ou les promotions) peuvent considérer le fait d’un indicateur de précision de 70 % comme étant excellent.
- Horizon temporel : l’exactitude diminue automatiquement à mesure que vous faites des prévisions.
- Intervalle d’heures : L’exactitude peut varier en fonction de la plage de temps utilisée pour l’analyse, en particulier dans des situations où des valeurs aberrantes extrêmes sont présentes.
- Indicateur d'exactitude utilisé : la formule utilisée (p. ex., MIME, WPEV) a une incidence sur le pourcentage résultant. En interne, nous calculons la précision comme suit :Information sur le pourcentage d'exactitude = 100 × ( ∑n résultats d' d' d' d d de d de d d d d d d d d d d d d d d d d accès aussi sur à à par aussi 100) / ∑Actual × 100)
La norme interne de Workday repose sur le rendement éprouvé de nos modèles à l’échelle de diverses données de client :- Norme de Workday : nous avons pu obtenir une précision de 70 % ou plus pour la plupart des indicateurs que nous prévoyons.
- Rendement variable : Nous atteignent cette cible même en gérant la complexité des facteurs de vos données, tels que :
- La qualité et la régularité des données historiques disponibles.
- Le degré de saisonnalité, d'granularité ou de volatilité inhérente à l'indicateur prévisionnel précis.
- La période temporelle spécifique et le niveau de détail de l’organisation (p. ex., commande de client et famille de produits) en cours d’analyse.
En atteignant ou en dépassant le seuil de 70 % pour la plupart des indicateurs, nous nous assurons que la plupart de vos prévisions sont suffisamment fiables pour permettre une prise de décisions opérationnelles et financières efficaces.