Preguntas frecuentes: adaptabilidad y mantenimiento del modelo
- ¿Con qué frecuencia reevaluamos y potencialmente volvemos a entrenar o cambiamos los algoritmos de previsión para los clientes existentes? ¿Qué desencadena esta revaluación (p. ej., degradación del desempeño, cambios significativos de datos, disponibilidad de nuevos datos)?
- Reevaluamos periódicamente nuestros algoritmos de previsión para los clientes existentes a fin de garantizar su precisión y eficacia continuas. Nuestro enfoque se divide en dos actividades principales: el reciclaje profesional y el nuevo ajuste, cada una con su propia cadencia y sus propios activadores.Nuestros modelos de aprendizaje automático (ML) se vuelven a entrenar en cada ejecución de previsión para generar las previsiones más actuales con los datos más recientes. El reentrenamiento cada vez que hacemos previsiones garantiza que nuestros modelos incorporen la información más reciente y capturen cualquier nuevo patrón o tendencia tan pronto como surja, lo que mantiene la precisión de nuestras predicciones.Los hiperparámetros (por ejemplo, tasa de aprendizaje, tamaño de lote, etc.) de nuestros modelos se vuelven a ajustar trimestralmente. Este proceso es un ajuste más profundo destinado a optimizar el rendimiento del modelo en una métrica específica. Al ajustar los hiperparámetros de forma periódica, podemos garantizar que el modelo se alinee de forma coherente con nuestros indicadores clave de rendimiento, como la minimización de error o la maximización de la precisión.
- Si se produce un cambio (noun), cambiar (verb) significativo y sostenido en las tendencias subyacentes (por ejemplo, el lanzamiento de un nuevo producto, un cambio importante en el mercado o un evento global como una pandemia), ¿cuánto tarda normalmente el modelo de machine learning en reaccionar y ajustar sus previsiones para reflejan estas nuevas tendencias?
- El tiempo que tarda un modelo de aprendizaje automático en reaccionar ante un cambio (noun), cambiar (verb) significativo y sostenido en las tendencias no es un número fijo. Es un proceso dinámico que depende de varios factores, pero podemos esquema las consideraciones clave.En la práctica, un modelo de previsión suele tardar de semanas a meses en reaccionar y ajustarse por completo a un cambio importante en el mercado, pero puede ser más rápido o más lento en función de la métrica y sus datos históricos. Esto se debe a que la destreza del modelo para aprender y adaptarse está vinculada a la disponibilidad de nuevos datos que reflejen el cambio (noun), cambiar (verb).Algunos factores clave que influyen en el tiempo de reacción son la velocidad de los datos y la frecuencia del reciclaje profesional . Nuestro programa de reciclaje profesional es el factor más importante en la destreza de reaccionar de un modelo . El modelo comienza a ver los nuevos datos (y la tendencia emergente) la próxima vez que se ejecuta el proceso de previsión. Sin embargo, lleva tiempo que estos nuevos datos constituyan una parte significativa del conjunto de formación . Un cambio importante que es claramente visible en una semana de datos podría representar solo una pequeña fracción de un modelo entrenado en varios años de datos históricos.
- Cambios repentinos y drásticos: eventos como un confinamiento relacionado con una pandemia soneventos impactantes. Si bien el rendimiento del modelo se degradará casi de inmediato (como detectarían nuestros sistemas de supervisión), llevará tiempo recopilar los nuevos datos y que el modelo aprenda los nuevos patrones posteriores al evento.
- Cambios graduales y sostenidos: el lanzamiento de un nuevo producto o un cambio lento en el mercado permiten que el modelo se adapte de forma más progresiva. Nuestro proceso de reciclaje profesional ayudará al modelo a aprender gradualmente la nueva tendencia a medida que haya más datos disponibles y más recientes.
- La memoria del modelo: la longitud de los datos históricos utilizados en el formación es crucial. Un modelo entrenado con cinco años de datos tardará más en olvidar las tendencias anteriores que un modelo entrenado con un año de datos. En un escenario con un cambio importante, puede ser necesario olvidar conscientemente algunos de los datos más antiguos o aplicar una ponderación más agresiva a los datos más recientes para acelerar la adaptación del modelo.
- El rol del reajuste: aunque el reciclaje profesional se produce cada vez que se vuelve a ejecutar el proceso de previsión, es el reajuste trimestral de nuestros hiperparámetros lo que permite ajustes más fundamentales. Un cambio (noun), cambiar (verb) significativo y sostenido en las tendencias puede activador un nuevo ajuste antes de lo programado. Por ejemplo, si vemos que el rendimiento de un modelo se ha degradado de forma constante durante varias semanas, activador manualmente un nuevo ajuste para ver si un conjunto diferente de parámetros podría ayudar al modelo a capturar mejor la nueva realidad. Este es nuestro principal mecanismo para "ajustar" la destreza de adaptación del modelo.
- ¿Qué mecanismos existen para detectar y abordar la "desviación" del modelo (cuando las predicciones del modelo se vuelven menos precisas con el tiempo debido a cambios en la distribución de datos)?
- Reconocemos que los datos del mundo real que encuentran nuestros modelos evolucionan constantemente. Esto puede provocar una desviación del modelo, en la que la precisión predictiva de un modelo se degrada con el tiempo debido a cambios en los patrones de datos subyacentes. Para gestionar esto de forma eficaz, empleamos una estrategia basada en la visualización interna , el análisis de patrones de datos y la investigación de expertos .Nuestro enfoque de la gestión de desviaciones
- Herramientas de visualización interna y patrones de datos: nuestros equipos técnicos utilizan herramientas y visualizaciones internas específicas para buscar activamente cambios en los patrones de datos que puedan indicar una desviación.
- Visualización de patrones: revisamos manualmente los diagramas y los tableros de control que muestran las propiedades estadísticas de los datos entrantes. Esto nos permite inspeccionar visualmente cambios inesperados o anomalías en las funciones que utiliza el modelo para hacer predicciones.
- Análisis de errores: analizamos específicamente dónde y por qué el modelo comete nuevos tipos de errores. Esta revisión práctica nos ayuda a diagnosticar si el modelo encuentra patrones en los que nunca se entrenó.
- Remediación (reentrenamiento del modelo): una vez que se identifica la desviación, tomamos medidas inmediatamente para volver a entrenar el modelo.
- Recopilamos los datos más recientes y representativos que provocaron el cambio.
- A continuación, el modelo se vuelve a entrenar en este nuevo conjunto de datos actualizado para aprender los patrones actuales del mundo real.
- A continuación, se implementa esta nueva versión corregida para restaurar la precisión y el rendimiento.
Confiamos en análisis manuales expertos que utilizan potentes herramientas de visualización interna para identificar, diagnosticar y corregir de manera eficiente la desviación del modelo, lo que garantiza que mantenimiento (noun), mantener (verb) altos estándares de precisión. - ¿A qué distancia del futuro (ya sea en tiempo absoluto o en intervalos familiar ) podemos prever y con qué precisión?
- Nuestras capacidades de previsión están optimizadas para proporcionar insights predictivos dentro de una ventana específica y efectiva, y la precisión esperada dependiente en gran medida de los factores exclusivos de sus datos.Podemos prever de forma fiable hasta un máximo de ocho semanas (dos meses) en el futuro. Este horizonte garantiza que las predicciones se basen en datos recientes y mantenimiento (noun), mantener (verb) un nivel práctico de relevancia y precisión para sus necesidades de planificación .Nuestra precisión varía en función de una serie de factores clave, pero por lo general logramos resultados sólidos en la mayoría de las previsiones:
- Precisión general: históricamente hemos logrado una precisión del 70 % o más para la mayoría de las métricas que prevemos.
- Factores de control: la precisión es muy variable y depende de varios elementos críticos:
- Calidad de datos: la fiabilidad y la integridad de los datos históricos disponibles para una métrica específica.
- Periodo temporal: las previsiones a más corto plazo suelen tener una precisión más alta que las proyectadas hacia el límite de 8 semanas.
- Complejidad de la métrica: factores como la estacionalidad, la escasez de datos y la estabilidad inherente de la métrica que se mide (por ejemplo, órdenes de venta, inventario, etc.) afectan a la precisión alcanzable.
- ¿Cuál es el estándar del sector para una buena precisión? ¿Cuál es el estándar de Workday?
- El concepto de un único estándar de "buena precisión" no es universal en todo el sector, ya que los niveles de precisión aceptables varían mucho según el tipo de métrica, el sector y la volatilidad de la demanda. Nuestro estándar se define por nuestro desempeño probado y está estructurado para ofrecer previsiones fiables para su empresa.No existe una referencia única y fija para la precisión de las previsiones que se aplique a todos los sectores. Lo que se considera "bueno" depende de:
- Métrica y volatilidad: una métrica muy estable (como un contrato de suministro a largo plazo) puede alcanzar a menudo una precisión superior al 90 %, mientras que las métricas muy volátiles (como las ventas de nuevos productos influenciadas por la estacionalidad o las promociones) pueden considerar una precisión del 70 % como excelente.
- Horizonte temporal: la precisión disminuye naturalmente cuanto más se aleje la previsión.
- Intervalo temporal: la precisión puede fluctuar en función del marco temporal utilizado para el análisis, especialmente en situaciones en las que hay valores atípicos extremos.
- Métrica de precisión utilizada: la fórmula utilizada (por ejemplo, MAPE, WMAPE) afecta al porcentaje resultante. Internamente, calculamos la precisión como:Porcentaje de precisión = 100 − ( ∑∣Previsto−Real∣ / ∑Real ×100)
El estándar interno de Workday se basa en el sólido rendimiento que han demostrado nuestros modelos en una amplia rango de datos de cliente :- Estándar de Workday: hemos podido lograr una precisión del 70 % o más para la mayoría de las métricas que prevemos.
- Desempeño variable: logramos este objetivo incluso al gestionar la complejidad de los factores en sus datos, como:
- La calidad de los datos y la coherencia de la información histórica disponible.
- El grado de estacionalidad, escasez o volatilidad inherente en la métrica específica que se prevé.
- El periodo temporal específico y el nivel de detalle de organización (por ejemplo, orden de venta frente a familia de productos) que se están analizando.
Al alcanzar o superar de forma sistemática el umbral del 70 % en la mayoría de las métricas, nos aseguramos de que la gran mayoría de sus previsiones sean lo suficientemente fiables para tomar decisiones operativas y financieras eficaces.