Perguntas frequentes: adaptabilidade e manutenção do modelo
- Com que frequência reavaliamos e, potencialmente, reciclagem ou mudamos os algoritmos de previsão para clientes existentes? O que aciona esta reavaliação (por exemplo, degradação de desempenho, turnos significativos de dados, disponibilidade de novos dados)?
- Reavaliamos regularmente nossos algoritmos de previsão para clientes existentes a fim de garantir sua precisão e eficácia contínuas. Nossa abordagem é dividida em duas atividades principais: reciclagem profissional e reciclagem, cada uma com sua própria frequência e acionadores.Nossos modelos de aprendizado de máquina são treinados novamente a cada execução de previsão para gerar as previsões mais atuais usando os dados mais recentes. A reciclagem profissional todas as vezes que realizamos previsões garante que nossos modelos incorporem as informações mais recentes e capturem quaisquer novos padrões ou tendências assim que surgem, mantendo a precisão de nossas previsões.Os hiperparâmetros (por exemplo, taxa de aprendizado, tamanho do lote etc.) dos nossos modelos são reajustados trimestralmente. Esse processo é um ajuste mais profundo que tem como objetivo otimizar o desempenho do modelo em uma métrica específica. Ajustando os hiperparâmetros regularmente, podemos garantir que o modelo esteja consistentemente alinhado com nossos indicadores-chave de desempenho, como minimizar erro ou maximizar a precisão.
- Se houver uma alterar significativa e persistente nas tendências subjacentes (por exemplo, o lançamento de um novo produto, uma grande mudança de mercado ou um evento global como uma contção de cont pessoas a uma maior taxa de doença), quanto tempo normalmente leva para o modelo de aprendizado de máquina reagir e ajustar suas previsões de acordo com refletem essas novas tendências?
- O tempo que leva para um modelo de aprendizado de máquina reagir a uma alterar significativa e contínua nas tendências não é um número fixo. É um processo dinâmico que depende de vários fatores, mas podemos estrutura hierárquica as principais considerações.Na prática, normalmente leva de semanas a alguns meses para que um modelo de previsão reaja e se ajuste totalmente a uma grande mudança do mercado, mas pode ser mais rápido ou mais lento dependendo da métrica e de seus dados históricos. Isso ocorre porque a conhecimento do modelo de aprender e se adaptar está vinculada à disponibilidade de novos dados que refletem a alterar.Alguns fatores-chave que influenciam o tempo de reação são a velocidade dos dados e a frequência de reciclagem profissional . Nossa programação de reciclagem profissional é o fator mais importante na conhecimento de reagir de um modelo. O modelo começa a ver os novos dados - e a tendência emergente - já na próxima vez em que o processo de previsão é executado. No entanto, leva tempo para que esses novos dados registrem uma parte significativa do conjunto de treinamento . Uma grande mudança, visível em uma semana de dados, pode representar apenas uma pequena fração de um modelo treinado em vários anos de dados históricos.
- Turnos rápidos e inesperados: eventos como um bloqueio relacionado a uma Covid-10 sãoeventos de impacto: . Embora o desempenho do modelo seja degradado quase que imediatamente (como nossos sistemas de monitoramento detectariam), levará algum tempo para que os novos dados sejam coletados e para que o modelo aprende com os novos padrões pós-evento.
- Turnos graduais e contínuos: o lançamento de um novo produto ou um turno de mercado lento permite que o modelo se adapte de forma mais incremental. Nosso processo de reciclagem profissional ajudará o modelo a aprender gradualmente a nova tendência, à medida que dados mais e mais recentes forem disponibilizados.
- A memória do modelo: o comprimento dos dados históricos usados no treinamento é crucial. Um modelo treinado com cinco anos de dados levará mais tempo para esquecer as tendências anteriores do que um modelo treinado com um ano de dados. Em um cenário com uma grande mudança, pode ser necessário esquecer voluntariamente alguns dos dados mais antigos ou aplicar ponderação mais agressivo aos dados mais recentes para acelerar a readaptação do modelo.
- A função do novo ajuste: embora o reciclagem profissional ocorra sempre que o processo de previsão é executado novamente, é o novo ajuste trimestral de nossos hiperparâmetros que permite ajustes mais fundamentais. Uma alterar significativa e contínua nas tendências pode acionador um novo ajuste antes do programado. Por exemplo, se observamos que o desempenho de um modelo foi degradado de forma consistente por várias semanas, acionamos manualmente um acionador de calibração para verificar se um conjunto diferente de parâmetros pode ajudar o modelo a capturar melhor a nova situação. Este é o nosso mecanismo principal para "ajustar" a conhecimento do modelo de se adaptar.
- Quais mecanismo estão em vigor para detectar e resolver o "desvio" do modelo (quando as previsões do modelo se tornam menos precisas com o tempo devido a alterações na distribuição de dados)?
- Reconhecemos que os dados do mundo real encontrados pelos nossos modelos estão em constante evolução. Isso pode levar ao deslocamento do modelo, em que a precisão preditiva de um modelo se degrada com o tempo devido a alterações nos padrões de dados subjacentes. Para gerenciar isso com eficácia, empregamos uma estratégia com base na visualização interna , análise de padrão de dados e investigação especializada .Nossa abordagem à gestão de deriva
- Ferramentas de visualização interna e de padrão de dados: nossas equipes técnicas usam ferramentas e visualizações internas dedicadas para procurar ativamente turnos nos padrões de dados que podem indicar desvio.
- Visualização de padrão: revisamos manualmente gráficos e painéis que mostram as propriedades estatísticas dos dados recebidos. Isso nos permite monitorar visualmente alterações inesperadas ou anomalias nas funcionalidades que o modelo usa para fazer previsões.
- Análise de erros: analisamos especificamente onde e por que o modelo está causando novos tipos de erros. Esta avaliação prática nos ajuda a diagnosticar se o modelo está encontrando padrões nos quais nunca foi treinado.
- Correção (novo treinamento do modelo) - Assim que o deslocamento é identificado, imediatamente executamos as etapas para um novo treinamento do modelo.
- Coletamos os dados mais recentes e representativos que causaram o turno.
- O modelo é então treinado novamente nesse conjunto de dados novo e atualizado para aprender os padrões atuais do mundo real.
- Esta nova versão corrigida é então implantada para restaurar a precisão e o desempenho.
Contamos com a análise manual de especialistas usando avançadas ferramentas de visualização interna para identificar, diagnosticar e corrigir o deslocamento do modelo com eficiência, garantindo a manter de altos padrões de precisão. - Até que data no futuro (em tempo absoluto ou intervalos parente ) podemos fazer previsões e com que precisão?
- Nossos recursos de previsão são otimizados para fornecer insights preditivos em uma janela específica e efetiva, e a precisão esperada dependente altamente dos fatores exclusivos de seus dados.Podemos prever de forma confiável até oito semanas (dois meses) no futuro. Esse horizonte garante que as previsões se baseiam em dados recentes e manter um nível prático de relevância e precisão para suas necessidades de planejamento .Nossa precisão varia com base em vários fatores-chave, mas geralmente conseguimos resultados robustos na maioria das projeções:
- Precisão geral: temos alcançado uma precisão de 70% ou mais para a maioria das métricas que prevêmos.
- Fatores de controle: a precisão é altamente variável e depende de vários elementos essenciais:
- Qualidade dos dados: a confiabilidade e a integridade dos dados históricos disponíveis para uma métrica específica.
- Período temporal: as previsões de curto prazo geralmente exibem maior precisão do que as projetadas para o limite de 8 semanas.
- Complexidade da métrica: fatores como sazonalidade, escassez de dados e a estabilidade inerente da métrica que está sendo medida (por exemplo, pedidos de venda, estoque etc.) afetam a precisão possível.
- Qual é o padrão do setor para boa precisão? Qual é o padrão do Workday?
- O conceito de um único padrão de "boa precisão" não é universal em todo o setor, uma vez que os níveis de precisão aceitáveis variam muito de acordo com o tipo de métrica, setor e volatbilidade da demanda. Nosso padrão é definido por nosso desempenho aprovado e está estruturado para fornecer projeções confiáveis para sua empresa.Não há referência única e fixa para a precisão das previsões que se aplique a todos os setores. O que é considerado "bom" depende de:
- Métrica e volátil: uma métrica altamente estável (como um contrato de fornecedor de longo prazo) geralmente pode atingir 90% de precisão, enquanto métricas altamente voláteis (como vendas de novos produtos reguladas por sazonalidade ou promoções) podem considerar 70% de precisão como excelente.
- Horizonte temporal: a precisão diminui automaticamente à medida que você prevê.
- Intervalo de tempo: a precisão pode flutuar dependendo do intervalo de tempo usado para análise, especialmente em situações em que valores atípicos excessivos estão presentes.
- Métrica de precisão usada: a fórmula usada (por exemplo, MAPE, WMAPE) afeta o percentual resultante. Internamente, calculamos a precisão como:Precisão do percentual = 100 algum ( ∑∈Previsto atualmente atualmente / ∑Real ×100)
O padrão interno do Workday é baseado no desempenho robusto que nossos modelos demonstram em uma ampla intervalo de dados de cliente :- Padrão do Workday: conseguimos obter uma precisão de 70% ou mais para a maioria das métricas que previstas.
- Desempenho variável: atingimos esse alvo mesmo gerenciando a complexidade de fatores em seus dados, como:
- A qualidade dos dados e a consistência das informações históricas disponíveis.
- O grau de sazonalidade, distribuição ou vulnerabilidade inerente na métrica específica que está sendo prevista.
- O período temporal específico e o nível de detalhes organizacionais (por exemplo, Pedido de venda X Família de produtos) que está sendo analisado.
Ao atingir ou exceder de forma consistente o limite de 70% na maioria das métricas, podemos garantir que a grande maioria de suas previsões seja suficiente confiável para uma tomada de decisão operacional e financeira eficaz.