FAQ: 모델 적응력 및 유지관리

Workday의 머신러닝 (ML) 모델은 매번 예측을 실행할 때마다 재학습되므로 최신 데이터를 사용해 최신 예측을 생성합니다. 예측할 때마다 재학습을 진행하면 모델에 최신 정보가 통합되며 새로운 패턴이나 트렌드가 등장하는 즉시 이를 포착하여 예측의 정확성을 유지합니다.

모델의 하이퍼파라미터(예: 학습률, 배치 크기 등)는 매 분기 다시 조정됩니다. 이 프로세스는 특정 메트릭에서 모델의 성능을 최적화하기 위한 심층적인 조정입니다. 정기적으로 초매개변수를 조정하면 모델이 오류 최소화 또는 정확도 최대화와 같은 핵심성과지표(KPI)와 일관되게 일치하도록 보장할 수 있습니다.

머신러닝 모델이 트렌드의 중요하고 지속적인 변경 에 영향 하는 데 걸리는 시간은 고정되어 있지 않습니다. 이는 동적 프로세스이며, 여러 요인에 따라 달라지지만 주요 고려사항만 개요 수 있습니다.

실질적인 의미에서 예측 모델이 주요 시장 변동에 완전히 영향 하고 조정하는 데는 보통 몇 주에서 몇 개월이 소요되지만, 메트릭과 해당 데이터 이력에 따라 더 빠르거나 느려질 수 있습니다. 그 이유는 모델의 학습 및 적응 능력 변경 반영하는 새로운 데이터의 수강가능 시기 과 관련되어 있기 때문입니다.

반응 시간에 영향을 미치는 주요 요인으로는 데이터 속도와 재연수 빈도가 있습니다. 재연수 스케줄은 모델의 영향 능력 을 결정하는 가장 중요한 요소입니다. 이 모델은 다음에 예측 프로세스를 실행할 때 바로 새로운 데이터와 새로운 트렌드를 파악하기 시작합니다. 그러나 이 새로운 데이터가 교육 세트의 상당한 부분을 구성하려면 시간이 걸립니다. 일주일 간의 데이터를 통해 명확하게 확인할 수 있는 큰 변화는 몇 년간의 과거 데이터로 훈련된 모델의 극히 일부일 수도 있습니다.

급격한 교대근무: 팬데믹 관련 잠금과 같은 이벤트는
쇼크 이벤트
입니다. 모델의 성능은 당사의 모니터링 시스템에서 감지되므로 즉시 성능이 저하되지만 새로운 데이터가 수집되고 모델이 새로운 이벤트 후 패턴을 학습하려면 시간이 걸립니다.
점진적이고 지속적인 교대근무: 신제품 출시나 시장의 변화가 더딘 경우에는 모델이 점진적으로 적응할 수 있습니다. 재연수 프로세스는 사용 가능한 최신 데이터가 늘어나면 모델이 새로운 트렌드를 점진적으로 학습하는 데 도움이 됩니다.
모델의 메모리: 교육 에 사용되는 이전 데이터의 길이는 매우 중요합니다. 5년간의 데이터로 훈련된 모델은 1년 동안의 데이터로 훈련된 모델보다 이전 트렌드를 잊어 버린 데 시간이 더 걸립니다. 주요 이동이 있는 시나리오에서는 모델의 적응을 가속화하기 위해 가장 오래된 데이터 중 일부를 의도적으로 삭제하거나 가장 최근 데이터에 더 적극적인 가중치 적용해야 할 수 있습니다.
재조정의 역할: 재연수 예측 프로세스를 재실행할 때마다 이루어지지만, 분기별로 초매개변수를 재조정함으로써 더 근본적인 조정이 가능합니다. 트렌드에 지속적으로 유의미한 변경 발생하면 예정된 것보다 일찍 조정이 트리거 될 수 있습니다. 예를 들어 모델의 성능이 몇 주 동안 계속해서 저하된 것을 확인했다면, 수동으로 재조정을 트리거 다른 매개변수 세트가 모델이 새로운 현실을 더 잘 파악하는 데 도움이 되는지 확인했습니다. 이는 모델의 능력 을 "조정"하는 기본 메커니즘입니다.

모델이 접하는 실제 데이터는 끊임없이 진화하고 있습니다. 이로 인해 시간이 지남에 따라 기본 데이터 패턴의 변경으로 인해 모델의 예측 정확도가 저하되는 모델 드리프트가 발생할 수 있습니다. 이를 효과적으로 관리하기 위해 내부 viz, 데이터 패턴 분석 및 전문가 조사 에 기반한 전략을 사용합니다.

드리프트 관리에 대한 Workday의 접근 방식

내부 시각화 및 데이터 패턴 도구 - Workday 기술 팀은 전담 내부 도구와 시각화를 사용하여 데이터 패턴에서 드리프트를 나타낼 수 있는 이동을 적극적으로 찾습니다.
패턴 시각화: 수신 데이터의 통계적 속성을 보여주는 차트와 대시보드를 수동으로 검토합니다. 이렇게 하면 모델이 예측에 사용하는 특성에 예상치 못한 변경이나 변이값이 있는지 육안으로 검사할 수 있습니다.
오류 분석: 모델에서 새로운 유형의 오류가 발생하는 위치와 이유를 구체적으로 분석합니다. 이 실무 리뷰는 모델에 학습되지 않은 패턴이 발생하는지 진단하는 데 도움이 됩니다.
수정(모델 재학습) - 드리프트가 식별되면 즉시 모델을 재학습하는 단계를 수행합니다.
교대근무를 발생시킨 가장 대표적인 최신 데이터를 수집합니다.
그런 다음 모델을 이 새로운 업데이트된 데이터세트에서 재학습하여 현재의 실제 패턴을 학습합니다.
그런 다음 수정된 이 새로운 버전을 배포하여 정확도와 성능을 복원 .

당사는 강력한 내부 viz 도구를 사용하는 전문가의 수작업 분석을 활용하여 모델 드리프트를 효율적으로 식별, 진단 및 수정하므로 높은 수준의 정확도를 유지관리 합니다.

Workday의 예측 기능은 구체적이고 효과적인 기간 내에 예측 인사이트 제공하도록 최적화되어 있으며, 예상되는 정확도는 고객 데이터의 고유한 요소에 크게 가족 됩니다.

향후 최대 8주(2개월)까지의 기간을 확실하게 예측할 수 있습니다. 이 기간을 사용하면 예측이 최근 데이터를 기반으로 하고 계획 요구사항에 대한 실용적인 수준의 관련성과 정확성을 유지관리 .

정확도는 여러 핵심 요소에 따라 달라지지만, 일반적으로 다음과 같은 대부분의 예측에서 견고한 결과를 달성합니다.

일반 정확도: 지금까지 당사에서 예측한 대부분의 메트릭에서 70% 이상의 정확도를 달성했습니다.
제어 요소: 정확도는 매우 변수 이며 다음과 같은 몇 가지 중요한 요소에 따라 달라집니다.
데이터 품질: 과거 데이터의 신뢰성과 완성도를 특정 메트릭에서 사용할 수 있는지 여부를 나타냅니다.
기간: 일반적으로 단기 예측의 정확도가 8주 한도로 예상되는 것보다 높습니다.
메트릭 복잡성: 계절적 변동, 데이터희소성 및 측정 대상 메트릭(예: 판매 주문, 재고 등)의 고유한 안정성과 같은 요인은 모두 달성 가능한 정확도에 영향을 미칩니다.

Workday는 이렇게 정의된 8주의 기간 내에 가능한 한 가장 정확한 예측을 제공하기 위해 모델을 지속적으로 모니터링하고 세분화 .

허용 가능한 정확도 수준이 메트릭 유형, 업종 및 수요 변동성에 따라 크게 다르기 때문에 하나의 '우수한 정확도' 표준이라는 개념이 업계 전반에 걸쳐 보편적인 것은 아닙니다. 당사의 표준은 검증된 성과를 기준으로 정의되며, 비즈니스에 신뢰할 수 있는 예측을 제공하도록 구조화되어 있습니다.

모든 업종에 적용되는 예측 정확도에 대한 단일의 고정된 벤치마크는 없습니다. "양호" 여부는 다음에 따라 달라집니다.

메트릭 및 변동성: 장기 공급 계약 과 같이 매우 안정적인 메트릭은 종종 90% 이상의 정확도를 달성할 수 있지만, 반면에 매우 변동성이 큰 메트릭(예: 신제품 판매는 계절적 변동 또는 프로모션에 의해 영향을 받음)은 70% 정확도가 우수함을 나타냅니다.
시간의 지평: 정확도는 예상을 벗어나면 자연스럽게 줄어듭니다.
시간 범위: 정확도는 분석에 사용된 기간에 따라 변동될 수 있으며, 특히 극단적인 이상치가 있는 경우에는 그러합니다.
사용된 정확도 메트릭: 사용된 수식(예: MAPE, WMPE)에 따라 결과 백분율이 달라집니다. 내부적으로 다음과 같이 정확도를 계산합니다.
% 정확도 = 100 ≦

일반적으로 비즈니스 환경에서, 정확도가 70% 이상이면 계획 위한 견고하고 신뢰할 수 있는 기반으로 간주됩니다. 실제 수요에 내재된 불확실성을 다룰 때 더욱 그러합니다.

Workday의 내부 표준은 당사 모델들이 다음과 같은 다양한 범위 의 고객, 고객사 데이터에 걸쳐 입증한 강력한 성능을 기반으로 합니다.

Workday 표준: 당사에서 예측한 대부분의 메트릭에서 70% 이상의 정확도를 달성할 수 있었습니다.
가변 성과: 다음과 같은 데이터 요소의 복잡성 관리하면서조차 이 대상 달성합니다.
사용가능한 과거 정보의 데이터 품질 및 일관성
예측할 특정 메트릭의 계절성, 드문드문 또는 고유한 변동성의 정도입니다.
분석할 조직 세부내용의 특정 기간 및 수준(예: 판매 주문과 제품군)

대부분의 메트릭에서 70% 한도를 지속적으로 충족하거나 초과함으로써 예측의 대부분이 효과적인 운영 및 재무 의사결정에 충분히 신뢰할 수 있음을 보장합니다.