常见问题：模型适应性和维护
- 我们多久为现有客户重新评估一次，并且可能需要重新训练或切换一次预测算法？哪些因素会触发此重新评估（例如，性能下降、重大数据转移、新数据可用）？
- 我们会定期为现有客户重新评估我们的预测算法，确保其持续准确有效。我们的方法分为两个主要活动：重新训练和重新调整，每项活动都有自己的节奏和触发器。我们的机器学习 (ML) 模型会在每次预测操作中重新训练，以使用最新数据生成最新预测。每次进行预测时都会进行重新训练，这可确保我们的模型纳入最新的信息，并在任何新模式或趋势出现时立即捕捉它们，从而保持预测的准确性。我们每季度重新调整模型的超参数（例如，学习速率、批大小等）。此流程属于更深层次的调整，旨在优化模型在特定指标上的性能。通过定期调整超参数，我们可以确保模型始终与我们的关键绩效指标保持一致，例如最大限度地减少错误或最大限度地提高准确度。
- 如果基本趋势发生持续的重大变化（例如，新产品发布、重大市场转变或疫情等全球性事件），机器学习模型通常需要多长时间才能做出反应并根据实际情况调整其预测能否反映这些新趋势？
- 机器学习模型对趋势的重大持续变化做出反应所需的时间并不是一个固定的数字。这是一个动态流程，取决于多个因素，但我们可以概述一些需要考虑的关键因素。实际上，预测模型通常需要数周到数月的时间才能对重大的市场变化完全做出反应并进行调整，但根据指标及其历史数据，这个过程也可能更快或更慢。这是因为模型的学习和适应能力取决于是否可以获得反映变化的新数据。数据传输速度和重新训练频率是影响反应时间的一些关键因素。重新训练时间表是决定模型反应能力的最重要因素。下一次运行预测流程时，该模型就会开始看到新数据以及正在出现的趋势。但是，这些新数据需要一些时间才能成为训练集的重要组成部分。在使用数年历史数据训练的模型中，一周的数据就能够清晰可见的重大转变可能只代表一小部分。
- 突如其来的激烈转变：诸如因新冠疫情而采取的封城措施等事件都属于休克事件。虽然模型的性能几乎会立即下降（我们的监控系统会检测到这一点），但收集新数据以及模型学习新的事件后模式都需要时间。
- 持续且渐进的转变：新产品发布或市场缓慢转变，都可以让模型以增量方式进行更多调整。我们的重新训练流程将帮助模型随着越来越多的最新数据逐渐学习新趋势。
- 模型的内存：训练中使用的历史数据的长度至关重要。与使用一年数据训练的模型相比，使用五年数据训练的模型需要更长的时间才能忘记原有趋势。在发生重大转变的情景中，可能有必要有意无意地忘记一些最早的数据，或者对最近的数据应用更积极的权重，以加速模型的适应。
- 重新调整的作用：虽然每次重新运行预测流程时都会发生重新调整，但是我们每季度重新调整超参数才允许进行更多基础性的调整。趋势方面的持续重大变化可能会触发重新调整的时间早于排定的时间。例如，如果发现一个模型的性能连续几周下降，我们会手动触发重新调优，以查看一组不同的参数是否可以帮助模型更好地捕捉新的实际情况。这是我们“调优”模型适应能力的主要机制。
- 有哪些机制来检测和解决模型“偏移”（模型的预测由于数据分布变化而随着时间的推移而不再那么准确）？
- 我们认识到，我们的模型会接触到的实际数据在不断演变。这可能会导致模型偏差，即，由于基础数据模式的变化，模型的预测准确度会随着时间的推移而降低。为有效地对此进行管理，我们采用的策略基于内部可视化、数据模式分析和专家调查。我们的偏差管理方法
- 内部可视化和数据模式工具——我们的技术团队使用专用的内部工具和可视化内容来主动查找数据模式中可能表明偏差的变化。
- 模式可视化：我们手动检查显示输入数据统计属性的图表和面板。这使我们能够直观地检查模型用于预测的特征中是否存在意外变化或异常。
- 错误分析：我们专门分析模型在何处以及为何会出现新类型的错误。这些实践回顾可帮助我们诊断模型是否遇到了从未用于训练的模式。
- 补救（模型重新训练）- 一旦发现偏差，我们就会立即采取措施重新训练模型。
- 我们会收集最新的、最具代表性的导致转变的数据。
- 然后，系统会在这个更新后的新数据集上重新训练模型，以学习当前的真实模式。
- 然后部署这个更正后的新版本，以恢复准确性和性能。
我们依靠专家使用强大的内部可视化工具进行的手动分析，来高效地识别、诊断和纠正模型偏差，确保我们在准确性方面保持高标准。 - 我们可以预测多长时间的未来（以绝对时间为单位，或以相对时间间隔为单位）？准确度如何？
- 我们的预测功能已经过优化，可在特定的有效窗口内提供预测性洞察信息，而预期的准确性在很大程度上取决于您的数据所独有的因素。我们最多可以可靠地预测未来八周（两个月）的情况。此期限可确保预测基于最新数据，并保持切合实际的相关性和准确性，以满足您的规划需求。我们的准确性会因许多关键因素而异，但总体而言，我们在大多数预测中都能实现令人满意的结果：
- 一般准确性：过往，我们大多数预测指标的准确性都在 70% 或更高。
- 控制因素：准确度差异很大，取决于以下几个关键因素：
- 数据质量：可用于特定指标的历史数据的可靠性和完整性。
- 时段：期间较短期的预测通常比 8 周期间内的预测准确。
- 指标复杂性：诸如季节性、数据稀缺性以及被衡量指标（如销售订单、存货等）的固有稳定性等因素都会影响可达到的准确度。
- 优秀准确性的行业标准是什么？Workday 的标准是什么？
- “具有良好的准确性”这一单一标准概念并非在整个行业中通用，因为可接受的准确性级别会因指标类型、行业和需求波动而异。我们标准的源于我们久经考验的性能，并且经过精心设计，可以为您的企业提供可靠的规划。对于预测准确性，不存在适用于所有行业的单一固定基准。何为“良好”？取决于：
- 指标和波动性：高度稳定的指标（例如长期供应合同）通常可以达到 90% 以上的准确度，而极具波动性的指标（例如受季节性或促销活动影响的新产品销售）可能需要 70% 的准确度。
- 时间范围：预测时间越长，准确度自然会降低。
- 时间范围：准确度可能会有所波动，具体取决于用于分析的时间段，尤其是存在极端离群值的情况下。
- 使用的准确度指标：使用的公式（例如 MAPE、WMAPE）会影响产生的百分比。在内部，我们按以下公式计算准确度：百分比准确度 = 100 - ( 权益季派预测值 - 实际值 / 累计 × 100)
Workday 的内部标准是基于我们的模型在各种客户数据中展示的强大性能：- Workday 的标准：我们的大多数预测指标都达到了 70% 或更高的准确度。
- 可变的性能：即使在管理数据中各种复杂因素的情况下，我们也实现了这一目标，例如：
- 可用历史信息的数据质量和一致性。
- 被预测的特定指标的季节性、稀少性或固有波动性程度。
- 正在分析的特定时段和详细组织信息级别（例如，销售订单与产品系列）。
通过始终如一地达到或超过 70% 的阈值，我们可确保您的大部分预测足够可靠，有助于做出有效的运营和财务决策。