判断模型好坏的典型评价指标有AIC（赤池信息准则）和BIC（贝叶斯信息准则）。这些是衡量模型预测准确性和复杂性之间的平衡的指标；数字越小，模型越好。特别是在时间序列模型中，AIC和BIC在从多个参数设置中选择最优参数设置方面起着重要作用。 AIC 强调泛化性能，因此适合选择强调预测能力的模型，而 BIC 则倾向于优先考虑模型简单性。当比较多个模型时，最好同时使用 AIC 和 BIC 来平衡准确性和可解释性。
时间序列模型中的过度拟合是指模型对训练数据表现出很高的准确度，但无法对新数据做出良好预测的状态。交叉验证和基准测试是防止这种情况的有效方法。但由于传统的K折交叉验证与时间序列数据的性质（时间依赖性）不兼容，因此建议使用专门针对时间序列设计的“前向法”或“时间序列交叉验证”。您还可以通过根据过去的数据进行预测并将结果与预先准备的基准（例如移动平均线）进行比较来验证模型的实用性。通过这样的验证，我们能够建立真正值得信赖的模型。
如何使用保留方法检查泛化性能
保留法是一种将数据分为训练集和测试集的方法，并使用 挪威电报数据 未用于训练的测试数据来评估模型的预测性能。对于时间序列数据，通常会将旧数据分开用于训练，将新数据分开用于测试，同时考虑到从过去到未来的时间流动。这使我们能够看到模型对未知数据的推广效果如何。保留方法是一种简单有效的评估技术，但结果可能因数据分割方式而异，因此建议将其与测试多种分割模式的方法（如“前滚”方法）相结合。泛化性能高的模型还可以对未来数据提供稳定的预测，确保应用到业务运营中的可靠性。
预测误差指标（MAE、RMSE等）的比较与使用
为了定量评估模型的预测精度，通常使用 MAE（平均绝对误差）、RMSE（均方根误差）和 MAPE（平均绝对百分比误差）等误差指标。 MAE是预测值与实际值绝对差值的平均值，不易受到异常值的影响。 RMSE 是误差的均方根，强烈反映了异常值的影响，因此对误差的大小很敏感。 MAPE 将预测误差表示为实际值的百分比，以便在商业环境中轻松解释。然而，它不适合包含接近于零的值的数据。通过根据目的使用这些指标，您可以了解模型的优势和劣势并获得改进的提示。