机器学习模型验证——以数据为中心的方法

04/15/2022

构建机器学习模型时,人们往往将激情和精力集中于收集数据和训练模型,对测试模型和验证结果往往缺少应有的关注。正确的验证技术有助于估计无偏见的广义模型的性能,并更好地理解模型训练的效果。您需要确保机器学习模型经过准确的训练,能输出正确的数据,在部署到现实场景中时,它还能做出准确的预测。经过适当验证的模型足够可靠,能够适应现实世界中的各种新场景。 不幸的是,没有任何一种验证技术可以适用于所有的机器学习模型。选择正确的验证方法需要理解组数据和时间索引数据。 本文将介绍主要的机器学习模型验证方法,并说明测试和验证机器学习模型结果重要的原因。


模型验证的重要性

验证机器学习模型的结果旨在确保数据的正确性和准确性。通过验证可以在小问题变成大问题之前发现问题,是实现任何机器学习模型的关键一环。

安全性

模型验证的一个最关键方面是寻找安全漏洞。训练数据和机器学习模型数据都很有价值,对于私有数据或敏感数据的情况尤其如此。机器学习模型可能会意外泄漏数据,这意味着验证技术应该能检查数据泄漏的漏洞。 在将训练数据输入机器学习模型之前,采取严格的安全措施也很重要。例如,可以对数据进行匿名或化名处理。

可靠性

验证机器学习模型对于检查模型的可靠性也很重要。您需要了解模型,了解它的优缺点。了解模型有助于解释和查找稍后输出中的错误。了解模型的行为还能帮助您注意到可能发生的任何偏差和偏见。

避免偏见

虽然机器学习技术已彻底改变计算世界,但它的好坏取决于它的创造者。这意味着许多机器学习模型内置了偏见。算法可能存在偏见和/或训练数据也可能存在偏见。 知道如何在机器学习模型中寻找偏见以及如何修正偏见,是模型验证的一个重要方面,这将使机器学习的世界变得更美好、更公平。

预防概念偏差

概念偏差是指允许机器学习模型退化,允许其预测的结果与预期的结果不同的情况。概念偏差会发生,而模型偏差的方式却不可预测。偏差无益于机器学习模型,因为这会使输出数据的用处不大。 虽然最初的机器学习模型验证不会发现概念偏差,但通过适当的维护和定期测试就能做到。概念偏差会随着时间的推移而发生,但这完全可以通过日常维护加以预防。


正确的数据和正确的人员

如果您正在构建机器学习模型,或是有意在公司中应用AI技术,则至关重要的是,使用正确的训练数据和正确的人员验证和维护模型。如果不验证模型,也不实施持续维护,机器学习模型可能会退化。

持续监控

没有一种机器学习模型是完美的,它们也不会一直保持完美。机器学习模型需要持续监控和调整,以确保输出准确、相关的信息。 虽然机器学习在经过训练后基本上是自主的,但验证和监控却需要人机协同。人工定期维护和检查机器学习模型非常重要。这项工作可以定期进行,也可以实时进行。


模型验证技术

有许多不同的模型验证技术,正确方法的选择将取决于数据以及要通过机器学习模型实现的目标。以下是最常见的模型验证技术。

训练和测试拆分或保留

最基本的验证技术类型是训练和测试拆分。验证技术的重点是查看机器学习模型对以前从未见过的数据的反应。所有验证方法均基于训练和测试拆分,但略有不同。 使用这种基本的验证方法,可以将数据分成两组:训练数据和测试数据。需要保留测试数据,在测试模型之前,不要向机器学习模型公开它们。大多数人按三七比例分割数据,70%的数据用于训练模型。

再带入

在再带入验证方法中,所有数据均被用作训练数据。然后,将机器学习模型输出的错误率与训练数据集的实际值进行比较。该方法易于实现,它有助于快速找到数据中的漏洞。

K折交叉验证

K折交叉验证与测试拆分验证类似,不同之处在于前者将数据拆分为两个以上的组。在这种验证方法中,“K”被用作占位符,表示要拆分成的数据组的数量。 例如,可以将数据分成10个组。一组被排除在训练数据之外。然后,使用训练数据之外的数据组验证机器学习模型。接着,进行交叉验证。作为训练数据使用的9个数据组也分别被用于测试机器学习模型。每次测试和分数均可提供有关机器学习模型中有效性的新信息。

随机子抽样

随机子抽样的功能与训练和测试验证模型方法相同。关键的区别在于,前者将随机抽取数据的子样本,然后形成测试集。所有其他未在随机子样本中选择的数据均作为训练数据。

自助抽样

自助抽样也是一种机器学习模型验证技术,它使用放回抽样方法。这种验证方法对于估计总体数量最为有用。 使用自助抽样验证方法时,将从整个数据集中抽取一个小样本。这个小样本中将包括平均值或其他有意义的统计数据。需要替换数据,纳入计算的新统计数据,然后再次运行模型。

嵌套交叉验证

验证技术大多数都是为了评估结果的误差。嵌套交叉验证技术用于评估机器学习模型的超参数。用这种方法测试超参数可以防止过度拟合。 要使用这种模型,需要将两个K折交叉验证循环相互嵌套。内环用于超参数整定,外环用于误差测试和准确性估计。


选择正确的模型

以上列出的机器学习验证模型列表并不详尽,还有其他类型的测试模型和验证技术。每个模型功能各不相同,对数据和机器学习模型提供的见解也略有不同。验证方法往往也有正误。重要的是在选择时要评估不同的验证技术,为模型选择正确的验证技术,确保其不会出错。 选择正确的验证模型很不容易。您需要了解数据和机器学习模型,以确保能够获得所需的信息。在此环节,您不能草率,也不能跳过。选择正确的验证技术意味着要测试机器学习模型,知道它是安全、没有偏见的,并且能可靠地提供高质量的输出。


澳鹏数据科学和机器学习专家Shambhavi Srivastava的洞察

先进的AI和机器学习模型日益强大,它们的验证和监控往往变得越来越复杂。模型验证对于确保模型的良好性能至关重要。麦肯锡称,约87%的AI概念验证(POC)并未在生产中部署。模型的主动验证可以帮助缩小模型POC和产品部署之间的差距。

使用哪些指标评估模型?

对于基于回归的模型,建议的模型验证方法是使用调整R方来衡量模型相对于基准的性能。它还可以说明您选择的特征在多大程度上解释了标签的可变性。 对于分类,验证模型可靠性的指标是ROC(受试者工作特征曲线)曲线的AUC(曲线下的面积)。这一指标衡量的是准确预测某一特定类别的能力。

要验证什么类型的模型维度?

  1. 偏见误差:数据是否有用?
  2. 方差误差:模型是否可靠?
  3. 模型拟合:模型是否可以很好地预测新数据?
  4. 模型维度:新模型是否优于更简单的其他模型?
  5. 偏见:模型是否偏向于某个变量?

交叉验证是一种已知的模型验证技术。该技术包括一个训练模型和对随机数据集的多次验证。每次重复均被称为一次折叠。5折交叉验证意味着将训练并验证模型5次。如果数据集较小,鉴于多次折叠将覆盖较多的数据点,所以该技术将是个非常好的选择。一个稳定可靠的模型在每次折叠中均具有相似的性能。

使用训练和验证数据时的偏见

在训练数据集上评估模型所产生的分数会有偏见。因此,要在保留的样本上对模型进行评估,以实现模型性能的无偏见估计。偏见会系统地低估或高估模型的性能。训练模型可分为两步,第一步是低阶训练,第二步是超参数优化。两者都可以使模型完美地适应可用的训练集。当样本集较小时,我们无法确定模型的代表性以及模型对过度拟合的防范能力。我们使用不同的超参数集调整模型,然后选择最优模型。通过验证测试中的测试误差确定最佳模型。 但这一优值(测试误差)本身会受到偏差和方差的影响。如果验证集独立于训练数据,则偏见将为零,但这并不能解决方差不确定性的问题。


我们能为您做些什么

澳鹏可以提供最多样化、可扩展的数据标注方案,帮助您达到AI团队所需的质量水平。借助先进的AI辅助数据标注平台,我们为您的所有数据需求提供托管服务。我们拥有超过25年的专业经验,与您携手最大限度地优化数据传输效率。 与我们合作,即可获取我们全球超过100万名的标注员资源,他们涵盖235多种语言和方言,为您开拓各个市场提供支持。我们还将让您与我们的数据科学家和机器学习专家建立联系。这些专业人员在实践方面拥有专业知识,可以帮助您设计和创建世界级AI,并最终充满信心地进行部署。 要探讨我们的模型验证产品,请联系我们

澳鹏全球团队为您的模型评估需求提供定制化服务,包括Benchmarking,A/B Test,实地测试等。