用米切尔范式简化学习算法的解释

 评论

据说计算机程序从经验E中学习关于某类任务T和性能测量P，如果其在T中的任务中的性能（由P测量）随经验E而改善。

- Tom Mitchell，“机器学习” ¹

Tom Mitchell的引用在机器学习领域是众所周知的，经过时间考验，最初出现在他1997年的书中。这个句子对我个人有影响，正如我多年来多次提到它并在我的硕士论文中引用它。引用也在Goodfellow，Bengio＆Courville的更近期和权威的“深度学习”的第5章中占有突出地位，作为该书对学习算法的解释的起点。

虽然本质上是抽象的，但变量E，T和P可以映射到机器学习算法及其学习过程，以帮助巩固一个人对抽象地甚至更具体地学习算法的理解。让我们来看看我们如何从这么简洁的几句话中获得相当多的里程数。

图1。米切尔范式，可视化。

机器学习任务通常根据机器学习系统应如何处理示例来描述。

- Ian Goodfellow，Yoshua Bengio和Aaron Courville，“深度学习” ²

首先，让我们记住，我们的重点是机器学习算法和学习过程。这意味着我们必须区分我们的任务和学习过程，并了解它们之间的关系。

例如，如果我们想要对图像进行分类，则必须区分执行我们的任务（图像分类）和学习如何执行我们的任务，这可以被描述为“我们获得执行任务能力的手段” ²。单个图像将是我们的机器学习系统将处理的示例，与上述报价相关。

任务的其他示例可以是回归，翻译，异常检测和密度估计。

为了评估机器学习算法的能力，我们必须设计其性能的定量测量。

- Ian Goodfellow，Yoshua Bengio和Aaron Courville，“深度学习” ²

在学习过程中，我们必须确定我们的榜样是否使我们进一步朝着我们的最终任务目标前进; 我们需要衡量它的表现。换句话说，在我们的例子中，我们从之前处理的例子中学到了什么，使我们能够更好地对图像进行分类？

幸运的是，在这种情况下我们想要知道的是可以量化和容易测量的：准确性，或者，在分类的情况下，相反，错误率。有时候知道测量什么是困难的; 知道测量什么但不能测量它也是一个潜在的问题。

为了最好地衡量绩效，我们通常感兴趣的是评估我们的学习算法以前没有看到的数据，这是培训和测试数据集的概念发挥作用的地方。

机器学习算法可以大致分类为无监督或监督，它们在学习过程中可以获得什么样的体验。

- Ian Goodfellow，Yoshua Bengio和Aaron Courville，“深度学习” ²

经验的概念比其他概念更抽象，并且更难以指向体现它的具体事物（例如，在实现的模型中的特定代码行）。

从广义上讲，经验涉及学习算法如何体验它所学习的数据。我们可以描述这种经验的最简单角度是数据是否被标记（监督学习）（无监督学习）。从这个意义上说，经验就是关于学习过程是如何发生的，例如：这是一种自我学习的形式，还是一种引导过程？

我们还可以更全面地描述作为体验的一部分而学习的数据集。通常，数据被打包到矩阵中，矩阵是示例的集合。反过来，示例是描述特定示例的特征集合。该特征集可以或可以不补充标签（或目标），这取决于它是否将用于监督或无监督学习。

图2。使用Mitchell范例来解释图像分类任务。

有关此主题的更多信息，您可以在线免费获取以下参考书籍。

 
参考文献：

1. 机器学习，Tom Mitchell，McGraw Hill，1997。

2. 深度学习，Ian Goodfellow，Yoshua Bengio和Aaron Courville，麻省理工学院出版社，2016年。