那些你不可不知的机器学习“民间智慧”
|
学习者可以分为两大类：表示具有固定大小的线性分类器，以及可以随数据一起增长的表达式，如决策树。固定大小的学习者只能利用这么多的数据。原则上可变大小的学习者可以在给定足够数据的情况下学习任何函数，但实际上由于算法或计算成本的限制，他们可能不会。而且，由于维度的诅咒，不存在大量的数据可能就足够了。由于这些原因，聪明的算法，那些充分利用数据和计算资源的算法，如果你愿意付出努力的话，往往会得到回报。设计学习者和学习分类器之间没有尖锐的边界，相反，任何给定的知识都可以在学习者中编码或从数据中学习。所以机器学习项目往往会成为学习者设计的重要组成部分，当然，从业者需要具备一定的专业知识。 9 - 学习许多模型，不局限于一个 在机器学习的早期，每个人都有自己喜欢的学习者，并有一些先验的理由相信它的优越性。大部分努力尝试了很多变化，并选择最好的一个。然后系统的经验比较表明，最好的学习者因应用而异，包含许多不同学习者的系统开始出现。现在努力尝试许多学习者的变化，仍然选择最好的一个。随后研究人员注意到，如果不是选择找到的最佳变体，我们结合了许多变体，结果会更好 - 通常要好得多 - 而且对用户来说没有额外的工作量。 现在创建这样的模型集是标准的。在最简单的技术中，称为bagging，我们通过重采样简单地生成训练集的随机变化，分别学习一个分类器，并通过投票结果结合。这是有效的，因为它大大降低了方差，而只是在提高的过程中稍微增加偏差，训练样例有权重，而且这些都是不同的，所以每个新的分类器都集中在前面那些往往会出错的例子上。在堆叠中，单个分类器的输出成为了“高级”学习者的输入，这个学习者能计算出如何最好地组合它们。 存在许多其他技术，趋势是越来越大的合集。在Netflix奖中，来自世界各地的团队争相构建最佳视频推荐系统。随着比赛的进行，小组发现他们通过把学习者和其他小组结合起来，取得了最好的成绩，并且合并为更大更大的小组。获胜者和亚军都是由100多名学习者组成的队伍，两个队伍相结合进一步提高了成绩。毫无疑问，我们将来会看到更大的。 10 - 简单并不意味着准确性 有一个著名的观点，实体不应该超越必要的范围。在机器学习中，这通常意味着，给定两个具有相同训练错误的分类器，两者中较简单的可能具有最低的测试错误。有关这一说法的证据在文献中经常出现，但事实上有很多反例，而且“不吃免费午餐”定理暗示它不可能是真实的。 我们在前一节看到一个反例：模型合集合。即使在训练误差已经达到零之后，通过添加分类器，增强集合的泛化误差仍然在不断提高。因此，与直觉相反，一个模型的参数数量与其拟合倾向之间没有必然的联系。 相反，更复杂的观点将复杂性等同于假设空间的大小，因为较小的空间允许假设由较短的代码表示。像上面的理论保证部分那样的界限可能被认为是暗示更短的假设更好地概括。这可以通过给空间中的假设分配更短的代码给我们先验的偏好，进一步细化。但是，把这看作准确性和简单性之间折衷的“证明”是循环推理：我们提出假设，我们更喜欢简单的假设，如果它们是准确的，那是因为我们的偏好是准确的，而不是因为我们选择的表象中的假设是“简单”的。 11 - 可表示并不意味着可学 本质上，所有用于可变规模学习者的表示都具有“每个函数都可以用这种表示方式来表示或近似任意近似”的关联定理。由此得到保证，表示的粉丝经常忽视所有其他表达。但是，仅仅因为一个函数可以表示并不意味着它可以被学习。例如，标准决策树学习者不能比具有训练实例的树叶学习更多。在连续的空间中，使用一组固定的原语表示甚至是简单的函数通常需要无数的组件。 而且，如果假设空间具有许多评价函数的局部最优值，那么往往是这样，学习者可能找不到真正的函数。给定有限的数据、时间和记忆，标准学习者只能学习所有可能函数的一小部分，这些子集对于具有不同表示的学习者是不同的。因此，关键问题不是“能否表现出来”，这答案往往是微不足道的，而是“可以学会吗？”而且试图尝试不同的学习者（也可能把它们结合起来）是值得的。 12 - 相关性并不意味着因果关系 相关性并不意味着因果关系这一点是经常发生的，这也许是不值得去做的。但是，尽管我们所讨论的那种学习者只能学习相关性，但他们的结果往往被视为代表因果关系。这不是错的吗？如果是的话，那么为什么人们要这样做呢？ 通常情况下，学习预测模型的目标是用它们作为行动的指南。如果我们发现啤酒和尿布经常在超市买到，那么也许把啤酒放在尿布的旁边就会增加销量。但是实际上做实验的时候很难说清楚。机器学习通常应用于观测数据，预测变量不受学习者的控制，与实验数据不同。一些学习算法可能潜在地从观测数据中提取因果信息，但是它们的适用性受到限制。另一方面，相关性是一个潜在的因果关系的标志，我们可以用它作为进一步调查的指南。 结论 像任何学科一样，机器学习有许多难以实现的“民间智慧”，但对成功至关重要。多明戈斯教授的论文总结了一些你需要知道的最重要的内容。 （编辑：衡阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
