国外最火的深度学习实践课新版发布，100%全新前沿内容

尽管嵌入在 NLP 的单词嵌入环境中最为广为人知，但它们对于一般的分类变量也同样重要，例如表格数据或协同过滤。它们甚至可以与非神经模型一起使用，并取得了巨大成功。

△ 常见的有嵌入和无嵌入模型性能比较

第六课：正规化、卷积、数据伦理

这节课将讨论一些改进训练和避免过度拟合的强大技术：

• Dropout：在训练期间随机删除激活，使模型正规化

• 数据增强：在训练期间修改模型输入，有效地增加数据大小

• 批量标准化：调整模型的参数化，使损失表面更平滑。

△ 单个图像的数据增强示例

接下来，我们将学习卷积的所有知识，卷积可以被认为是矩阵乘法的一种变型，并且是现代计算机视觉模型的核心。

我们将利用这些知识创建一个类激活图，这是一个热图，显示图像的哪些部分在做出预测时最重要。

△ 卷积如何运作

最后，我们将讨论一个许多学生告诉我们的主题，这是课程中最有趣也是最令人惊讶的部分：数据伦理。

我们将了解模型可能出错的一些方式，特别关注反馈回路、它们导致问题的原因以及如何避免这些问题。

我们还将研究数据偏差会导致算法偏差的方式，并讨论数据科学家可以也应该提出的问题，以帮助确保他们的工作不会导致意外的负面结果。

△ 美国司法系统中算法出现偏差的例子

第七课：从头构建 ResNet 和U-Net、生成（对抗）网络

最后一节课了，要学习的第一项内容也是“现代架构中最重要的技术之一”：跳跃连接。

关于跳跃连接，这节课会讲到 ResNet 和U-Net 架构。

ResNet 是跳跃连接最知名的应用，整套课程讲图像识别时也是从头到尾都在用 ResNet。

而U-Net 用的是另一种跳跃连接，它的作用是优化分割结果，以及其他输出和输入结构差不多的任务。

△ ResNet 跳跃连接对损失表面的影响

学习了U-Net 之后，就要用它训练一个超分辨率模型。这个模型不仅能把渣图变清晰，同时还能清除 jpeg 图片上的伪迹和文字水印。

为了让模型结果更好，这节课还会带着学生们结合特征损失（feature loss，或者叫感知损失 perceptual loss）和 gram 损失，创建自定义的损失函数。这是图像上色等生成任务中常用的技术。

△ 用特征损失和 gram 损失得到的超分辨率结果

接下来，就要学习 GAN 里使用的生成对抗损失了，有些情况下它能牺牲一些速度，增强生成模型的质量。

这节课展示的一些技术来自未发表的研究，包括：

• 用迁移学习更快更可靠地训练 GAN；

• 将架构创新和损失函数以前所未有的方式结合。

（编辑：衡阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!