神经网络和深度学习入门指南

1758 人阅读 | 时间：2019年09月29日 09:06

内容

神经网络定义

神经网络是一组算法，可以根据人的大脑进行松散地建模，旨在识别模式。他们通过一种机器感知，标记或聚集原始输入来解释感官数据。它们识别的模式是数字，包含在向量中，所有真实世界的数据（包括图像，声音，文本或时间序列）都必须转换成数字。

神经网络可以帮助我们进行聚类和分类。您可以将它们视为存储和管理数据之上的聚类和分类层。它们有助于根据示例输入之间的相似性对未标记的数据进行分组，并且当它们具有要训练的标记数据集时，可以对数据进行分类。（神经网络还可以提取提供给其他算法进行聚类和分类的功能；因此，您可以将深度神经网络视为涉及增强学习，分类和回归算法的大型机器学习应用程序的组成部分。）

深度学习可以解决什么样的问题，更重要的是，它可以解决您的问题吗？要知道答案，您需要提出以下问题：

我关心什么结果？这些成果是可以被应用到数据标签：例如，spam或者not_spam在电子邮件过滤器，good_guy或者bad_guy在欺诈检测，angry_customer或者happy_customer在客户关系管理。
我有那些标签随附的数据吗？也就是说，我可以找到标记的数据，还是可以创建标记的数据集（使用AWS Mechanical Turk或图8或Mighty.ai之类的服务），其中垃圾邮件已标记为垃圾邮件，以便向算法讲解标签之间的相关性和输入？

立即学习构建AI应用»

一些具体的例子

深度学习将输入映射到输出。找到相关性。它被称为“通用逼近器”，因为它可以学习近似f(x) = y任何输入x和任何输出之间的未知函数y，并假设它们之间完全相关（例如，通过相关或因果关系）。在学习的过程中，神经网络找到合适的f，或转化的正确的方式x进入y，不管是f(x) = 3x + 12或f(x) = 9x - 0.1。这里有一些深度学习可以做的例子。

聚类

聚类或分组是对相似性的检测。深度学习不需要标签来检测相似性。没有标签的学习称为无监督学习。未标记的数据是世界上大多数数据。机器学习的一个定律是：算法可以训练的数据越多，其准确性就越高。因此，无监督学习有可能产生高度准确的模型。

搜索：比较文档，图像或声音以显示相似的项目。
异常检测：检测相似性的另一面是检测异常或异常行为。在许多情况下，异常行为与您要检测和预防的事物（例如欺诈）高度相关。

预测分析：回归

通过分类，深度学习能够在图像中的像素与人名之间建立关联。您可以将其称为静态预测。出于同样的原因，深度学习可以获取足够的正确数据，从而可以在当前事件和未来事件之间建立关联。它可以在过去和将来之间进行回归。从某种意义上说，未来的事件就像标签一样。深度学习不一定在乎时间，也不在乎还没有发生。给定一个时间序列，深度学习可以读取一串数字并预测下一个最有可能发生的数字。

硬件故障（数据中心，制造，运输）
健康故障（中风，基于重要数据的心脏病发作和可穿戴设备的数据）
客户流失（根据网络活动和元数据预测客户离职的可能性）
员工流动率（同上，但适用于员工）

我们可以预测得越好，我们就可以预防和抢先。如您所见，借助神经网络，我们正朝着更少惊喜的世界迈进。不是零惊喜，只是少了一点。我们还朝着更智能的代理世界迈进，这些代理将神经网络与其他算法（例如强化学习）结合起来以实现目标。

通过对深度学习用例的简要概述，让我们看看神经网络是由什么构成的。

神经网络元素

深度学习是我们用于“堆叠神经网络”的名称；也就是说，网络由几层组成。

对强化学习感兴趣？
使用Pathmind将RL自动应用于模拟用例（例如，呼叫中心，仓库等）。
开始使用

图层由节点组成。节点只是发生计算的地方，在人脑的神经元上松散地排列着，当遇到足够的刺激时就会触发。节点将来自数据的输入与一组系数或权重进行组合，这些系数或权重会放大或衰减该输入，从而就算法试图学习的任务为输入赋予重要性。例如，哪个输入最有用，就是对数据进行分类而不会出错？对这些输入权重乘积求和，然后将总和传递给节点的所谓激活函数，以确定该信号是否应通过网络进一步传播以影响最终结果（例如分类行为），以及在多大程度上影响信号。如果信号通过，则说明神经元已被“激活”。

这是一个节点的外观图。

神经网络和深度学习入门指南

节点层是一排这样的神经元状开关，当输入通过网络馈送时它们会接通或断开。从接收数据的初始输入层开始，每个层的输出同时是后续层的输入。

神经网络和深度学习入门指南

将模型的可调整权重与输入特征配对，是我们就神经网络如何对输入进行分类和聚类为这些特征赋予重要性的方式。

深度神经网络的关键概念

深学习网络是由他们的更平常的单隐层神经网络杰出的深度 ; 也就是说，数据在多步模式识别过程中必须通过的节点层数。

早期的神经网络版本（例如第一个感知器）较浅，由一个输入层和一个输出层组成，并且在它们之间最多有一个隐藏层。超过三层（包括输入和输出）可以称为“深度”学习。如此深刻的不仅仅是一个流行语，它使算法看起来像是在阅读Sartre并聆听您尚未听说的乐队。这是一个严格定义的术语，表示多个隐藏层。

在深度学习网络中，每层节点都根据前一层的输出来训练一组不同的功能。您越深入神经网络，节点就可以识别出越复杂的特征，因为它们会聚合并重组上一层的特征。

神经网络和深度学习入门指南

这称为特征层次结构，它是复杂性和抽象性不断提高的层次结构。它使深度学习网络能够处理具有数十亿个通过非线性函数传递的参数的超大型高维数据集。

最重要的是，这些神经网络能够发现未标记的，非结构化的数据（世界上绝大多数数据）中的潜在结构。表示非结构化数据的另一个词是原始媒体。即图片，文字，视频和音频记录。因此，深度学习最能解决的问题之一是处理和聚集世界上未经标记的原始媒体，辨别没有人在关系数据库中组织过或从未命名的数据中的相似性和异常。

例如，深度学习可以拍摄一百万张图像，并根据它们的相似性将它们聚类：一个角落里的猫，另一个角落里的破冰器，祖母的所有照片中三分之一。这就是所谓的智能相册的基础。

现在将相同的想法应用于其他数据类型：深度学习可能将原始文本（例如电子邮件或新闻文章）聚集在一起。充满愤怒投诉的电子邮件可能会聚集在向量空间的一个角落，而满意的客户或垃圾邮件消息可能会聚集在其他空间。这是各种消息过滤器的基础，可用于客户关系管理（CRM）。语音消息也是如此。

使用时间序列，数据可能会围绕正常/健康行为和异常/危险行为聚集。如果时间序列数据是由智能手机生成的，它将提供对用户健康和习惯的洞察；如果它是由自动零件生成的，则可用于防止灾难性故障。

与大多数传统的机器学习算法不同，深度学习网络无需人工干预即可执行自动特征提取。鉴于特征提取是一项需要花费数年的数据科学家团队才能完成的任务，因此深度学习是一种规避有限专家的瓶颈的方法。它增强了小型数据科学团队的能力，这些团队本质上无法扩展。

在对未标记数据进行训练时，深度网络中的每个节点层都将通过反复尝试重新构造从中抽取其样本的输入来自动学习特征，从而尝试最小化网络猜测与输入数据本身的概率分布之间的差异。例如，受限的玻尔兹曼机以这种方式创建所谓的重构。

在此过程中，这些神经网络学会了识别某些相关特征与最佳结果之间的相关性-它们绘制了特征信号与那些特征代表的内容之间的联系，无论是完整重建还是带有标记数据。

然后，可以将经过标记数据训练的深度学习网络应用于非结构化数据，从而使其比机器学习网络拥有更多的输入。这是提高性能的秘诀：网络可以训练的数据越多，则可能越准确。（对大量数据进行训练的错误算法可能会优于对很少数据进行训练的良好算法。）深度学习具有处理和从大量未标记数据中学习的能力，这使其具有优于以前算法的明显优势。

深度学习网络在输出层结束：逻辑或softmax分类器，将可能性分配给特定结果或标签。我们称其为预测性的，但从广义上讲是预测性的。给定图像形式的原始数据，深度学习网络可以确定，例如，输入数据代表一个人的可能性为90％。

示例：前馈网络

我们使用神经网络的目标是尽可能快地达到最小误差点。我们正在进行比赛，并且比赛围绕赛道进行，因此我们反复循环传递相同的点。比赛的起点是初始化权重的状态，终点是当参数能够产生足够准确的分类和预测时的状态。

比赛本身涉及许多步骤，每个步骤都类似于之前和之后的步骤。就像跑步者一样，我们将反复进行重复动作以达到终点。神经网络的每个步骤都涉及一个猜测，一个误差测量以及其权重的轻微更新，系数的增量调整，因为它逐渐学会注意最重要的功能。

权重的集合（无论权重是处于开始状态还是处于结束状态）也称为模型，因为它是尝试对数据与真实标签的关系进行建模，以掌握数据的结构。随着神经网络更新其参数，模型通常会开始变坏并最终减少变坏。

这是因为神经网络生于无知。它不知道哪些权重和偏差会最好地翻译输入以做出正确的猜测。它必须从猜测开始，然后在从错误中吸取教训后，依次尝试做出更好的猜测。（您可以将神经网络视为科学方法的缩影，测试假设然后再试一次–只是它是蒙住了眼睛的科学方法。或者像孩子一样：他们天生就不太了解，并且通过接触生活经验，他们慢慢学习解决世界上的问题。对于神经网络，数据是唯一的经验。

这是使用前馈神经网络（最简单的解释架构）在学习过程中会发生什么的简单解释。

输入进入网络。系数或权重将输入映射到网络最后做出的一组猜测。

input * weight = guess

加权输入会导致对该输入的猜测。然后神经元做出猜测，并将其与关于数据的真实情况进行比较，有效地询问专家“我正确吗？”

ground truth - guess = error

网络的猜测和事实的区别在于它的错误。网络会测量该错误，然后将错误遍历其模型，将权重调整到造成错误的程度。

error * weight's contribution to error = adjustment

上面的三个伪数学公式解释了神经网络的三个关键功能：对输入进行评分，计算损失以及对模型进行更新-重新开始三步过程。神经网络是一个纠正性反馈回路，奖励支持其正确猜测的权重，并惩罚导致其错误的权重。

让我们继续上面的第一步。

多元线性回归

尽管其名称受到生物学启发，但人工神经网络仅是数学和代码，就像其他任何机器学习算法一样。实际上，任何了解线性回归（您在统计学中学习的第一种方法）的人都可以理解神经网络的工作原理。用最简单的形式，线性回归表示为

    Y_hat = bX + a

其中，Y_hat是估计的输出，X是输入，b是斜率，a是二维图的垂直轴上的线的截距。（更具体地说：X可能是辐射暴露，Y可能是癌症风险；X可能是日常俯卧撑，Y_hat可能是您可以卧推的总重量；X肥料的量和Y_hat农作物的大小。）您可以想象每次您向中添加单位X，则Y_hat无论您在X轴上沿多远，因变量都会成比例地增加。一起向上或向下移动的两个变量之间的简单关系是一个起点。

下一步是想象多元线性回归，其中有许多输入变量会产生一个输出变量。通常表示为：

    Y_hat = b_1*X_1 + b_2*X_2 + b_3*X_3 + a

（要扩展上面的作物示例，您可以将生长期中的日照量和降雨量添加到肥料变量中，这三个因素都会影响Y_hat。）

现在，这种多元线性回归的形式正在神经网络的每个节点处发生。对于单层的每个节点，将前一层的每个节点的输入与其他每个节点的输入重新组合。即，输入根据其系数以不同的比例混合，这些系数不同导致进入下一层的每个节点。通过这种方式，网络会在尝试减少错误时测试哪种输入组合有效。

对节点输入求和后Y_hat，就通过非线性函数传递了它。原因如下：如果每个节点仅执行多元线性回归，Y_hat则将随着X的增加而线性增加且没有限制，但这不符合我们的目的。

我们试图在每个节点上构建的是一个开关（如神经元……），该开关根据是否应让输入信号通过以影响网络的最终决策而打开和关闭。

进行切换时，您会遇到分类问题。输入信号是否表明节点应将其分类为足够或足够不足够？二进制决策可以用1和0表示，逻辑回归是一种非线性函数，通过压缩输入将其转换为0到1之间的空格。

每个节点上的非线性变换通常是类似于Logistic回归的s形函数。它们以sigmoid（S的希腊语单词），tanh，hard tanh等名称命名，并形成每个节点的输出。所有节点的输出（每个节点都被压缩到0到1之间的s形空间中）然后作为输入传递到前馈神经网络的下一层，依此类推，直到信号到达网络的最后一层为止。做出决定。