人工智能

神经网络软件可能难以调试。原因之一：它仅以向公众解释的方式模糊地起作用。

利兰·特斯勒（Leland Teschler），执行编辑
CRACK打开了自动驾驶车辆，您将找到被教导识别诸如行人，道路标志和其他车辆等物体的神经网络。最近涉及自动驾驶和半自动驾驶汽车的事故使人们对这些深度学习网络产生了疑问。有时令外人困惑的一个因素是如何调试神经网络，该网络对于看到的图像会给出错误的答案。这个话题可能会使非从业者感到困惑，因为在人眼中，神经网络存储的数据可能与它所知道的图像没有明显的相似之处。

回顾在视音频技术中使用的神经网络实际上是如何识别图像的，因为对识别过程存在广泛的误解，这很有用。

人工神经网络通常被描述为人工“神经元”的列，通常被称为一层—连接到神经元的其他列。有一个神经元输入层和一个输出层，以及在输入层和输出层之间的几个中间层或隐藏层。输入神经元连接到下一个隐藏层中的每个神经元。隐蔽层中的神经元又依次连接到该层之前和之后的神经元。最后，输出层的神经元接收来自最后一个隐藏层的连接并产生输出模式。

神经元之间的连接被加权。也就是说，将输入神经元的值乘以特定的加权因子，然后将其添加到其连接的内层的神经元中。权重可以为正也可以为负，权重越高，影响越大。如果给定神经元的输入总和超过某个阈值，则神经元将触发并触发其连接到的神经元的输入。

神经网络通过将网络产生的输出与应该产生的输出进行比较来学习事物。值的差用于更改网络中神经元之间连接的权重，从输出神经元开始，经过隐藏的神经元的递进层开始返回。该过程称为反向传播。这个想法是，最终，反向传播会将实际和预期输出之间的差异减小到它们重合的程度。

关于神经网络的大多数解释都使用神经元列及其之间的连接的模型。实际上，神经网络的物理实现与该模型完全不同。神经网络在普通处理器上运行。 “神经元”只是存储器中的位置。神经元及其代表的权重之间的联系也是如此。一种算法根据权重计算神经元值。为了提高计算速度，神经网络可能会采用高度并行的计算机体系结构，因此应尽快计算出值。但是这些体系结构看起来不像是神经元网络和解释神经网络解释的连接列。

神经网络技术已经发展到可以使用构建神经网络的开源软件的地步。一些更知名的软件包包括 NeurophJava神经网络框架； 威卡，来自新西兰怀卡托大学的机器学习算法集合； Eclipse Deeplearning4j，是为Java和Scala编写的深度学习库；和 咖啡，这是由伯克利AI研究机构开发的深度学习框架。

但是，任何自治系统都不太可能将开放源代码框架用于其神经网络。比较典型的方法可能类似于 感性的M.I.T.媒体实验室的衍生产品可配置一个神经网络，用于根据摄像头和麦克风的输入来测量车辆驾驶员和乘客的情绪和认知状态。正如Affectiva产品经理Abdo Mahmoud解释的那样，“我们从零开始创建神经网络，因为我们希望使用极低的计算能力来运行深度神经网络。开源神经网络通常来自学术界，那里的计算能力不是制约因素”。

感性的的神经网络的目的是实时衡量驾驶员和乘客的情绪和举止。然后，神经网络的输出将用于检测分心的驾驶员或无聊的乘客。结果可能是对驾驶员的声音警告或对乘客的虚拟助手视频或音乐建议。 感性的神经网络通常在汽车的信息娱乐处理器上运行，并使用C ++编写。

马哈茂德说，程序设计者使用了许多方法来最大程度地减少程序在测量情绪时可能造成的错误。他们的主要技术是衡量各种用例的性能。程序设计师包括居住者佩戴头巾，太阳镜，面部毛发和其他阻碍面部表情的障碍的情况。设计师还进行了具体的实验，以激发情绪并评估这些用例的程序性能。

感性的设计师不只是使用一张图片来对情感进行分类。该系统通过考虑一系列图像来建立置信度。一个很好的例子是区分一个说话的人和打呵欠的人。随着后续图片的发布，系统对彼此告诉对方的信心也随之增强。

Mahmoud解释说，因此Affectiva神经网络对乘员表情的瞬间变化没有反应。通过仅响应面部表情的重大情绪变化，该系统大大减少了误报。

神经网络真正看到了什么

当作者试图解释神经网络如何识别图像时，他们通常通过举一个简单的例子来识别图像，例如识别字母“ O”。然后，他们建议神经网络将字母分为环，边和直线等部分，每个部分都被神经元内层之一划分—然后从这些特征的位置推导出字母O。

不幸的是，这个例子严格地类似于当神经网络检查物体时发生的事情。实际上，网络中每个神经元的权重矩阵很可能看起来像随机噪声，没有明显的可识别特征。权重矩阵具有随机外观的原因是，只有与其他内层神经元相结合，才会出现对识别有用的特征。检查单个内部神经元并不能提供任何洞察力。

在调试时，无法判断给定神经元发生了什么问题。仅仅通过查看单个神经元的权重矩阵来调试神经网络是不可能的。这就是为什么人们担心神经网络无法注意到重要细节，例如自动驾驶汽车前的人行横道。

实际上，神经网络的调试过程倾向于探查网络的一般属性，而不是从特定问题开始并回溯以查找源。例如，神经网络的许多故障排除程序包括检查训练数据是否存在错误，使用原始训练数据的一小部分检查神经网络的行为，删除内部层以查看会发生什么，对初始模型使用不同的权重分布，检查错误的总和是否会长期变化很大，并检测激活功能是否已饱和并阻止网络进一步学习。

有关此过程的注意点是，在网络输出错误的任何情况下，调试过程都基本相同。它不特定于特定的错误输出。而且，如果网络在调试后突然开始生成正确的输出，则可能无法确切了解是什么变化带来了所需的输出。