神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。

我们回顾一下神经网络发展的历程。神经网络的发展历史曲折荡漾，既有被人捧上天的时刻，也有摔落在街头无人问津的时段，中间经历了数次大起大落。

从单层神经网络（感知器）开始，到包含一个隐藏层的两层神经网络，再到多层的深度神经网络，一共有三次兴起过程。

上图中的顶点与谷底可以看作神经网络发展的高峰与低谷。图中的横轴是时间，以年为单位。纵轴是一个神经网络影响力的示意表示。如果把1949年Hebb模型提出到1958年的感知机诞生这个10年视为落下（没有兴起）的话，那么神经网络算是经历了“三起三落”这样一个过程，跟“小平”同志类似。俗话说，天将降大任于斯人也，必先苦其心志，劳其筋骨。经历过如此多波折的神经网络能够在现阶段取得成功也可以被看做是磨砺的积累吧。

历史最大的好处是可以给现在做参考。科学的研究呈现螺旋形上升的过程，不可能一帆风顺。同时，这也给现在过分热衷深度学习与人工智能的人敲响警钟，因为这不是第一次人们因为神经网络而疯狂了。1958年到1969年，以及1985年到1995，这两个十年间人们对于神经网络以及人工智能的期待并不现在低，可结果如何大家也能看的很清楚。

因此，冷静才是对待目前深度学习热潮的最好办法。如果因为深度学习火热，或者可以有“钱景”就一窝蜂的涌入，那么最终的受害人只能是自己。神经网络界已经两次有被人们捧上天了的境况，相信也对于捧得越高，摔得越惨这句话深有体会。因此，神经网络界的学者也必须给这股热潮浇上一盆水，不要让媒体以及投资家们过分的高看这门技术。很有可能，三十年河东，三十年河西，在几年后，神经网络就再次陷入谷底。根据上图的历史曲线图，这是很有可能的。

下面说一下神经网络为什么能这么火热？简而言之，就是其学习效果的强大。随着神经网络的发展，其表示性能越来越强。

从单层神经网络，到两层神经网络，再到多层神经网络，下图说明了，随着网络层数的增加，以及激活函数的调整，神经网络所能拟合的决策分界平面的能力。

可以看出，随着层数增加，其非线性分界拟合能力不断增强。图中的分界线并不代表真实训练出的效果，更多的是示意效果。

神经网络的研究与应用之所以能够不断地火热发展下去，与其强大的函数拟合能力是分不开关系的。

当然，光有强大的内在能力，并不一定能成功。一个成功的技术与方法，不仅需要内因的作用，还需要时势与环境的配合。神经网络的发展背后的外在原因可以被总结为：更强的计算性能，更多的数据，以及更好的训练方法。只有满足这些条件时，神经网络的函数拟合能力才能得已体现，见下图。

之所以在单层神经网络年代，Rosenblat无法制作一个双层分类器，就在于当时的计算性能不足，Minsky也以此来打压神经网络。但是Minsky没有料到，仅仅10年以后，计算机CPU的快速发展已经使得我们可以做两层神经网络的训练，并且还有快速的学习算法BP。

但是在两层神经网络快速流行的年代。更高层的神经网络由于计算性能的问题，以及一些计算方法的问题，其优势无法得到体现。直到2012年，研究人员发现，用于高性能计算的图形加速卡（GPU）可以极佳地匹配神经网络训练所需要的要求：高并行性，高存储，没有太多的控制需求，配合预训练等算法，神经网络才得以大放光彩。

互联网时代，大量的数据被收集整理，更好的训练方法不断被发现。所有这一切都满足了多层神经网络发挥能力的条件。

“时势造英雄”，正如Hinton在2006年的论文里说道的

“... provided that computers were fast enough, data sets were big enough, and the initial weights were close enough to a good solution. All three conditions are now satisfied.”，

外在条件的满足也是神经网络从神经元得以发展到目前的深度神经网络的重要因素。

除此以外，一门技术的发扬没有“伯乐”也是不行的。在神经网络漫长的历史中，正是由于许多研究人员的锲而不舍，不断钻研，才能有了现在的成就。前期的Rosenblat，Rumelhart没有见证到神经网络如今的流行与地位。但是在那个时代，他们为神经网络的发展所打下的基础，却会永远流传下去，不会退色。

# 两层  # 捧上天  # 图中  # 被人  # 加速卡  # 再到  # 很有可能  # 的人  # 的是  # 层数 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 活动邀请函制作网站有哪些,活动邀请函文案？  湖南网站制作公司,湖南上善若水科技有限公司做什么的？  高端建站三要素：定制模板、企业官网与响应式设计优化  Laravel如何与Pusher实现实时通信？（WebSocket示例）  node.js报错：Cannot find module 'ejs'的解决办法  Linux后台任务运行方法_nohup与&使用技巧【技巧】  高性能网站服务器配置指南：安全稳定与高效建站核心方案  uc浏览器二维码扫描入口_uc浏览器扫码功能使用地址  Laravel怎么进行浏览器测试_Laravel Dusk自动化浏览器测试入门  如何获取免费开源的自助建站系统源码？  如何用虚拟主机快速搭建网站？详细步骤解析  Laravel用户认证怎么做_Laravel Breeze脚手架快速实现登录注册功能  简历没回改：利用AI润色让你的文字更专业  微信小程序 canvas开发实例及注意事项  惠州网站建设制作推广,惠州市华视达文化传媒有限公司怎么样？  制作电商网页,电商供应链怎么做？  Laravel如何理解并使用服务容器（Service Container）_Laravel依赖注入与容器绑定说明  高防服务器如何保障网站安全无虞？  HTML5空格和nbsp有啥关系_nbsp的作用及使用场景【说明】  php在windows下怎么调试_phpwindows环境调试操作说明【操作】  夸克浏览器网页跳转延迟怎么办 夸克浏览器跳转优化  如何快速查询网站的真实建站时间？  Python文件流缓冲机制_IO性能解析【教程】  如何确认建站备案号应放置的具体位置？  如何在局域网内绑定自建网站域名？  如何快速搭建虚拟主机网站？新手必看指南  Python文件操作最佳实践_稳定性说明【指导】  小米17系列还有一款新机？主打6.9英寸大直屏和旗舰级影像  如何破解联通资金短缺导致的基站建设难题？  iOS UIView常见属性方法小结  Laravel如何与Docker（Sail）协同开发？（环境搭建教程）  利用 Google AI 进行 YouTube 视频 SEO 描述优化  Laravel如何使用Service Provider服务提供者_Laravel依赖注入与容器绑定【深度】  如何在IIS中新建站点并配置端口与IP地址？  如何将凡科建站内容保存为本地文件？  如何在橙子建站上传落地页？操作指南详解  如何用美橙互联一键搭建多站合一网站？  打造顶配客厅影院，这份100寸电视推荐名单请查收  如何在香港免费服务器上快速搭建网站？  如何在IIS服务器上快速部署高效网站？  如何为不同团队 ID 动态生成多个独立按钮  PHP怎么接收前端传的文件路径_处理文件路径参数接收方法【汇总】  Laravel Blade组件怎么用_Laravel可复用视图组件的创建与使用  WEB开发之注册页面验证码倒计时代码的实现  Laravel中的withCount方法怎么高效统计关联模型数量  Windows10如何更改计算机工作组_Win10系统属性修改Workgroup  如何在万网开始建站？分步指南解析  Laravel如何发送系统通知？（Notification渠道示例）  矢量图网站制作软件,用千图网的一张矢量图做公司app首页，该网站并未说明版权等问题，这样做算不算侵权？应该如何解决？  Python企业级消息系统教程_KafkaRabbitMQ高并发应用