本文摘要：(公众号：)按：本文由「图普科技」编译器自 Googles AutoML: Cutting Through the Hype在发售AutoML时，谷歌首席执行官Sundar Pichai在博客中写到：“设计神经网络是十分耗时的，其对专业知识的极高拒绝使得只有小部分科研人员和工程师才能参予设计。这就是我们创立AutoML方法的原因，有了它，神经网络也可以设计神经网络。

(公众号：)按：本文由「图普科技」编译器自 Googles AutoML: Cutting Through the Hype在发售AutoML时，谷歌首席执行官Sundar Pichai在博客中写到：“设计神经网络是十分耗时的，其对专业知识的极高拒绝使得只有小部分科研人员和工程师才能参予设计。这就是我们创立AutoML方法的原因，有了它，神经网络也可以设计神经网络。我们期望AutoML需要享有现在一些博士享有的能力，并可以在三到五年内使众多开发人员也能通过 AutoML 设计神经网络，符合其特定的市场需求。”谷歌首席执行官Sundar Pichai回应，我们都必须设计自己的神经网络谷歌的人工智能负责人Jeff Dean回应，100倍的计算力可以代替人类机器学习专家，他以必须可观计算力的神经架构搜寻为案例来说明了这一点。

（在他的TensorFlow DevSummit大会主旨演说视频中约23:50左右）这引起了许多问题的辩论：众多开发人员必须“设计神经网络，符合其特定的市场需求”（出处Pichai的愿景），或否有一种行之有效的方法可以使得神经网络可以普遍限于于同一类问题的解决问题？极大的计算能力知道可以代替人类机器学习专家吗？在评估谷歌的声明时，应该牢记，如果我们被劝说，坚信有效地用于深度自学技术的关键是提升计算能力，谷歌将借此利益，因为在这一领域，谷歌显著遥遥领先。如果这是知道话，我们有可能都必须出售谷歌的产品。就其本身而言，这并不意味著谷歌的众说纷纭都是错误的，但很好地理解他们的声明背后隐蔽的经济动机是有适当的。在之前的文章中，我讲解了AutoML的历史，说明了什么是神经架构搜寻，并认为对于许多机器学习项目，设计或自由选择架构近不是最艰难，最耗时或最伤痛的问题。

在今天的帖子中，我想要尤其注目Google的AutoML本身，这是一个甚广不受注目的产品，并企图解决问题以下问题：• 什么是AutoML?• 什么是迁入自学?• 神经架构搜寻与迁入自学：两种相反忽略的方法• 必须更加多证据• 为什么谷歌的AutoML倍受欢迎?• 我们如何解决问题机器学习专家紧缺的问题?什么是AutoML？尽管AutoML领域早已发展了很多多年（还包括开源AutoML库，研讨会，研究，和比赛），但在2017年5月，Google仍将其神经架构搜寻称作AutoML。在谷歌I/O大会上公布的博客声明中，谷歌首席执行官Sundar Pichai写到：“这就是我们创立AutoML方法的原因，有了它，神经网络也可以设计神经网络。

”；Google AI研究人员Barret Zoph和Quoc Le写到：“通过我们的方法（我们称作“AutoML”）中，神经网络控制器可以明确提出一个“子”模型架构...”Google于2018年1月发售机器学习产品- Cloud AutoML。到目前为止，它只有一个公开发表能用的服务AutoML Vision，AutoML Vision是一种辨识或分类图像中对象的API。根据产品页面的叙述，Cloud AutoML Vision依赖两种核心技术：迁入自学和神经架构搜寻。既然我们早已讲解过了神经架构搜寻，现在让我们看一下迁入自学，理解一下它与神经架构搜寻之间的关系。

关于谷歌的AutoML和神经架构搜寻的一小部分的头条新闻留意：Google Cloud AutoML还有一个依然正处于alpha测试状态的拖放式ML产品。我在2个月前申请人采访它，但至今还没接到谷歌的恢复。

我计划在它公布后开贴写出一篇文章。什么是迁入自学？迁入自学是一种强劲的机器学习技术，通过利用早已在类似于的大型数据集上训练过的预训练模型，可以让人们用于较小数据集或较低的计算能力取得最先进设备的结果。

因为通过迁入自学方式自学的模型不必须由头自学，所以与不用于迁入自学的模型比起，它一般来说可以以较少的数据和计算出来时间超过更高的准确度。迁入自学是我们在整个免费的码农简单深度自学课程中用于的核心技术 - 我们的学生大大地将其应用于到生产过程中，无论是在自己的创业公司还是财富500强劲公司。虽然相比神经架构搜寻，迁入自学或许“不那么更有人”，但有人早已在利用迁入自学技术构建突破性的学术成果，例如Jeremy Howard 和 Sebastian Ruder将迁入自学应用于NLP，在6个数据集上已完成了最佳分类。同时，迁入自学技术也是在OpenAI中该领域更进一步研究的基础。

神经架构搜寻与迁入自学：两种相反忽略的方法迁入自学的基本思路是将神经网络架构一般化以解决问题相近类型的问题：例如，许多图像与其他类型的图像具备完全相同的基本特征（例如角，圆形，狗脸或轮子）。相比之下，神经架构搜寻解决问题的基本理念恰恰相反：每个数据集都有一个独有的，高度专门化的架构。

来自Matthew Zeiler和Rob Fergus的例子，图像分类器习得的4个特征：角，圆圈，狗脸和轮子当神经架构搜寻找到新的架构时，你必需从头开始自学该架构的权重，而用于迁入自学方法时，你可以必要用于预先训练的模型的现有权重。从这个意义上说道，你无法同时用于神经架构搜寻和迁入自学解决问题同一问题：如果你正在自学一个新的架构，你必须为它训练新的权重; 而如果你通过实训练模型迁入自学，则无法对架构展开任何实质性变更。当然，你可以将迁入自学应用于通过神经架构搜寻方法习得的架构（我指出这是一个好主意！）。

这仅有必须少数研究人员用于神经架构搜寻并将他们寻找的模型开源。在可以用于迁入自学解决问题时，没适当让所有机器学习从业者都用于神经架构搜寻方法。然而，Jeff Dean的主题演说，Sundar Pichai的博客文章，Google Cloud的宣传材料和媒体报道都指出了忽略的观点：每个人都必须需要必要用于神经架构搜寻。

神经架构搜寻有哪些益处？神经架构搜寻有助找寻新的架构！谷歌的AmoebaNet是通过神经架构搜寻自学的，并且fast.ai回应展开了改良，自学进程减缓的同时转变了训练过程中图像的尺寸。AmoebaNet已沦为在单台机器上训练ImageNet最低廉的方式！AmoebaNet设计时没考虑到具备拓展能力的奖励函数，因此它无法像ResNet一样扩展到多台机器，但是针对有所不同性质的可很好拓展的神经网络在未来是很有可能被自动自学出来的。必须更加多证据目前还没证据指出每个数据集最差用于自己的自定义模型建模，而不是微调现有模型。

由于神经结构搜寻必须更大的训练集，因此对于较小的数据集来说特别是在如此。甚至谷歌自己的一些研究也用于的是可迁入技术，而不是为每个数据集找寻新的架构，例如NASNet（博客文章），它在Cifar10上自学了一个架构模块，然后用于模块为ImageNet创立了一个架构。我还没听闻过任何机器学习比赛获胜者用于的是神经架构搜寻。

此外，我们不告诉谷歌推展的必须计算力的神经架构搜寻方法否具备明显的优越性。例如，最近有一些论文，如高效神经架构搜寻（ENAS）和可微架构搜寻（DARTS），明确提出了更加有效地的算法。

DARTS仅有须要4个GPU工作天数就可学会架构，而NASNet则须要1800个GPU工作天数，AmoebaNet则为3150个GPU工作天数（都曾在Cifar-10中自学，精确度完全相同）。Jeff Dean是ENAS论文的作者，他在论文中明确提出了一种计算力较低1000倍的技术，这或许与他在一个月后在TF DevSummit大会上特别强调用于计算力低100倍的方法不完全一致。为什么谷歌的AutoML倍受欢迎?鉴于上述容许，为什么谷歌AutoML的简单性还没经过检验（最少到目前为止），就被如此欢迎？ 我指出有以下几个原因：1. 谷歌的AutoML更为凸显了一个营利性公司成立学术性研究实验室有可能遭遇的一些风险。

在这种环境下，人们很更容易环绕有意思的学术研究建构产品，而不评估它们否符合实际市场需求。许多人工智能初创企业也正是如此，例如MetaMind或Geometric Intelligence，它们被并购时甚至还没发售一样产品。我对创业公司创始人的建议是不要必要将你的博士论文投入生产，也不要只聘用学术研究人员。

2. 谷歌擅长于营销。许多门外汉指出人工智能是一个难以接近和令人生畏的领域，他们指出自己没办法去评估这些声明，尤其是像谷歌这样久负盛名的公司所公开发表的声明。

许多记者也是如此，甚至不特抨击地将谷歌的广告宣传写了炙手可热的文章。我会定期与那些不专门从事机器学习领域的人聊天，他们未曾用于过任何Google ML产品，对这些产品十分感兴趣，但又真是什么名堂。荐一个谷歌讥讽其成就的误导性报导的典型例子：谷歌人工智能研究人员曾公布了一篇取名为“用于深度自学技术来修复确实的人类基因组”的文章，将自己的工作与诺贝尔奖获得者的找到相提并论（狂妄自大！），该文章被Wired顺位刊出。

然而，约翰斯·霍普金斯大学生物医学工程，计算机科学和生物统计学的卓越教授Steven Salzberg反驳了谷歌的帖子。Salzberg认为，这项研究实质上并没修复人类基因组，而“意味着是对现有软件的一些改良，甚至有可能还没改良多少。

”许多其他基因组学研究人员都赞成Salzberg的观点。谷歌正在展开一些真是的工作，但如果我们不用检验如此多的误导性抹黑来弄清楚什么是合理的，那么它所做到的工作也不会更容易获得否认。3. 如果我们被劝说，坚信有效地用于深度自学技术的关键是提升计算能力，谷歌将借此受益，因为在这一领域，谷歌显著遥遥领先。

AutoML一般来说必须大量的计算出来，例如要自学AmoebaNet，谷歌必须在450 个K40 GPU上训练7天（相等于3150个GPU工作天数）。虽然工程师和媒体常常着迷于计算能力或其他一些更加可观的东西，但历史指出，创意往往是在约束和创造力的基础上产生的。Google用于可观的计算力处置海量数据; 我们当前生活在资源受限的受约束的世界中，这种方法知道可以一般化以解决问题我们面对的问题吗？创意是以有所不同的方式来解决问题，而不是把事情做到大。

fast.ai最近在斯坦福大学DAWNBench比赛中获得的顺利就证明了这一点。如何解决问题机器学习专家紧缺的问题？返回Jeff Dean在TensorFlow DevSummit主旨演说中明确提出的关于机器学习从业者全球紧缺的问题，我们可以另一个角度来解决问题这个问题。

我们可以通过以下几种方法避免用于深度自学技术的仅次于障碍：1. 使深度自学更容易用于2. 为深度自学去神秘化3. 为资金不足无法用于云GPU的人减少采访权限使深度自学更容易用于研究如何使深度自学更容易用于需要产生极大的影响，需要更慢更加非常简单地训练出有更佳的网络。现沦为标准作法的一些找到还包括：• Dropout容许对较小的数据集展开训练而会过度数值。

• Batch normalization可以减缓训练速度。• Rectified linear units有助防止梯度发生爆炸。一些目的提升易用性的近期研究还包括：• 自学速率查询器使训练过程更为平稳。

• 超级发散可减缓训练速度，增加了计算资源。• 现有架构的“Custom heads”可以更加精彩地器重架构来解决问题一系列问题（例如，改动用作分类的ResNet，以便查询边界板或展开样式迁入），以上找到皆并未牵涉到计算能力；忽略，所有这些都是用于创造性的方式来解决问题。为深度自学去神秘化另一个障碍是许多错误观念让人们坚信深度自学不合适他们：错误地指出他们的数据规模太小，他们没拒绝接受正规化的教育或没涉及背景，或他们的计算能力过于。

很多人坚信，只有机器学习领域博士才需要用于深度自学技术，许多公司因无力雇佣专家而退出往这方面发展。然而，事实上，公司不仅可以将他们有数的员工培训为机器学习专家，这甚至是一种更加是非的作法，因为你现有的员工早已享有你专门从事的领域的专业知识！我指出，对于与我聊天过的绝大多数人来说，转入深度自学的门槛相比之下高于他们的预期：仅有须要一年的编码经验和采访GPU的权限。减少采访权限：谷歌 Colab Notebooks虽然云GPU（每小时大约50美分）的成本在我们许多人的支出范围内，根据我定期与世界各地学生的联系来看，有些学生几乎无法分担任何GPU的用于。

在某些国家/地区，即使他们有钱人，银行和信用卡方面的规定也不会使他们难以使用AWS等服务。谷歌Colab Notebooks是一个解决方案！ Colab Notebooks获取了一个Jupyter笔记本环境，需要设置才可用于，几乎在云端运营，并容许用户采访免费GPU（尽管不容许长时间用于GPU）。它们还可用作创立包括在交互式环境中运行的代码示例的文档。

谷歌Colab Notebooks在构建深度自学大众化方面的起到甚至多达了AutoML; 或许这将沦为未来谷歌营销机器的更佳自由选择。涉及文章：谷歌大脑撰文解析 AutoML：神经网络如何自行设计神经架构？ | Google I/O 2017揭露 | 谷歌自动化机器学习知道那么神吗？技术人创业者夏粉：用 AI 建构 AI版权文章，予以许可禁令刊登。下文闻刊登须知。

本文来源：ob体育官网入口-www.teropongmedia.com