NIPS会议机器学习相关内容盘点

云游天下

NIPS会议机器学习相关内容盘点

来源vkrakovna.wordpress.com

今年的NIPS会议是当下人工智能和深度学习热情的一个聚焦点 —— 从中能够感受到机器学习领域的飞速发展，并且公开了两家新的人工智能初创公司。参会人数相比2014年的大会几乎翻倍（希望明年主办方能设置多个分场），一些受欢迎的工作坊内摩肩接踵。由于大会有将近4000人参加却只接收400篇论文，大部分人还是冲着学习和社交的目的而来。会议期间紧张的社交活动让我想起了Burning Man（美国的一个反传统狂欢节）—— 激动人心的感觉，高密度的自发的有趣交流，短期内的大量活动，当然还有持续的疲惫状态。
有趣的演讲和海报
Sergey Levine在拥挤的Deep Reinforcement Learning工作坊做的机器人演示（我们提早半个小时到达，才在地板上占据一席）。这个演讲让我感受到该领域迅猛的发展。演讲是从一段今年夏天DARPA机器人挑战赛的视频开始，机器人试图行走和开门的时候，不断地失败。Levine接着介绍了他的近期研究内容，主要是引导策略搜索(guided policy search)，在轨迹优化和神经网络的监督训练之间交替进行，还有复杂任务的分解。他演示的机器人视频成功地完成了多个高度灵活的任务，比如开门，拧瓶盖，把衣服架在衣架上。令人印象深刻！
Denton和Chintala带来的是用金字塔形对抗网络生成图片的模型。用一个神经网络作为生成器来生成逼真的图像，另一个神经网络来评价 —— 前者试图生成以假乱真的图片来迷惑后者，而后者需要将合成图片与真实图片区分开来。首先从一张粗糙的图像开始，通过金字塔形的对抗网络生成后一级比前一级更细致的图像。在实验中，最终的结果有40%被误认为是真实图像，在我制作海报的时候，大约有80%的图像在我眼里就是真实的。

Salakhutdinov等人介绍的Path-SGD算法，一种尺度不变的随机梯度下降算法。标准的SGD使用L2正则项来衡量参数空间的距离，权重的缩放会对优化效果产生巨大影响。相对于把最大的权重值作为单位长度，Path-SGD方法则是最小化所有经过缩放权重值的max-norm。这样得到的norm（称作“path  regularizer”）被证明对权重缩放具有不变性。这个方法有原理支持，并且取得良好的实践结果。

Sukhbaatar等人介绍的端到端记忆网络 —— 记忆网络的一种扩展 —— 神经网络学习对记忆模块的读取和写入。与传统的记忆网络不同，这个端到端的版本不需要在每一层监督。这扩展了该方法的适用领域 —— 它与记忆网络在问答方面、与LSTM在语言模型方面都很有竞争力。观察这个模型完成基本的归纳推理任务也很有趣，比如物体的位置、颜色、大小等。

Algorithms Among Us 研讨会
本次大会的一个亮点就是Algorithms Among Us 研讨会对机器学习的社会影响，我和其它FLI成员一起参与组织的。研讨会由三个板块和一些演讲组成 —— 包括近期的人工智能影响，通用人工智能的时间表，以及效益型人工智能的重点研究计划。研讨会的组织者 (Adrian Weller, Michael Osborne  and Murray Shanahan) 召集了一大波AI各个方向的大腕，包括来自微软的Cynthia Dwork，来自Facebook的Yann LeCun，来自百度的Andrew Ng和来自DeepMind的Shane Legg。
Andrew Ng对他著名的观点“担心通用人工智能就像担心火星上人口过剩”又进行了升华，改为了“半人马座阿尔法星人口过剩”（难道火星人口过剩真的会发生？）他的主要观点是即使超级预言家无法预知五年后的任何事情，所以任何长期的预测也都是无用的。这似乎像是人们普遍信念“我们一无所知，所以我们很安全”的一个实例。正如Murray所说，今后五年的完全不确定性也正意味着无法猜测未来20年实现通用人工智能的景象。令人鼓舞的是Ng赞同长期人工智能安全性的研究，他说这尽管不是他的兴趣点，但应该有其它人去做。
在谈到通用AI之路上剩余的里程碑时，Yann LeCun给了一个贴切的比喻，就像在迷雾中翻山越岭旅行 —— 你能看到一部分，雾中还隐藏着未知事物。他还认为高级AI是不可能像人类一样，告诫不要将它拟人化。
在重点研究计划版块，Shane Legg给了一些具体的建议 —— 目标系统的稳定性、可中断性、沙箱/容器化，以及各种思维实验的形式化（例如超智 Superintelligence）。他指出AI安全既被夸大了，又得不到足够重视 —— 而先进AI的风险不是如媒体所述的迫在眉睫，更多的思考和资源需要被投入到具有挑战性的研究问题中。
讨论会上提出的一个问题是关于AI系统可解释性的重要性，它也是我当前研究项目的主题。AI系统在有效性和可解释性的权衡之间存在一些分歧。LeCun认为解释性的主要优势是提高鲁棒性，提高迁移学习水平应该就能实现，而不需要降低有效性。Percy Liang则认为需要透明性来给其它人解释机器学习系统做了什么，在许多应用中这变得日趋重要。LeCun还指出机器学习系统通常被认为是透明的，如决策树，而事实未必如此。人们对可解释性的含义也存在歧义 —— Cynthia Dwork觉得，我们需要在作出任何结论前对问题有一个明确的定义。看来，在定义可解释性和在不牺牲效能的前提下实现可解释性，都还有很多工作要做。
总之，该研讨会超级有趣，提供了大量的精神粮食（FLI成员Ariel做了一个更详细的总结）。感谢Adrian、Michael和Murray的辛勤工作。

AI初创公司
两家新的AI初创公司在NIPS大会上宣告成立是一件令人兴奋的事情 —— 由Ilya Sutskever领导和Musk, Altman等人支持的OpenAI，以及由 Zoubin Ghahramani和Gary Marcus领导的Geometric  Intelligence。
OpenAI是一家非营利性企业，肩负着推进AI研究大众化和保持其对人类有益的使命，有高达10亿美元的承诺资金。他们相信在非盈利的、不受经济利益影响的环境下发展AI技术更安全，而不是被营利性公司所垄断。开源共享研究项目的想法在中短期内无疑是好的，但长期来看接近通用AI时会引起一些担忧。一位OpenAI的研究员在采访中表示，“我们没有义务分享一切 —— 在这种情况下公司的名字有误导性”，而且项目是否开源事实上也是具体案例具体分析。
OpenAI在最初几年内计划把重点放在深度学习领域，Geometric Intelligence的发展方式有所不同，他们想用更少的数据来更有效地学习。Gary Marcus认为们需要更多地学习人类大脑是如何获得知识的，从而开发先进AI系统（灵感来自于观察他孩子认知世界的过程）。我期待着来自这些新公司和其他研究小组采取的各种方法和成果。
原文地址：Highlights and impressions from NIPS conference on machine learning（译者/赵屹华 审校/刘翔宇 责编/仲浩）
译者简介：赵屹华，计算广告工程师@搜狗，前生物医学工程师，关注推荐算法、机器学习领域。