MXNet作者李沐：工业界追求“how”，学术界重在“why” | AAAI 2017 见闻

雷锋网AI科技评论按：在旧金山参加 AAAI 期间，经余凯老师的引荐，AI 君来到了位于 Palo Alto 的亚马逊AWS 办公室与李沐见了一面。从百度少帅到 CMU 博士再到 MXNet， 李沐的履历俨然自带距离感。但当穿着耐克灰色套头衫和牛仔裤的李沐坐在我们面前侃侃而谈时，AI 君在会面前的担心一扫而光。

严格来说这并不是一次采访，更像是朋友间的闲聊。经李沐老师的同意，我们整理出了下面这篇文章，其中涉及的内容仅代表他的个人观点，特此声明。

MXNet作者 李沐

2015 年的最后一天，李沐在朋友圈自嘲：

「15 年混迹于全球最大男性交友网站（GitHub），一切事都凭兴趣」。

在这一年里，他为社区做出了 1580 个贡献，最长连续参与了 39 天。

在接下来的几个小时，他和小伙伴在 CMU 的机房跨了年。

当时的他说，2016 年有更多更多需要完成的重要的事情。

的确，李沐在刚刚过去的 2016 年完成了学业爱情事业的三丰收：准备 CMU 博士毕业答辩、步入婚姻殿堂、迎接儿子的诞生……而 MXNet 在 2016 年 11 月被亚马逊选为官方开源平台，无疑是其作者李沐在过去一年无法忽视的、浓墨重彩的一笔。

MXNet：“多谈技术，少做对比”

在知乎问答 「如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？」中，李沐个人觉得，不管是亚马逊还是其它公司，第一点首先还是要听从用户的声音（listen to the customer），基于社区驱动导向的 MXNet 实际上需要带给用户的不是别的，而是「爽」。

当用户只需要关心数据量和运算量、写好数学公式、把数据交给云并用花钱租算力；而不需要关心如何有效实现利用硬件、不需要关心自动求导是如何训练、云端如何优化的时候，用户才能够真正把精力放在自己想做的事情上。「AWS 最关心的是用户体验，然后是买资源赚钱。这里最保险的是支持所有流行的 DL 框架。」李沐曾经在一个知乎问答中这样总结道。

在提及这一点的时候，李沐也向雷锋网AI科技评论表达了他自己的看法，他认为亚马逊看重的是「有与无」的问题，而不是「谁」的问题。

「亚马逊靠的是机器时间（machine hour）赚钱，而不是靠软件与平台。因此，做社区的目的主要是为了把用户量积累起来，而上面用的是什么开源平台，其实并不重要。」

当然，亚马逊不会傻到为谷歌做嫁衣裳而选择 Tensorflow，因此它亟需的是找寻一个能够属于自己的开源平台。实际上这桩合作的促成，背后的「二传手」Alex Smola 功不可没。

Smola 是李沐在 CMU 的两位博士导师之一，于 15 年从 CMU 重返工业界，加入亚马逊 AWS 担任机器学习总监。此前在雷锋网AI科技评论报道过的 AAAI 2017 大会上，Smola 也以 MXNet 做了主题分享，而在演讲开始的感谢环节，李沐的名字赫然在目。

在 AAAI 的演讲中，Smola 拿 MXNet 的运行速度与其它开源平台做对比，而在谈话中李沐表示，自己并不愿意这样简单粗暴地做对比，他也告诉员工们，如果其它公司邀请你们做分享，一般不要做对比，只谈技术就好。

「我很理解大家爱看对比类的文章，但这是一个有偏见（biased）的做法。我们比别人快一两倍，不是我们想表达的东西，而为什么快，做了哪些优化，离我们的理想状态还有哪些差距，这样的总结可能对我来说更有价值一些。」

但不论李沐如何避免对比，MXNet 还是经常会被拿来与 TensorFlow 相提并论，他在谈话过程中也时常提及后者。在知乎上，他索性将机器学习的发展历史写成了一篇武侠小传，将修真世界里的 MXNet 比喻为「散修小团体」，而 TensorFlow 则是「最大流派平台」。

诚然，不论是开始时间还是平台特性，MXNet 都是与 Tensorflow 最为接近的一个：完整的多语言前端、全系统模块化、编译依赖小、适合快速开发的特性。虽然吃瓜群众们津津乐道的无非是哪家更强、优缺点是什么、两家如何自处竞争这样的问题，甚至还会八卦两家之间的关系。但李沐表示，其实他们与 TensorFlow 并不是想象中那种剑拔弩张的状态，相反，几个朋友每个星期都会碰头交流，讨论技术问题。

而更重要的一点在于，李沐认为所谓的「不同」纯粹是设计理念（design choice）的差异所导致的。

「谷歌想做的是一个完完整整的语言，跟 python 无关，自己就能成为一门语言 TF。」这样的策略能让谷歌从底层到上层拥有绝对控制权，像安卓一样，用户只要在上层做东西，底层全交给谷歌。虽然大体量势必会带来优化的困难，但这是谷歌的生态圈和战略所决定的。而 MXNet 选择的是轻量化的设计路线，毕竟这个平台一开始也只是 DMLC 抱着纯粹的热情做起来的兴趣项目，希望能降低深度学习的门槛。

「算法是科学。框架不是。它涉及的是设计者自己的审美观、哲学等主观理念，如果要用基于不同设计理念的表现性能来评论这个平台的好坏，我觉得意义不大。」

是的，基因——李沐用这个词来形容再恰当不过了。不论是亚马逊选择了 MXNet，抑或是谷歌做出了大而全的 TensorFlow，都是公司骨子里的基因在起着决定性的作用。

李沐觉得，框架的融合（merge）会是未来的趋势，系统各自为政的时代会被更多的兼容与支持取代。但不论 AI 潮流会是惊涛骇浪或是风平浪静，李沐坚信前端的用户驱动导向总是不会改变的。

学术界的“why”与工业界的“how”

初为人父的李沐在 2017 年初又实现了一个小目标。在 2 月初，他顺利完成了 CMU 的博士论文答辩。

在旁人看起来难如登天的答辩环节，对于李沐而言却只是「走走流程」般的轻松及「了却一件事」般的易如反掌。更何况，这场答辩汇集了全球顶尖科技公司的大牛们：谷歌、苹果、亚马逊深度学习项目的 Jeff Dean，Ruslan Salakhutdinov，Alex Smola，还有 CMU 机器学习助理教授 Barnabas Poczos。

虽然毫无悬念地被问到了「比较下 MXNet 和 TensorFlow」，但李沐在微博中调侃称，「最后大家并没有打起来」。

记得有位朋友这样评价李沐，「他是少有的在工业界和学术界都有着深厚积累的人。」微软亚洲研究院、百度少帅、谷歌实习生再到亚马逊，任何一份工作放在别人身上都是闪闪发光的经历，然而李沐一人占全了。即使有着令人艳羡的工作，李沐还是选择了到 CMU 读博。

在美国深造五年的李沐也目睹了深度学习火得一塌糊涂的全过程，不少企业也开始涉足这一领域。在他看来，普通民众更多的关注点是在强 AI，而学术界甚至都不会用「AI」这个词。在美国的 Top 学校里，做纯 ML 的其实不多，就连 MIT 这样的学校也是新近才招募了专门教授机器学习的老师。

而李沐认为深度学习突然火起来的原因，其实是门槛太低的结果。「你不需要懂数学。它就是一种语言，神经网络的层是不同的句子，每个人都可以通过这个语言描述你对问题的理解，链接不同层构造一个程序。框架可以帮你完成计算，更何况计算量和数据都不缺，必然导致大家会慢慢进来。」

鉴于学术界与工业界的交互越来越频繁，也有不少企业也会与大学研究院进行合作发表应用性强的论文，但这些论文往往拿不到 Best 或 Oral Paper，也是因为评审标准的出发点不同所致。作为在工业界与学术界都待过的大牛，李沐虽然现在对于两个领域的研究侧重颇有心得，但在四年前，他在投递论文时也吃过不少亏，NIPS、IJCAI、JMLR、UAI、KDD连续被拒绝的他，心情非常郁闷。2013 年 8 月，他在微博上无奈地写道：

“今年往nips投了篇分布式优化的文章，自觉性能和通用性都可以beat掉度厂和谷歌的当家机器学习系统。结果收了满满6页的review 真是rebuttal不能啊，不报希望去nips普及大数据了。转身投system会议去了....” 

后来回顾这段历程时，李沐感慨道：

「做产品和做学术研究是完全不同的东西。产品的导向是解决问题的 how，效果好、简单好用、通用性强、资源消耗低、便于实践，也就是东西要 work（应用）。不同公司的侧重点可能有些差异，比如百度对广告的精准性要求高一些，腾讯可能需要产品简单一些。而做学术研究时要写清楚的是 why，最重要的是想法（idea），第二点是洞察（insight）, 也就是你能把这个事情做出深层的解释，再接下来才是结果好不好。」

但李沐在实践的时候，还是会把应用放在第一位。他在带实习生的时候，就要求对方首先要做一个至少能跑得起来（work）的东西，然后再在其中提炼想法。在他的理解中，没有实践基础的理论就是空中楼阁。

在 CMU 博士论文答辩之后，李沐从匹兹堡回加州的飞机上 写就了一篇随想录。他笑着对雷锋网AI科技评论说，这篇文章本来设想了两种写法，一种是说自己有多牛多牛（李沐说，文中列举的只有一半）。「但后来想了一下，第一种写法虽然看上去很厉害，但对别人没有意义。反过来，我写自己做过了什么，哪些失败了，原因是什么。其实这五年做的大部分事情是失败的，如果不总结一下，错误总是一直在犯。」

文章写就之后，李沐感悟最深的一点在于每个人都应该走自己的路。「每个人在文章中都看到了不同的东西，很多人看到工业界有钱，有的人看到技术方面的一些思考，也有的人看到我最后一段的情怀，但并不代表着你一定要跟着我走的路去走。如果只是因为这篇文章觉得鸡血满满，转头去读了个博士，可能也会后悔。我的背景决定了自己能做什么，每个人也都是如此。」

CMU的答辩结束之后，家庭暂时成为了李沐生活的重心，但这并不会持续很久。原来只有 Smola 和李沐两个人的办公室，现在已经满满当当。李沐说，他们很快就要搬进不远处的新办公室，并计划再招 300 个人，准备让 MXNet 变得更好用一些。

雷锋网AI科技评论后记：AI君一开始的文章标题其实并非长这样，但李沐老师在看完文章之后，却希望能换个低调一些的标题，他说自己并不希望靠上“亚马逊”、“CMU”这样的标签。细想也是，以李沐老师的存在感，似乎也不需要吧。

封面与正文图片由李沐本人提供，特此感谢。

雷峰网原创文章，未经授权禁止转载。详情见 转载须知。