Aug 21, 2020

技术、实践与生态:国产深度学习框架要过的三道关


  2020年对于中国科技行业来说是一个觉醒的元年。地缘政治产生的冲击波,警觉了许多国内的科技行业参与者。自主创新的呼声一浪高过一浪。在深度学习领域,谷歌的TensorFlow、Facebook的PyTorch作为主流框架自然大名鼎鼎,中国企业近期也纷纷发布自己的开源框架,例如旷视MegEngine、华为MindSpore、清华Jittor、一流Oneflow等,加上最早开源且技术成熟、框架完备的百度飞桨,可以说这条赛道已经是风起云涌,形成了群雄逐鹿的局面。

 对于深度学习框架这只“鹿”的重要意义,从业人士自然清楚不过:无数的AI应用,正是在深度学习框架上建立起来的,人工智能时代,说深度学习框架是最重要的基础设施毫不为过。也正是因为如此,国外主流深度学习框架断供的忧虑,一直笼罩在国内业界的上空,现在看来,这个担心可以减轻很多。国产开源深度学习框架的繁荣,让中国的业界在这一领域有更多的选择。

  

  (国内外主流深度学习框架一览)

  国产深度学习框架的机会和竞合

  其实,这么多公司新的深度学习框架的发布肯定不是偶然,完全可以预测,未来还会有不少公司发布自己的开源框架。其实,每一个深度学习开源框架的诞生,都是建立在前人努力的基础上的,而且框架的侧重各有不同,既有对别家的优化,也有对别家的补充,还有的特别强调自己的特色。

  笔者认为,越来越多的国产深度学习开源框架的推出,其最为重要的意义,就是表明市场意识到并且重视深度学习开源框架背后的商业机会,甚至极有可能成为人工智能的基础设施,从而诞生平台级的企业。这也是为什么不同的公司都进入到这个市场的原因。

  不同开源框架在同一个市场里面竞争,必然要强调差异化才能走出。比如说,OneFlow强调的就是性能和小众创新,这可能会吸引一部分使用者。MegEngine强调训练推理一体化,同时用过PyTorch上手会非常快。百度飞桨有国内的先发优势,做的时间比较长,相对成熟,用的人也非常多,最新数据有超过210万开发者在用,企业用户也超过了9万多,形成的产业链生态非常完整。这样每一个开源框架都能够找到适合自己的市场生存并发展。开源框架彼此之间还会互相参考,彼此学习,这种竞争关系是良性的,产生的外部效果就是教育了市场,培育了市场,让更多的人参与到深度学习技术的使用中来。

  

  (飞桨是可以与PyTorch、TensorFlow掰手腕的国产框架佼佼者)

  什么样的深度学习框架能够脱颖而出

  龙头总是在市场充分竞争后才会出现。既然深度学习开源框架是一个平台型的商业机会,那么,竞争的结果必然是龙头脱颖而出,占据绝大部分的市场份额,形成很深的行业进入壁垒。

  那么,什么样的企业最终能追逐到这只天下艳羡的“鹿”?换一种问法,要在竞争中取胜,关键的决定因素是什么呢?如果去比较PyTorch、TensorFlow也好,去比较飞桨和其他框架也罢,每一种开源框架,在某些局部领域,都有自己的特色。各家编程的风格、思想,也不一样。有的框架强调完备性、有的强调易用性,有的强调性能,各家有各家的绝活。像TensorFlow这样的架构,因为投入的资源多,已经形成了一个巨塔。有的人用,觉得是杀鸡用牛刀。有的框架里面的内容由于做得早,在计算性能方面考虑不够,不如新的框架。这些都是常见的情况。

  不同的开源框架彼此之间竞争,考验的肯定是一个综合表现。

  举个例子,用户习惯是一个很重要的方面。TensorFlow本身在某些方面是不如一些新的开源框架的,但是用的人多,习惯了,也就不容易换。除了用户习惯外,模型全不全也是一个重点。企业在飞桨创建了超过29.5万个模型,这种风格可能跟他们开发的文化有关系——有很多工程师主导的理念。需要做工程的,用飞桨就觉得很好用。

  而最让我觉得国产深度学习框架不输外国主流框架的地方在于实践应用,因为你的框架技术再好,没有落地案例还是比较虚的,TensorFlow、PyTorch在互联网、AI应用上都非常广泛,能解决实际问题,谷歌的推荐系统就是用TensorFlow训练的。

  这点上飞桨也做的不错,前面有宣传称东南亚某国用的飞行器森林巡检方案,就是用飞桨来训练的,相比人力效率直接翻了两倍,并对国内全境森林实现了100%的覆盖率;还有个例子是医疗领域,打造的CT影像分析AI模型病灶识别精准度达到92%,确实可以辅助医生进行一些诊疗;还有我们熟知的手机品牌OPPO,他家手机OS的推荐系统就是基于飞桨打造的,统计称训练速度提升了8倍,比市面其他框架的表现都要好。著名深度学习框架 Caffe/Caffe2的作者也认为“飞桨的设计很干净……比TensorFlow好很多”。近日,飞桨再次得到了业界的认可,荣获了2019年度中国电子学会科学技术奖科技进步一等奖。

  对产业的友好度,和相应方案实践落地的可行性,是一个很重要的竞争力,去年IDC有个《中国深度学习平台市场份额调研》,显示TensorFlow、PyTorch、飞桨刚好占了前三的位置,就是一个很好的证明——它们都已经在大量实践中证明了自己。

  

  (IDC《深度学习框架和平台市场份额》报告)

  但是,什么样的深度学习框架能够脱颖而出,从目前的市场竞争状态来说,还不好说,随着人工智能时代的到来,以及新基建对于AI基础设施的需求,未来深度学习框架市场依然有非常大的增长空间,而目前只是一个很初级的阶段,为各大深度学习框架提供了“逐鹿”的棋盘。这时候,谁能贴近现实场景的实际需求,将技术力转化为生产力,就可以占得先机。

  当然,在早期,所有的行业参与者都能够享受到红利,这个阶段,彼此之间的合作还大于竞争。纵观商业史,那些能够持续地投入资源,持续保持更新迭代并且有能力建设一个完整的生态合作圈的平台型企业,胜出的概率更大。

  公共政策应该如何支持深度学习框架发展

  从市场经济的角度,我们当然欢迎充分竞争,由市场来选择哪一种深度学习开源框架。但是,考虑到现在国际大环境的敏感性,有形之手的参与必不可少。

  国家意志层面对科技竞争已经有明确的认知,并且提出“强化国家战略科技力量,构建社会主义市场经济条件下关键核心技术攻关新型举国体制”,这一观点,已经获得了中国科技界的普遍认可。

  深度学习开源框架作为战略科技力量的重要一环,一定要能够保证自主可控。国家和企业都对此有清醒的认识,百度CTO王海峰曾如此评价,“深度学习平台是智能时代的操作系统,是产业智能化的基础底座,是新型基础设施的重要一环。”可见在业内人士看来,深度学习框架与科研建设、智能时代甚至时下的“新基建”大潮均息息相关。

  

  (人工智能是“新基建”大潮的重要组成部分,深度学习框架则是AI的底座)

  现在的问题是,公共政策应该如何支持深度学习框架发展?

  参考过往的模式,我国面对科技竞争时,主要通过组建国家队,集中力量办大事的方式。比如,在高速列车项目上,南北车合并。在大型船舶上,南北船合并。在大飞机上,组建中国商飞。这些都是在关键核心技术领域,通过资源整合,避免重复浪费的方式,加快加强加速行业进化。可以看出,国家之间的科技竞争,主要依靠龙头科技企业来竞争。

  在深度学习开源框架上,我们呼吁,初创企业的部分,让市场去孕育,公共政策应该重点扶持已经形成了一定先发优势、具备一定基础的企业,飞桨可以说已经具备了这个基础。此外,早一点形成规模优势,早一点形成产业链优势,国际竞争力就越强。最终国家之间的人工智能竞争,靠的是集团军作战,也就是说,不仅仅是深度学习开源框架的事儿,而是包括深度学习开源框架在内的产业链上下游众多企业,他们必须拧成一股绳,因此在生态建设上越丰富、越完备的企业,也必然会受到政策的重点关注,也是值得国内其他企业向百度学习的地方。



联系我们



宽泛科技专注为人工智能、边缘计算、影视后期、动漫设计、商务应用等领域,

提供基于人脸识别、深度学习、视觉计算、VR/AR/MR、桌面虚拟化、

数据存储及数据可视化、视讯会议等信息化解决方案及服务。

如果您有合作需求或宝贵建议,欢迎来信。

邮箱:hezuo@kuanfans.com

合作热线:(021) 5415 5559


官方网站:www.kuanfans.com