va天堂在线

va天堂在线 门户 资讯 详情
  • av在线视频
  • 视频主播在线

九江资讯网 2020-08-22 450 10

从算力、数据、算法、工程化等维度看AI的未来


原标题:从算力、数据、算法、工程化等维度看AI的未来

2020年是不寻常的一年,全球的康健、商业、经济、在线电视直播 、政治和科技领域,无不产生着深刻的变化。笔者所在的科技领域,也恰逢现代人工智能(简称AI)发展10周年。前10年,人工智能技能得到了长足的发展,但也留下许多问题有待解决。

那么,未来AI技能将会如何发展呢?本文将联合学术界、工业界的研究结果,以及笔者小我私人研究见解,从算力、数据、算法、工程化4个维度,与读者一起探索和展望AI发展的未来。

一、数据

va天堂在线我们起首分析数据的发展趋势。数据对人工智能,犹如食材对鲜味菜肴,已往10年,数据的获取无论是数目,照旧质量,又或者是数据的种类,均增长显著,支持着AI技能的发展。未来,数据层面的发展会有哪些趋势呢,我们来看一组分析数据。

起首,世界互联网用户的基数已到达十亿量级,随着物联网、5G技能的进一步发展,会带来更多数据源和传输层面的能力提升,因此可以预见的是,数据的总量将继续快速发展,且增速加速。参考IDC的数据陈诉(图1),数据总量预计将从2018年的33ZB(1ZB=106GB),增长到2025年的175ZB。

以上对于未来数据的趋势,可以总结为:数目连续增长;云端集中存储为主;公有云渗出率连续增长。站在AI技能的角度,可以预期数据量的连续供应是有包管的。

另一个方面,AI技能需要的不仅仅是原始数据,许多还需要标注数据。标注数据可分为自动标注、半自动标注、人工标注3个种别。

那么,标注数据未来的趋势会是怎样的?

va天堂在线我们可从标注数据工具市场的趋势窥伺一二,如图4所示。可以看到,人工标注数据在未来的5-10年内,大概率依然是标注数据的主要来源,占比凌驾75%。

通过以上数据维度的分析与预测,我们可以得到的判断是,数据量自己不会限定AI技能,但是人工标注的成本与范围很可能成为限定AI技能发展的因素,这将倒逼AI技能从算法和技能自己有所突破,有用解决对数据特别是人工标注数据的依赖。

二、算力

我们再来看看算力。算力对于AI技能,犹如厨房灶台对于鲜味佳肴一样,本质是一种基础设施的支持。

算力指的是实现AI体系所需要的硬件计算能力。半导体计算类芯片的发展是AI算力的根本源动力,好消息是,虽然半导体行业发展有起有落,并一直陪同着是否可连续性的怀疑,但是半导体行业著名的“摩尔定律”已经经受住了120年磨练(图5),信赖未来5-10年依然可以或许平稳发展。

不外,值得注意的是,摩尔定律在计算芯片领域依然维持,很大缘故原由是由于图形处置惩罚器(GPU)的迅速发展,弥补了通用处置惩罚器(CPU)发展的趋缓,如图6所示,从图中可以看出GPU的晶体管数目增长已凌驾CPU,CPU晶体管开始落后于摩尔定律。

固然,半导体晶体管数目反应整体趋势可以,但还不敷准确地反应算力发展情况。对于AI体系来说,浮点运算和内存是更直接的算力指标,下面详细对比一下GPU和CPU这2方面的性能,如图7所示。可以看出,GPU无论是在计算能力照旧在内存访问速率上,近10年发展远超CPU,很好的弥补了CPU的性能发展瓶颈问题。

另一方面,依照前瞻产业研究院梳理的数据,就2019年的AI芯片收入范围来看,GPU芯片拥有27%左右的份额,CPU芯片仅占17%的份额。可以看到,GPU已成为由深度学习技能为代表的人工智能领域的硬件计算尺度设置,形成的缘故原由也十分简朴,现有的AI算法,尤其在模子训练阶段,对算力的需求连续增长,而GPU算力恰好比CPU要强许多,同时是一种与AI算法模子自己耦合度很低的一种通用计算装备。

除了GPU与CPU,其他计算装备如ASIC、FGPA等新兴AI芯片也在发展,值得行业存眷。鉴于未来数据大概率仍在云端存储的情况下,这些芯片能否在提高性能效率的同时,包管通用性,且可以被云厂商范围性部署,得到软件生态的支持,有待进一步观察。

三、算法

va天堂在线现在我们来分析算法。AI算法对于人工智能,就是厨师与鲜味佳肴的关系。已往10年AI的发展,数据和算力都起到了很好的辅助作用,但是不能否认的是,基于深度学习的算法联合其应用取得的性能突破,是AI技能在2020年取得里程碑式发展阶段的紧张缘故原由。

那么,AI算法在未来的发展趋势是什么呢?这个问题是学术界、工业界集中讨论的焦点问题之一,一个普遍的共鸣是,延续已往10年AI技能的发展,得益于深度学习,但是此路径发展带来的算力问题,较难连续。下面我们看一张图,以及一组数据:

1. 根据OpenAI最新的测算,训练一个大型AI模子的算力,从2012年开始计算已经翻了30万倍,即年平均增长11.5倍,而算力的硬件增长速率,即摩尔定律,只到达年平均增速1.4倍;另一方面,算法效率的进步,年平均节省约1.7倍的算力。这意味着,随着我们继续寻求算法性能的不停提升,每年平均有约8.5倍的算力赤字,令人担心。一个现实的例子为本年最新公布的自然语义预训练模子GPT-3,仅训练成本已到达约1300万美元,这种方式是否可连续,值得我们思索。

2. MIT最新研究表明,对于一个过参数化(即参数数目比训练数据样本多)的AI模子,满足一个理论上限公式:

上述公式表明,其算力需求在理想情况下,大于即是性能需求的4次方,从2012年至今的模子体现在ImageNet数据集上分析,现真相况是在9次方的水平上下浮动,意味着现有的算法研究和实现要领,在效率上有很大的优化空间。

3. 按以上数据测算,人工智能算法在图像分类使命(ImageNet)到达1%的错误率预计要花费1亿万亿(10的20次方)美元,成本不可蒙受。

联合前文所述的数据和算力2个维度的分析,信赖读者可以发明,未来标注数据成本、算力成本的代价之高,意味着数据红利与算力红利正在渐渐消退,人工智能技能发展的焦点驱动力未来将主要依赖算法层面的突破与创新。就目前最新的学术与工业界研究结果来看,笔者认为AI算法在未来的发展,可能具有以下特点:

va天堂在线(1)先验知识表示与深度学习的联合

纵观70多年的人工智能发展史,符号主义、毗连主义、举动主义是人工智能发展初期形成的3个学术流派。如今,以深度学习为典型代表的毗连主义事实成为已往10年的发展主流,举动主义则在强化学习领域得到重大突破,围棋大脑AlphaGo的成绩已家喻户晓。

值得注意的是,原本独立发展的3个学派,正在开始以深度学习为主线的技能融合,好比在2013年,强化学习领域发明了DQN网络,其中接纳了神经网络,开启了一个新的研究领域称作深度强化学习(Deep Reinforcement Learning)。

va天堂在线那么,符号主义类算法是否也会和深度学习举行融合呢?一个热门候选是图网络(Graph Network)技能,这项技能正在与深度学习技能相融合,形成深度图网络研究领域。图网络的数据结构易于表达人类的先验知识,且是一种越发通用、推理能力更强(又称归纳偏置)的信息表达要领,这大概是可同时解决深度学习模子数据饥渴、推理能力不足以及输出结果可解释性不足的一把钥匙。

va天堂在线(2)模子结构鉴戒生物科学

va天堂在线深度学习模子的模子结构由前反馈和反向流传组成,与生物神经网络相比,模子的结构过于简朴。深度学习模子结构是否可以从生物科学、生物神经科学的进步和发明中吸取灵感,从而发明越发优秀的模子是一个值得存眷的领域。另一个方面,如何给深度学习模子加入不确定性的参数建模,使其更好的处置惩罚随机不确定性,也是一个可能产生突破的领域。

(3)数据天生

va天堂在线AI模子训练依赖数据,这一点目前来看不是问题,但是AI模子训练依赖人工标注数据,是一个头痛的问题。利用算法有用解决或者大幅降低模子训练对于人工标注数据的依赖,是一个热门研究领域。现实上,在人工智能技能发展历程中一直若隐若现的美国国防部高级研究计划局(DARPA),已经将此领域定为其AI3.0发展计划目标之一,可见其紧张水平。

(4)模子自评估

现有的AI算法,无论是呆板学习算法,照旧深度学习算法,其研发模式本质上是通过训练闭环(closed loop)、推理开环(open loop)的方式举行的。是否可以通过设计模子自评估,在推理环节将开环体系进化成闭环体系也是一个值得研究的领域。在通讯领域,控制领域等其他行业领域的大量算法实践表明,接纳闭环算法的体系在性能和输出可预测性上,通常均比开环体系优秀,且闭环体系可大幅降低性能断崖式衰减的可能性。闭环体系的这些特性,提供了对AI体系提高鲁棒性和可反抗性的一种思绪和要领。

四、工程化

va天堂在线上文已经对人工智能数据、算力、算法层面举行了梳理和分析,末了我们看看工程化。工程化对于人工智能,犹如厨具对于鲜味佳肴一样,是将数据、算力、算法联合到一起的前言。

工程化的本质作用是提升效率,即最大化利用资源,最小化减少信息之间的转换丧失。打一个简朴的比喻,要做出鲜味佳肴,食材、厨房灶台、厨师都有,但是唯独没有合适的厨具,那么厨师既无法发挥厨艺(算法),又无法处置惩罚食材(数据),也无法使用厨房灶台的水电气(算力)。因此,可以预见,工程化未来的发展,是将上文提到的算力与算法性能关系,从现在的9次方,迫近到理论上限4次方的紧张手段之一。

已往10年,AI工程化发展,已形成一个明了的工具链体系,近期也陪同着一些值得存眷的变化,笔者将一些较为明显的趋势,汇总如下:

总结来说,AI工程化正在形成从用户端到云端的,以Python为编程语言的一整套工具链,其3个紧张的特点为:远程编程与调试,深度学习与呆板学习的GPU加速支持,以及模子训练与推理工具链的解耦。与此同时,产业链上游厂商对开源社区的大量投入,将为中下游企业和小我私人带来工具链的技能红利,降低其研发门槛和成本,笔者认为微软、脸书、英伟达3家上游厂商主推的开源工具链尤其值得存眷。

五、结语

va天堂在线对于人工智能技能已往10年发展取得的成绩,有人归因于数据,也有人归因于算力。未来人工智能技能发展,笔者大胆预测,算法将是焦点驱动力。同时,算法研发的现实效率,除了算法结构自己,还取决于设计者对先进工具链的掌握水平。

未来10年,科技界是否能用更少的数据,更经济的算力,得到真正意义上的通用智能呢?我们拭目以待。


鲜花

握手

雷人

路过

鸡蛋

分享

邀请

下一篇:暂无上一篇:暂无

最新av在线视频 (0)

Archiver|手机版|小黑屋|九江资讯网  

© 2015-2020 Powered by 九江资讯网 X1.0

微信扫描

黄三级100种日本免费欧美色情的电影迅雷下载超碰在线观看视频播放器在线播放DVD吹石奈玲狠恨爱狠狠爱小说超碰在操在线视频免费观看很很鲁在线观看综合李宗瑞伦理视频免费成人电影在线观