无法在这个位置找到: banner.htm

新闻是有分量的

募资198彩面对2020年15亿个AI终端的市场需求,定制

2019-11-13 11:51栏目:198创业

募资198彩

随着AI算法的逐渐成熟以及芯片算力的提升,历经几年的热潮之后,AI技术只要落地应用才干取得进一步的开展。不过,算法需求与芯片算力不匹配的需求成为了AI落地的一大障碍,AI软硬一体化成为关键。但在软硬一体化进步效率的同时,如何满足多样化的需求也十分关键,定制化成为了趋向。
 
AI终端市场的多样化需求
 
这一轮AI热潮,不只让越来越多的人认识和理解了AI技术,198彩AI也正在成为每台智能设备日常工作的一局部。事实证明,深度神经网络(DNN)十分有用,但是AI的进一步开展和落地仍有很多应战。比方,如何使得现有处理计划跟上开展趋向?如何扩展处理计划?如何以成熟的工具链缩短TTM(Time to Market)和降低本钱?
 
面对这些问题,需求整个产业链的协作,共同满足市场的需求。依据市场研讨机构的报告,到2022年,全球具有计算机视觉/机器视觉相继的范围将超越15亿个,包括智能手机、安防、消费电子、汽车图像传感器、工业等。
 
这就意味着,定制化的AI加速器能够更好地满足市场的不同需求,但与此同时,AI在边缘端的落地也面临应战。CEVA营销副总裁Moshe Sheier以为,在边缘AI中,AI的落空中临的问题就是数据量太大且运算太复杂,芯片的算力十分关键。
 
如何破解AI处置器的带宽难题?
 
Moshe Sheier近日承受雷锋网 采访时表示,AI算法公司在做落地项目的时分,受困于硬件算力缺乏的问题,可能会牺牲很多特性。所以我们如今希望算法公司可以向芯片公司提出更多的需求,让芯片的设计可以更好地满足算法需求。只要算法的效率进步了,AI才干更好的落地。
 
提到效率,无法避开的问题就是AI到底需求专用还是通用的芯片,通用的芯片可以更好顺应算法的演进,但算力不及专用芯片。Moshe Sheier以为,AI加速器一定是一个趋向,同时,视频DSP在AI中十分重要,由于AI算法还有很多不肯定性。往常算法公司不会只采用一种神经网络,而是会停止组合。运转多个神经网络模型就一定会触及对结果停止CV的处置,这时分CPU可能会面临一些瓶颈。我们的XM DSP针对了一切盛行的神经网络都停止了优化,可以更好的满足多神经网络的算法。
 
基于对盛行神经网络特征的了解,CEVA在今年9月推出了第二代面向边缘设备的AI推理处置器架构NeuPro-S,NeuPro-S系列包括NPS1000、NPS2000和NPS4000,它们是每个周期分别具有1000、2000和4000个8位MAC的预配置处置器。NPS4000具有最高的单核CNN性能,在1.5GHz时可到达12.5 TOPS,并且可完整扩展,最高可到达100 TOPS。
 
依据官方的说法,与CEVA第一代AI处置器相比,NeuPro-S的性能均匀提升50%,内存带宽和功耗分别降低了40%和30%。
 
这种性能的提升主要来自硬件还是软件的优化?Moshe Sheier表示主要是来自硬件,由于CEVA在NeuPro-S中增加了离线的权重紧缩和硬件的权重解紧缩。
 
之所以要这么做,是由于神经网络与视频编解码不太一样,即使很小的图片,引入卷积后权重的数据量十分大,因而带宽成为了AI处置器的瓶颈。而CEVA采用的多重权重紧缩,可分为两种方式,一种是零值和非零值,能够用4bit或者8bit表示,另一种是经过查表的方式,经过共用权重,只传一次数据,减少对带宽的需求。
 
不只如此,NeuPro-S还支持多级内存系统。详细而言,就是参加了L2内存的支持,用户经过设置L2的大小,能够尽量把数据放在L2的缓存,减少运用外部SDRAM,降低传输本钱。
 
Moshe Sheier指出,硬件增加L2并不复杂,CEVA主要的工作是在我们CNDD软件框架中参加对L2内存的支持。
 
因而,NeuPro-S相比上一代NeuPro十分重要的工作就是停止带宽的优化,这样才有可能到达理论设计的应用率。雷锋网理解到,CEVA设计神经网络引擎时最关注的问题就是乘法应用率,CEVA借助DSP设计的丰厚经历,设计出的神经网络引擎理论的乘法应用率在80%-90%、固然实践应用率会低于理论值,但NeuPro-S带宽的增大将可以减少数据的等候,能进步乘法应用率。
 
最终,经设计优化NeuPro-S,可以对边缘设备中视频和图像中的物品停止分割、检测和分类神经网络,显着进步系统感知性能。除了支持多级内存系统以减少运用外部SDRAM的高本钱传输,并支持多重紧缩选项和异构可扩展性,提升算力满足AI算法的需求。
 
目前,CEVA的NeuPro-S曾经过了车规考证,已受权答应予汽车和消费产品相机应用范畴的抢先客户。
 
定制AI处置器成为趋向
 
更值得一提的是,CEVA能够在单个统一架构中完成CEVA-XM6视觉DSP、NeuPro-S内核和定制AI引擎的各种组合。这样的架构的意义在于,首先是可以经过不同的组合满足市场的需求;其次,经过统一的软件平台,能降低AI算法开发者算法部署难度,据悉CNDD支持Caffe、TensorFlow和ONNX;另外,还能减少AI加速器开发者软件的开发本钱。
 
“有些网络如今还是在演进过程中,CPU要停止其他的控制工作,所以要运转AI加速器不支持网络,或者加一些新特性时运算单元不够。我们的计划就既有CEVA的视觉 DSP,关于级连神经网络,视觉DSP能够作为主控,也能够处置一些AI加速器不能处置的网络,再与客户的硬件加速器一同,更好地满足神经网络计算需求。“Moshe Sheier表示。
 
Moshe Sheier同时强调,做一个硬件简单,但是做上层软件很复杂。所以我们搭配视觉 DSP也提供了愈加开放的CDNN的软件框架,这个软件框架能够让客户本人的硬件加速器的驱动集成到软件框架中。然后,CDNN将会全面优化、加强网络和层,提升CEVA-XM6视觉DSP、NeuPro-S和定制神经网络处置器的应用率。
 
据引见,CDNN更倾向于上层,基于CEVA的经历以及理解定制AI加速器的特性,可以停止任务的分配。AI加速器的开发者需求做的就是可以将其硬件驱动,而CEVA也会给AI加速器开发者提供底层驱动参考,其它大量的工作以及优化都由CDNN完成。
 
目前CEVA曾经向抢先客户提供CDNN-Invite API,将于2019年底停止普遍受权答应。
 
雷锋网小结
 
CEVA作为全球重要的无限链接和中能传感器技术IP公司,募资198彩采用CEVA技术的设备每年大约出货10亿台设备。就正在落地的AI来说,CEVA凭仗在DSP设计中多年的经历,以及针对盛行神经网络的优化的经历,在今年推出了第二代AI加速器。但正如Moshe Sheier所言,设计出硬件并不难,如何部署和应用才是关键。这其中软件十分关键,CEVA以愈加开放的心态,能够让AI加速器开发者更容易的集成和应用,同时可以降低本钱,这关于AI的进一步开展意义严重。这是由于,我们看到Arm上月推出了Arm Custom instructions,允许用户参加自定义指令功用。