雪豹

对话云知声副总裁李霄寒从单模态到多模态,

发布时间:2022/7/30 17:36:43   

今朝,物联网和人为智能(AI)都是进展局势。而AI芯片正处于从通用型向专用型进展和转折的颠末之中,格外是在物联网边际侧,通用型AI芯片的计较效率较低,接着带来了成本和功耗的失配。别的,AI芯片要面临不少不同场景,很难有一款通用型产物能知足不同客户的须要。

今朝来看,有越来越多的专用型AI芯片或模组的案例出现出来,如智能家居、机械人、智能音箱等,都对专用型AI芯片提议了越来越多的须要。

因而,此刻做AI芯片是吻合墟市进展须要的,在这方面,越来越多的公司加倍求实,将其做为长时光的进展计谋,而不是抱着投机的心态去做AI芯片。云知声便是云云一家本土企业。年5月,该公司正式公布首款物联网专用AI芯片往后,不够半年的时光,本年1月其再次对外发布多模态AI芯片的研发放置。

物联网芯片放置难在哪儿?

跟着运用的进展,物联网的场景化特性会越发卓绝,此时,只供给容易芯片曾经很难知足客户须要,务必要将芯片、运用,以及效劳等有机地合并在一同,从而供给一整套的处理放置,才气知足实践的运用须要。

与此同时,在IC放置层面,与保守形式和过程比拟,会加倍繁杂,对此,云知声毗连独创人/IoT职业部副总裁李霄寒博士示意:“在最后的放置阶段,就要思索运用算法,以及究竟须要多大的算力,何如使软件能更好地运转等成分。云云,就须要IC放置团队与算法供给者有更精细的合营。此时,软件和硬件的耦合会格外精细,这会影响到开垦过程。保守的IC放置主假如依据运用来放置相干参数,而未来物联网运用之中的芯片,格外是AI芯片,在放置阶段,就要依据实践的运用处景,放置出响应的功用,而后再去公道调配软件和硬件资本,这对放置者的归纳水准和才略提议了更高的请求。”

在物联网的边际侧,对AI芯片的功能、功耗和成本提议了更好的均衡请求。对此,李霄寒示意,功能仍旧是要优先考量的,也是最要害的,在此前提下,再去探索功耗与成本的均衡,而在边际侧,成本比功耗加倍要害一些。

那末,关于边际侧AI芯片放置者来讲,何如能完成以上这些成分的均衡呢?李霄寒觉得:首先,放置者的算法补偿很要害,由于好的算法能让硬件表现最大的功效;其次,IC放置才略果然也很要害,格外是要能与业界完成精良的协助,以开掘出更多的IC放置潜力;尚有一点,也是常常被疏忽的,那便是对场景的相识,即经验过周全过程,并有产物的量产,才气对不少实践的考量成分有明确的认知,也便是KnowHow,其会疏导你的芯片放置过程。这一点格外要害。

芯片进展线路

据悉,云知声于年起头量产IVM模组,其采取了墟市上的通用型芯片。由于那时墟市上还没有通用型的AI芯片,因而多因而多核的CPU来完成AI加快器的功用。也便是在年,该公司决议自行做AI芯片,并起头了相干的筹办和研发处事。

颠末两年多的研发,年5月,云知声公布了其UniOne第一代产物——雨燕,这是一款单模态的语音专用的AI芯片。据悉,该公司不但供给雨燕芯片,还供给响应的开源处理放置,包罗芯片、引擎、运用,以至尚有云霄效劳,以及手机APP代码。据李霄寒讲解,云云做,有益于客户迅速布置其产物,省去了找第三方开垦各式运用的时光和成本。

据悉,今朝曾经有近10家客户导入了雨燕芯片,况且在本年上半年,很快就可以在墟市上看到响应的量产产物。

此刻的AI芯片范畴,存在着多种架构,每家都有不同的神经网络和机械进修产物,那末,云知声的AI芯片是采取何如的架洽商IP呢?据悉,第一代雨燕芯片采取的是该公司自行研发的DeepNet1.0,而其正在研发的新一代多模态AI芯片则采取了晋级版本——DeepNet2.0。

向多模态演进

在物联网运用早期,不少AI芯片都因而单模态功用切入墟市的,最为遍及的便是语音运用。然则,未来的运用会是多模态合并的,机械人便是一个典范的多模态运用实例,还犹如车载芯片,因而,多模态是墟市进展的势必趋向。云知声在原有单模态语音AI芯片的底子上,正在研发多模态芯片,要紧针对语音和图象的处置须要,其响应的产物便是基于DeepNet2.0的。

据悉,云知声以DeepNet2.0IP为中枢的AI架构,算力也许到达4T。DeepNet2.0是多模态神经网络处置器IP,其要紧特性是也许撑持多种推理网络兼容,如LSTM、CNN、RNN以及TDNN等;撑持可重构计较;还撑持Winograd处置,将乘法计较量降至向来的一半下列,大幅提拔了计较效率。李霄寒示意,DeepNet2.0是相对通用的IP核,既也许知足音频运用须要,也也许完成对图象的处置。

别的,DeepNet2.0还撑持多NPU的组网,构成模块化的网络,来撑持算力的须要。

关于架构,李霄寒示意,即使每家的架构都有各自的特性和完成法子,但其上头的软件会慢慢完成统一,也便是说,撑持机械进修的算法会慢慢构成统一的框架。未来,有或者构成在不同AI芯片硬件上头,也许运转一齐神经网络的模子,这在未几的未来是全面有或者呈现的。

从来以来,一提起云知声,业妻子士第一反映便是:这是一家做语音放置的公司,对此,李霄寒示意:“众人给云知声贴的这个标签是个别的,并没有反映出咱们公司集体才略。实践上,云知声在图象处置方面也有多年的技巧补偿。咱们在这块很早就起头布局了,并在年起头发力,将响应的算法融入到了实践的产物之中。”

据悉,为了在智能语音、图象处置等多模态技巧方面完成迅速攻破,云知声很早便在内部搭建了号称云知声版“TensorFlow+GKE(GoogleKubernetesEngine)”的Atlas机械进修计较平台,基于该平台也许完成各式算法的迅速迭代,况且也许矫健调度算法和算力,极地面提拔了研发效率。

在中枢比赛力方面,云知声采取的都是自家多年补偿的IP。对此,李霄寒示意:“咱们在研发、推行芯片产物的同时,慢慢树立、琢磨出了一支强有力的军队。咱们在做语音专用的DeepNet1.0的时分,墟市上还没有相干的产物,惟独本身研发。况且,在推向时分往后,回响不错,咱们才实实到处地意识到这是一款很不错的产物,格外适当咱们的算法和场景。因而,在此底子上,咱们进展出了DeepNet2.0,与DeepNet1.0比拟,DeepNet2.0在功用上有了极大的巩固,格外是算力方面,到达了4T,别的,DeepNet2.0也许撑持多种NPU,这也就象征着也许撑持多模态。”

就在本年1月初,云知声正式对外发布,其正在研发数款多模态AI芯片,离别是面向物联网的雨燕-Lite,这是第一代雨燕的晋级版本;面向聪明都市的海豚(Dolphin);面向聪明出行的车规级芯片雪豹(Leopard)。

进展三阶段

关于云知声的进展颠末,李霄寒做出了云云的归纳:公司于年创立,于今已有6年多的时光,该公司将其进展史籍分红了3个阶段。

李霄寒示意:“公司创立之初的两年,是技巧上风树立阶段。在该阶段,云知声要紧供给软件算法、引擎,效劳等;从年起头,咱们加入到了产物上风树立阶段,也便是众人所熟知的“云霄芯”的产物编制。从那时起,云知声就不是只供给算法这么容易了,而是起头供给运用产物了,当初以软件为主,况且是调度了各式软件效劳的产物。而智能调理是咱们的主疆场,也许供给一整套的软硬件放置。在年以前,云知声是不具有硬件放置才略的,为了补齐短板,咱们在深圳创立了一家分公司,特意举办硬件放置和研发;做分娩物往后,咱们加入了范围上风树立阶段,基于咱们的芯片,完成大范围的量产,况且在响应的运用范畴,排名行业第一。咱们从来在观看墟市和时期须要,以装备咱们响应的才略,从而辅助客户处理题目。这也是咱们于决议做芯片的要紧缘故,墟市须要在那边,咱们就去做。况且那时墟市上还没有专用的AI芯片,为了知足客户对软硬件的集体须要,咱们务必本身研发AI芯片。”

加快足步只争早晚

未来,不同的运用处景和范畴会对AI芯片有不同的典范和准则请求,包罗功耗、接口等方面,都市构成响应的准则。“未来,AI算法很或者都市有响应的准则出台”,李霄寒示意:“硬件和软件之间的算法接口,很或者在未几的未来拟订准则,云云,就也许完成在统一AI芯片上运转不同厂家的算法,这类或者性是全面存在的。而关于咱们公司来讲,要争夺走得充裕快,争夺成为准则的实践拟订者。实践上,咱们在家电范畴曾经完成过相同的方针,云知声是第一家在白色家电范畴完成专用语音芯片落地的供给商,响应的测试准则实践上是由咱们拟订的。咱们做出测试典范往后,客户就用该准则去请求一齐的供给商。未来咱们仍然会遵从云云的形式进展,争夺成为更多行业准则的实践拟订者。”

关于端和边际侧AI芯片墟市,李霄寒觉得,边际侧的AI芯片墟市充裕大,况且仍旧处于进展早期,远没有到众人在一个红海里拼杀的水准。关键仍是要做好供给侧的事宜,墟市的须要很大,也有不少厂商在跟进,但在现阶段,众人的产物做的还都不敷好,即使云知声走在了墟市的前列,但仍然有很大的提拔起间。

“关于云知声来讲,要只争早晚呀!”李霄寒说。

人物简介

李霄寒博士于年考入华夏科学技巧大学少年班,年得到中科大记号与消息系统博士学位。他曾前后效劳于想象、摩托罗拉华夏、Nuance华夏、隆重语音改变院等国表里闻名公司,前后担当技巧司理、主任工程师以及研发总监地位。

他在年得到“微软学者”称呼,在年介入天下第一款嵌入式非特定人华文语音判别软件研发并将其精深用于摩托罗拉系列产物中;随后在年介入天下第一款嵌入式语言人判别软件的研发。李霄寒博士在年月表微软,在年月表隆重介入“NIST国际语言人判别评测”大赛,共得到七个单项第一、两次总分第一名的崇高成绩。

今朝他做为云知声毗连独创人及IoT职业部副总裁,分管产物研发。李霄寒博士负责带队研发的业界第一款物联网AI芯片在年上半年胜利流片。

此日是《半导体行业观看》为您分享的第期体例,迎接

转载请注明:http://www.aideyishus.com/lktp/936.html

------分隔线----------------------------

热点文章

  • 没有热点文章

推荐文章

  • 没有推荐文章