前言:
在ai时代,深度学习框架和操作系统类似,起着承上启下的作用,连接芯片与应用,拥有强大算力的ai芯片加持,ai技术将得到更广泛普及。
npu成移动ai的核心载体
手机正常运行离不开soc芯片,其集成的各个模块共同支撑手机功能实现,如cpu负责手机应用流畅切换、gpu支持游戏画面快速加载,而npu(神经网络处理器)就专门负责实现ai运算和ai应用的实现。
npu又叫独立网络加速引擎。可以按照字面意思理解,它是专门用来处理数据包转发的芯片。主要的工作是收到数据包,按照包的地址,快速转发出去,就像一条快递传送带。并且它只负责包的转发,无法处理其他业务逻辑。
cpu像是人的大脑,可以计算加减乘除,也可以用来学习英语,还可以用来逻辑推理,npu更像是计算器,只能计算加减乘除,但因为“专器专用”,npu处理效率很高,功耗更低。
如果没有npu,数据包的转发也能通过cpu来进行处理,但当设备多数据量大时,cpu占用就会变高,处理不过来时就会丢包,导致网络无法使用。而这些特定的数据包转发规则,可以交由npu处理,cpu可以减少最多99%的工作量。
深度学习+开源的百度飞桨
在海量数据时代,数据的收集、组织、分析、运用都将推动社会的发展。随着数据量的不断增长、算法不断演进和迭代,对极致算力的需求也越来越大,而软硬件的充分结合则显得尤为重要。
百度飞桨是国内自主研发、开源开放、功能最完备的产业级深度学习平台,集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体,提供深度学习和机器学习任务开发、训练、部署能力,加速企业从算法研发到产业落地的过程。
飞桨框架是源自产业实践深度学习框架,同时支持静态图和动态图搭建网络,支持高效大规模分布式训练,同时推出了像paddleslim模型压缩还有安全加密的工具,以及在服务端和移动端进行预测部署一些引擎。
而paddle lite是飞桨推出的一套功能完善、易用性强且性能卓越的轻量化推理引擎,支持多种硬件、多种平台,具备轻量化部署、高性能实现等重要特性。
在算力层向上,向下连接芯片,向上连接了应用场景的就是深度学习框架及平台,在ai时代能够帮助开发者便捷、快速完成深度学习技术研发的作用。
据idc报告显示,百度飞桨与谷歌、facebook名列前三,领衔中国深度学习平台市场,也是市场份额前五中唯一的国货。
瑞芯微加持百度飞桨
ai 算力是制约 ai 产业发展和开发者创新的痛点之一,瑞芯微 rk1808 aiot 芯片平台具备的可叠加、级联特性,将激活更丰富的 ai 应用场景与创新产品,满足产业链对ai高性能计算的产品需求。
近日瑞芯微正式宣布,旗下ai芯片rk1808、rk1806适配百度飞桨开源深度学习平台,充分兼容飞桨轻量化推理引擎paddle lite。
瑞芯微ai芯片rk1808及rk1806,内置独立npu神经计算单元,int8 算力高达3.0tops;采用22nm fd-soi工艺,相同性能下的功耗相比主流28nm工艺产品降低约30%,在算力、性能、功耗等指标上均有优异的表现。
经实测,瑞芯微ai芯片在paddle lite中运行mobilenet v1耗时仅为6.5 ms,帧率高达153.8 fps,二者充分兼容并高效稳定运行。
通过适配飞桨开源深度学习平台,瑞芯微芯片将能更好地赋能国内用户的业务需求,为端侧ai提供强劲算力;二者的融合,将充分发挥软硬件结合的优势,加快开发部署速度,推动更多ai应用的落地。
此外,除rk1808及rk1806芯片解决方案外,瑞芯微旗下搭载npu的ai系列芯片也将陆续升级适配百度飞桨,进一步深化双方合作关系,携手助力我国自主可控ai生态的构建。
瑞芯微和百度的合作是从硬软两方面赋能ai应用,在当下的ai时代,深度学习框架和操作系统类似,起着承上启下的作用,连接芯片与应用。而拥有强大算力的ai芯片加持后,ai技术将得到更广泛普及。
通过适配飞桨开源深度学习平台,瑞芯微的ai芯片将更好地赋能国内用户的业务需求,为端侧ai提供强劲算力。
结尾:
随着ai行业的不断前行,相关的软硬件充分结合,必然能在生态层面发挥出更大效能。届时,ai应用、场景也将变得更为多元化,也更能满足业界和消费者的需求。