作者:彭昭(物联网智库创始人&云和资本合伙人)
物联网智库 原创
转载请注明来源和出处
导 读
tinyml是指在毫瓦(mw)功率范围以下的设备上,实现机器学习的方法、工具和技术。这里的关键词是“毫瓦功率范围以下的设备”。tinyml功耗极低,不仅适用于边缘硬件,还可用于物联网终端设备,支持各种不同的电池驱动的设备,和需要始终在线的应用。最近tinyml与automl正在快速融合,构建嵌入式自动化机器学习算法,发挥更大的效力。
全文字数:4500字,阅读时间:9分钟
物女王:从all in aiot,到aiot in all
这是我在【物女心经】专栏写的第181篇文章。
aiot智联网是ai(人工智能)和iot(物联网)技术在实际应用中的落地融合。近年来,智联网aiot一词热度剧增,她正在以极快的速度从襁褓中的婴儿长大成人。
昨天,all inaiot还是单个企业的市场宣言;今天,aiot in all已经成为各行各业尝试转型以及寻找下一增长点的主力。
根据中国信息通信研究院统计预测数据显示,2020年全球人工智能市场将达到6800亿元人民币。据研究机构markets and markets在2019年发布的报告称,2019年全球aiot市场规模为51亿美元。到2024年,这一数字将增长至162亿美元,复合年增长率为26．0%。
aiot的成熟,一方面需要企业的重视与投入,另一方面需要技术的支撑与迭代。上周,我们谈到阿里投百亿加速aiot布局的“大手笔”;这周,我们来看看aiot的领域吹起的技术“新风向”。
在文章《一文读懂即将引爆的tinyml:在边缘侧实现超低功耗机器学习》中,我曾经介绍过一个新趋势:tinyml,并提到将会持续追踪tinyml的进展。
tinyml是指在毫瓦(mw)功率范围以下的设备上,实现机器学习的方法、工具和技术。这里的关键词是“毫瓦功率范围以下的设备”。tinyml功耗极低,不仅适用于边缘硬件,还可用于物联网终端设备,支持各种不同的电池驱动的设备,和需要始终在线的应用。
这些设备包括智能摄像头、远程监控设备、可穿戴设备、音频采集硬件以及各种传感器等…tinyml是一个新兴领域,是快速增长的机器学习技术和应用,是一片巨大的、未被充分开发的蓝海。
最近tinyml与automl正在快速融合,构建嵌入式自动化机器学习算法,发挥更大的效力。
automl全称是automated machine learning,自动化机器学习,这是2014年以来,机器学习和深度学习领域最炙手可热的领域之一。
我们都知道,机器学习的应用需要大量的人工干预,这些人工干预表现在:特征提取、模型选择、参数调节等各个方面。automl试图将这些与特征、模型、优化、评价有关的重要步骤进行自动化地学习,使得机器学习模型无需人工干预即可被应用。
就在今年3月,谷歌证明了automl可以走得更远。根据谷歌已将代码开源的automl-zero,如今有可能仅使用基本的数学运算作为构建块,就可以自动“进化”为完整的机器学习算法。
因此本文将介绍tinyml与automl相结合的最新进展,值得你关注的包括:
tinyml与automl“携手”的最大价值体现在哪里
嵌入式自动化机器学习算法的具体应用场景有哪些
这个领域的初创公司和各类资源的情况如何
01
tinyml+ automl的价值何在
21世纪最性感的工作是什么
你可能已经脑补了五花八门的答案,但《哈佛商业评论》(harvard business review)认为是“数据科学家”。hbr在文章中写道,“如果‘性感’意味着拥有非常抢手的稀有品质,那么数据科学家就是。”
数据科学家很难招到、工资很高、更难留住,这也许是每个试图尝试ai应用的物联网企业都会头疼的问题。
数据显示,在2018年,初级数据科学家的平均工资为11．5万美元/年,能够管理10至15人团队的数据科学家则可以拿到35万美元的年薪。
2019年,全球对数据科学家的需求量是供应量的1．5倍。超过40%的公司认为招聘不到数据科学家是严重阻碍他们竞争力的原因之一。超过60%的公司试图通过内部培训,让现有员工变身成为数据科学家。
在物联网领域,数据科学家除了稀有,还面临另一个问题:在物联网终端,很多ai绝技无法施展。分布最广的物联网设备往往体积很小、电量有限。它们被作为终端硬件,通过嵌入式传感器采集各种数据;计算能力有限,对功耗极为敏感。物联网领域占比超过95%以上,都是需要超低功耗、占用极少存储空间、完成实时数据处理的场景。能够在这类设备上实现机器学习的人才,更是精英中的高阶精英。
tinyml与automl“携手”,就是试图让物联网领域的机器学习,突破人才稀缺和硬件受限的掣肘,让机器学习算法在物联网终端自我进化,让非技术人员可以轻松的使用人工智能进行数据分析,让原本“物以稀为贵”的机器学习以亲民的方式“飞入百姓家”。
tinyml在《一文读懂即将引爆的tinyml:在边缘侧实现超低功耗机器学习》中已有详细介绍,此处重点来说automl。
02
什么是automl
为了更好的理解automl,清华校友翟伟所在公司qeexo通过一个有趣的对比进行了解释。
在某种程度上,人工智能与印刷术非常相似,它们的诞生都是人类历史上的巨大转折,而且演进过程也有一定的可比性。
印刷术发明之前,文化的传播主要靠手抄的书籍。手抄费时、费事,又容易抄错、抄漏,既阻碍了文化的发展,又给文化的传播带来不应有的损失。
就像在人工智能诞生之前,工程师们要自己写计算程序完成数据分析,不仅效率低而且有可能存在很多误判。
印章和石刻给印刷术提供了直接的经验性启示,用纸在石碑上墨拓的方法,直接为雕版印刷指明了方向。
雕版印刷的版料,一般选用纹质细密坚实的木材,然后把木材锯成一块块木板,把要印的字写在薄纸上,反贴在木板上,再根据每个字的笔划,用刀一笔一笔雕刻成阳文,使每个字的笔划突出在板上。木板雕好以后,就可以印书了。
就像在人工智能的初始阶段,工程师们为每个用例,从零开始写机器学习的代码,一个用例对应一块“雕版”,在不同用例之间代码很难重复利用,灵活性差、对工程师的技艺要求高。
活字制版避免了雕版的不足,只要事先准备好足够的单个活字,就可随时拼版,大大地加快了制版时间。活字版印完后,可以拆版,活字可重复使用,且活字比雕版占有的空间小,容易存储和保管。这样活字的优越性就表现出来了。
就像随着人工智能的发展,工程师们开始使用解耦的思维,使用现有的机器学习模块与框架活用拼凑ai。这个阶段开发一个上手的应用或许很简单,但是要开发真正的产品却很难,需要一个团队的专业人士,花费几个星期的时间完成。
而现在,我们每个人都知道如何使用电脑打字,并使用打印机将文稿印出。
automl就是试图将人工智能也带入到同样阶段的做法,让一位非专业人士,花费几分钟的时间,即可完成多个人工智能模型。在这个阶段,合适的automl工具是关键。
谷歌最近发布了一篇论文名为《automl-zero:从零开始的自动机器学习》,automl-zero:evolving machine learning algorithms from scratch。
automl-zero这个名字难免让人产生联想。当年alphago战胜了人类最强棋手,但前提是它先学会了人类棋谱,离不开人类指导。接着谷歌又推出了alphago zero,只让ai知道围棋规则,从零开始学下棋,结果再次登上棋艺顶峰。
automl-zero似乎想要证明,既然ai能从零学习围棋,也可以从零开始摸索机器学习算法。
谷歌这篇论文的全文可以通过文末的提示下载阅读。
现在谷歌已将automl-zero的开源程序提交到github,普通电脑只需5分钟就能体验一下它的实际效果。
03
应用场景有哪些
目前一些智能可穿戴设备,包括智能耳机和智能手表已经在使用相关技术。通过加速度传感器和陀螺仪辅以相应的嵌入式自动化机器学习算法,可以更好的分析用户行为,并且支持自定义手势创建、情境感知、活动分类、步态分析,提供更加贴合用户自身的服务。
智能家居也是应用场景之一。智能水壶和智能灶台可以通过声学传感器和算法,检测水是否烧开、烧开的水是否溢出、壶和锅的温度有没有过高。还可以监测智能微波炉中的玉米花是否爆开,以便及时关闭设备。
当然,你也许会想,这些场景都是“小儿科”,只有在最复杂的工业场景中实现应用,才能验证“tinyml+automl”嵌入式自动化机器学习算法真正有效。如你所料,有些企业正在将嵌入式机器学习自动算法用于预测性维护。
对于预测性维护(pdm)的发展阶段进行简单划分,可分为4个阶段:
pdm 1．0—反应性维护:当问题出现时再来解决它,例如救火。
pdm 2．0—预防性维护:包括外观检测,以及能够提供更具体、更客观的有关机器或系统状况相关信息的定期资产检测。
pdm 3．0—基于规则的预测性维护:也就是“状态监测”。传感器持续收集来自设备的数据,并根据预先设定的规则,包含在预先设定的临界值出现时发出警报。
pdm 4．0—基于机器学习的预测性维护:依靠大量的历史数据或者测试数据,结合为不同情境定制的机器学习算法,预测错误出现的时间和位置,然后发出警报。
pdm 4．0是通过先进的分析技术对资产的技术条件、使用、环境、维修历史、其他类似设备以及任何可能与之相关的大数据进行分析,预测未来将会发生的故障,并最终制定出最有效的预防措施。
在这个过程中,听声能力很重要,就像维护维修专家能够通过汽车引擎的声音,来诊断车辆的问题一样,工业设备如果拥有了一双远程的“顺风耳”,结合振动分析,就可以让pdm方案更精确。声音同样还能被用于诊断液体泄露、管道腐蚀和液位测量。
pdm4．0还面临一个规模化应用的窘境,由于每个设备的安装条件、载重性能和外部环境都不相同,单一的ai模型可能无法在类似的电机上批量复制。
tinyml+automl使用时间序列传感器,包括模拟和数字麦克风,可以自适应的创建ai模型。通过声音传感与分析,有助于识别预测性维护应用的问题。
04
初创公司&各类资源
关于tinyml+automl,有很多现成的工具和软件可以使用,物联网企业不需要招聘昂贵的数据科学家,也不需要扩充团队,就可以初步尝试。
这里介绍比较有代表性的初创公司和资源,包括qeexo、mindsdb和cartesiam。
qeexo
这家公司成立于2012年,总部位于加利福尼亚州山景城,机器学习的研发团队位于宾夕法尼亚州匹茨堡,在北京和上海拥有工程师团队。
目前已经有260多种硬件平台,超过3亿台设备,搭载了qeexo的机器学习引擎。
知名的包括在华为手机中嵌入的指关节操作技术。
指关节操作功能通过使用指关节在屏幕上敲击或勾画,快速调用系统功能,支持利用指关节双击全屏截屏、敲击并画圈局部截屏、敲击并画字母s滚动截屏、双指关节双击录屏、直线分屏等5种手势操作。今年5月,荣耀发布了新机荣耀x10,指关节操作功能首次下放给了“千元机”。
qeexo与瑞萨电子等领先硬件厂商进行合作,完成了多种硬件的适配。qeexo可支持arm cortex – m0到m4核的单片机,如瑞萨ra6m3组单片机产品。
据悉,qeexo的自动机器学习算法将在亚马逊aws上架,以saas年度订阅的方式提供服务,并将在下周周一,6月8日进行全球商用版qeexo automl的正式发布。
mindsdb
mindsdb公司成立于2017年,总部位于加利福尼亚州伯克利,源自美国加州大学伯克利分校的研究项目,其同名服务已在github上发布开源版本。
最近mindsdb完成了一笔300万美元的融资,用于扩充团队和验证商业模式。
cartesiam
cartesiam公司创立于2016年,总部位于法国土伦,商务运营中心位于巴黎和纽约,主要实现让普通的arm微控制器都能运行的无监督学习ai。
今年2月,cartesiam发布了一个名为nanoedge ai studio的软件系统,该系统能够安全地生成ai算法,并且生成的算法只需两分钟就可在arm微处理器上运行,容量大小仅为4～16kb ram。
法国的工业电子制造商eolane与cartesiam合作推出了一款名为bob assistant的温度/振动传感器,主要用于预测工业维修。目前,该解决方案已经被许多欧洲客户所采用,成为首个大规模部署的工业4．0预测性维护解决方案。
5月19日,cartesiam发布了针对stm32开发板优化的新版nanoedge ai studio软件工具。stm32是意法半导体开发的微控制器。新版提供一个新的硬件平台选项,让开发者可以直接选择意法半导体的nucleo-f401re或nucleo-l432kc开发板。在选择之后,用户可以解锁设计流程的最后一步,下载可在所选硬件平台上立即运行的自定义机器学习库。
----写在最后----
看似微小的tinyml和自我进化的automl蕴含大机会,物联网企业需要转变的首先是思维,积极拥抱和勇于尝试,或许就会开辟一番新天地。
最后,衷心感谢清华校友、qeexo中国区市场负责人翟伟在写作过程中帮我提供的大量资料以及各种支持。6月8日,qeexo嵌入式自动化机器学习服务的商用版本即将正式发布,邀请你与我们共同见证。
本文总结:
tinyml与automl正在快速融合,构建嵌入式自动化机器学习算法。
tinyml与automl“携手”,让原本“物以稀为贵”的机器学习以亲民的方式“飞入百姓家”。
嵌入式自动化机器学习算法具有广泛的应用领域,包括智能家居硬件、智能可穿戴设备、建筑物振动监测和工业预测性维护。
这个领域中比较有代表性的初创公司和资源,包括qeexo、mindsdb和cartesiam。