千亿国际 千亿国际 资讯 大咖专访 检查内容

AWE 2018 系列访谈 二丨Rokid AI与AR:大脑与视觉-人机交互的设计闭环 ...

2018-6-7 11:43| 公布者: callia

择要: ARinChina在AWE现场采访,Rokid AI与AR:大脑与视觉-人机交互的设计闭环

在本次AWE上,一共有500位来自于差别行业的演讲者分享他们在AR和VR探究中的经历,见地,产物或效劳公布以及将来的趋向。此中,我们看到一个在AI界很熟习的名字——Rokid。Rokid建立于中国杭州,在北京和旧金山辨别设有独立服务处,其先后取得IDG资源和元璟资源的A轮投资僧人珹资源的B轮投资。往年1月拿到了淡马锡领投的1亿美元投资,估值4.5亿美元。2014年自建立以来,Rokid智能家居呆板人“ALIEN · 外星人”, 智能音箱“PEBBLE · 月石“以及全栈式语音处理方案等。在2017年,Rokid一失常态,推出了AR Glasses,分支打入了AR市场。这一活动在事先遭到了不少质疑——不断在做AI产物的Rokid假如开端涉足AR范畴会不会分流研发才能;而看似半路出家的Rokid AR Glasses借助自家AI的研发根底发生有何过人之处。


摄于AWE 2018 Design Track 

Rokid R-Lab研讨者 樊星分享AR Glasses中的用户交互设计


固然这一次Rokid在AWE上并没有展台,但Design Researcher Paris Fan在Design Track上和浩繁AR/VR从业人士分享了设计Rokid AR Glasses中的需求留意的消耗者体验题目,以及中国消耗者的实行后果。我们请到了哈佛大学设计学院结业,前Google设计师,现任Rokid硅谷R-lab首席产物设计师的姜公略来分享AR Glasses设计中的经历,题目和趋向。据悉,6月26日,Rokid自主研发的AI芯片也将正式表态。


ARC:能复杂引见一下Rokid位于旧金山的R-Lab在Rokid的产物链条中处于什么地位,详细做哪块事件呢?


姜公略:Rokid在旧金山的R-Lab次要承当第一阶段到第二阶段的研发,也便是前端研发以及消耗者测试。起首我们在研讨将来产物(Future Product),然后实验怎样将其转化为前端产物(High-end Product)进入到消耗者市场。在中国杭州的团队次要承当第二阶段到第三阶段的推行,把产物分发到消耗者手中。美国团队在2016年景立,现在有30人左右,往年是第二次参与AWE。这届AWE固然范围更大了,但在使用层面的开展我觉得照旧偏慢的,次要缘由照旧在硬件的开展上。现在还没有一款产物是真正能面向消耗者的。一旦有如许的硬件呈现之后,消耗者用起来后,这个财产才会降落。B端都是偏定制化的精准需求,用AR能做得更好一点的。


ARC:我们在往年的AWE上也看到了20余款AR Glasses。那么您以为在AR Glasses铺向消耗者端面对最大的几个题目是什么?


姜公略:起首,面消耗者端最早的实验应该是Google Glass,有几个错误:1)带上当前不像正常的眼镜,太像Geek或Techie。看到他人带上的还以为在主动录制。2)技能上有一些痛点,比方续航才能的题目,另有便是敌手机的能耗很大,必需连上手机,当手机原本电量低的时分,电量会降落得十分快。由于我自身之前在Google任务以是用过一段工夫的Google Glass。3)光学表现不敷弱小。图像表现在眼镜上部,只要13度的FOV,3)使用也比拟有范围。基于以上的几个题目,我们的AR Glasses在会合处理这些题目。起首,眼镜的设计是墨镜的方式,我们不会有部件是暴露在里面的,包罗摄像镜头也是隐蔽在墨镜外面的。第二,Rokid AR Glasses续航能到3-4个小时。第三,我们的设计是All-In-One设计,不需求链接得手机,眼镜自身是独立的运算设置装备摆设,内置骁龙835的芯片。

摄于AWE 2018 Qualcomm公布的最新芯片


同时,眼镜搭载的是Android零碎,开辟者十分容易在平台上开辟软件,开辟者只需求略微改一改就可以在我们的硬件上运用。我们还提供了十分丰厚的SDK,比方摄像头、SLAM,人脸辨认、物体辨认、硬件交互。之前的Google Glass算不上真正意义的AR,它只是信息表现,AR最紧张的局部是认知理想中的物体,跟理想中的物体发生交互。


ARC:这次Rokid作为演讲者的身份在Design Track分享了AR Glasses设计上的经历。次要是哪方面的经历呢?前面会怎样优化Rokid AR Glasses?


姜公略:这次樊星分享的次要是两个典范的实行和案例:此中一个是我们如今会合霸占的语音交互这一块。事先我们挑选了许多扬声器,起首包管它充足小,可以放到镜筒里,乃至还试过骨传导的方案,但是信息通报并欠好。我们需求支持的次要是TDS语音,以是在Rokid AR Glasses眼镜下方用了一个麦克风阵列。终极我们选择了一其中等型号的扬声器,放到了镜腿的前面,然后用前音腔的导管导到了后面。以是在整个设计当中,经过做用户研讨,做出来,用户反应,然后迭代产物。


前面我们要霸占的最大的题目是光学,光学有几个差别的方案:1)我们用的是自在曲面光学的方案(Freeform Optics);2)市道市情上有导波光学方案(Waveguide Optics);3)ODG接纳的Birdbath光学设计;4)另有Birdbath和Waveguide合体的Hololens如许的光学方案。我们团队以为导波光学方案将来远景比拟好,但它的题目是本钱极高,量产才能极低而且光效能很差,耗能很大,这个技能现在还不太成熟,尤其在量产上是很难的。像之前说的这个财产能起来必需要靠肯定的量级。由于开辟者会需求看你平台有几多用户量,否则不会参加出去开辟的。以是我们在选择方案的时分在量产上肯定要契合本钱和需求。以是终极选择了我们本人研发的一个自在曲面的光学方案,光服从在50%以上,相较之下,导波光学的光服从在10%以下。在运转才能和亮度的状况下,我们同比会有5倍多的续航才能。而如许的光学模构成本可以控制在几美元左右,如许才有走消耗者机的根底。

图:几种差别的AR Glasses所运用的光学处理方案


我们盼望如许的方案能运用1-2年的工夫,然后再储藏下一轮的导波光学方案。


ARC:那么您以为Rokid AR Glasses从漏洞市场到大范围消费会花多永劫间?目的市场次要面向哪一块?


姜公略:我们在往年年末会对Rokid AR Glasses停止大范围量产。将会把目的市场定在中国和美国两个市场。也不扫除欧洲、日本等,但现在BD次要照旧在中美两国。我们第一款AR Glasses是在美国CES上公布的,但我们许多需求方来自于中国,由于我们曾经做过AI方面产物的量产,以是我们也有异样的气力做AR Glasses。美国这边更多的照旧to B的,但之前更多的照旧激进张望的形态。在这一届AWE上可以看到许多中国公司,在数目上完全不亚于美国公司,并且技能上也没有太大的差距。固然许多专利还在美国这边,但可以做许多变革(Variation),做改良,由于原理没法请求专利,由于光学原理都一样。比方我们首创的自在曲面方案,做了全新的使用。

Rokid AR Glasses佩带结果


ARC:小编有理解到Rokid也在研发本人的半导体和AI芯片,在当前会不会使用到本人的AR Glasses下面呢?


姜公略:AI芯片我们次要照旧做语音这一块。我们的中心是AI赋能(AI Enabler),用AI来赋能人机交互。人机交互现在重点在语音和视觉,有了AI技能才干做到语音辨认,才干做到TTS,让呆板收回和人一样的语音,从而训练呆板,发生呆板学习。整个算法可以用于语音上,也可以用于视觉。固然我们视觉起步比拟晚,但也在减速视觉上的积聚,并自主研发呆板视觉,人脸辨认和物体辨认等中心技能。以是我们曾经将这一套联合AR和AI的处理方案打包起往复赋能财产了。比方有一些公司曾经把他们的人脸打卡机从三巨擘的产物交换成我们的产物。我们自身也投入了许多资源去做视觉这一块的赋能。行将推出的AI芯片是我们曾经打磨得很成熟的语音零碎提炼出来做出的芯片,但将来不扫除我们会做视觉偏向的芯片。


ARC:除了语音和视觉之外,Rokid在人机交互上另有其他的方案和结构吗?


姜公略:实在我们有个观点叫XUI,便是一切的人类感官和呆板的互动。但现在最紧张的照旧视觉、听觉和触觉。要说有其他的结构的话除了语音交互,视觉交互我们还在研讨触觉交互,便是手势交互,另有一种全新的Touch Screen。这个不克不及泄漏太多细节,下一代的产物会有一种全新的Touch感官,也是中心的输出方法之一。其他的感官我以为需求人类在视觉和听觉的到极大的满意后会逐步开辟出来。包罗我们本人的AR Glasses, 我以为另有5-10年的工夫去做到充足玲珑。

Rokid AR Glasses 具有多种表面颜色


我们深挖的场景并不是鼓舞消耗者24小时佩带,而是一天花上约莫1-2个小时的运用场景,乃至更短的工夫内能完成一个义务,并经过它完成十分丰厚的体验——比方游乐土、户外探究、演唱会、游戏、室内购物这种较短工夫的会合体验。


从久远来讲,Rokid终极的愿景(Final Picture)是“人类伴随”(Personal Companion),回抵家后懒懒地坐在沙发上让Rokid帮你搞定其他的工具,在家里的AI能逐步理解你并融入家庭生存,进步生存质量。而Rokid AR Glasses可以协助你在户外也衔接上这个零碎,提供无缝的便当和赋能,以是当AR Glasses整合出去了之后,这是一个交互闭环(Full Cycle)。


最初也请各人存眷6月26日Rokid行将在北京的新品公布会,将会公布Rokid AI芯片等重磅产物和效劳。


更多AWE2018精髓演讲、访谈和展现原型,请存眷ARinChina后续报道。

分享至:
| 人珍藏

相干阅读

Copyright © 2013-2017 ARinChina加强理想中国   All Rights Reserved.