当前位置:
文档之家› AR 增强现实的技术实现及案例
AR 增强现实的技术实现及案例
第三方Emotient2014年3月7日推出了一体验款全新应用,可以利用谷歌眼镜分 析其他人的心理感受。Emotient 起源于加州大学的 “机器感知实验室” (Machine Perception Lab),它能分辨出类似于喜悦、愤怒、悲伤、惊讶等等基 础表情,以及焦虑、沮丧等复杂表情,普通网络摄像头就能支持分析。这家公司 已经于2016年1月8日被苹果收购。
院等公共场合明确禁止使用,用户甚至得到了“眼镜混蛋”(Glassholes)的不 雅称呼,有人认为正是谷歌的极端限售造成了拥有眼镜的人成为少数派,所以被
社会孤立。
- 97 -
Google Glass
谷歌眼镜应用:Emotient通过表情分析情绪,虽然有认为Google Glass的应用 场景太少,但类似Emotient这样的系统在商业营销分析中还是很有帮助。
图片来源:小熊尼奥《口袋动物园》
- 93 -
AR
《Sight》(以色列2012) 导演兼编剧:丹尼尔· 拉索
- 94 -
Google Glass
谷歌眼镜最初在2012年4月5日发布,13年10月30日又发布了第二代,加了微型 耳塞(前代骨传感耳机在嘈杂背景下听不清),并对小型近视眼镜架做了适配处
一代
二代
两代Kinect都是两个传感器,一个是红外传感器,主要用来监视人体的动作、深 度和温度,另一个则是用来识别颜色的RGB摄像头,两代都有人脸检测,3维重 建等功能。 Kinect一代,彩色摄像头为640*480,深度摄像头为320*240,只能 识别两个人的骨骼数据;K二代,彩色为1080P,深度摄像头为512*424,能识 别六个人的骨骼、手指的灵活运动,甚至能监控用户的脉搏,识别稳定精度更高。
导航软件APP;
旅游景区介绍景点的APP; 等等
Navdy采用DLP技术, 配备了5.1英寸透明HUD “Feels Like Driving In The Future”
国内企业的机会不在于平台,而在于找到用户痛点,从小功能突破。汽车后 装HUD生产商Navdy2014年8月众筹引起轰动效应,目前国内在汽车HUD领 域创业的正如火如荼,可以连接汽车OBD接口显示汽车状态数据、可连手机 接电话及语音回短信、可导航、可语音或手势交互,渐渐将成为汽车智能平 台。该领域技术难点在于台式机的散热、强日光下的呈像清晰度,或者要抛 弃Navdy路线。
AR
提到AR,可能想到的应用:
战斗机的平视显示器
汽车的HUD(Head Up Display)抬头显示(或称平视显示器)(宝马汽车高 端车型均已应用此类技术)
图片来源:AUTONET
- 91 -
AR
AR其实一直在我们的生活中 购物比价软件;
点读笔;
谷歌的对译; 语音翻译软件APP;
- 92 -
AR
AR有两类,一类是不融合现实,只从旁提示信息用,像Google Glass,一类是 与现实融合,而融合方式又分两种,一种是透明AR(optical see-through):透 过镜片直接看到现实世界;另一种是视频叠加AR(video see-through或video overlay):通过摄像头捕捉前方现实世界,以视频加其它增强信息共同呈现给用 户。AR可以看成VR的超集,镜片前面一遮就成了VR,不过目前AR的FOV还是 太小了,反过来,VR加个前置摄像头也可实现视频叠加型AR,现在手机和平板 上已经出现了很多video overlay的APP,比如上海的小熊尼奥(15年获纪源资本 GGV Capital领投、高通等跟投的1.2亿人民币)。两种融合AR遭遇的挑战都是 刷新延迟,视频叠加AR相比透明AR,优势在于算法简单、劣势在于多为2D视频, 如果是3D沉浸式的,延迟问题更大。 视频叠加AR的两大底层引擎,德国Metaio 于15年5月22日被苹果收购后暂停对外服 务,Vuforia于随后的 10月12日被高通卖给 了物联网公司PTC还对外服务,其它引擎 还有法国TOTAL IMMERSION的D„Fusion、 国内的Realmax、亮风台HiScene等。
过手势、语音、蓝牙点击配件Clicker交互,支持眼球追踪,可以在墙上获取消息、 查找联系人,在客厅墙上直接进行Skype视频通话、观看球赛,在地上、家具间 玩Minecraft等游戏,甚至于可以将创造的虚拟物品通过3D打印变为实物。
“Because when you change the way you see the world, you can change the world you see.” Hololens不认为自己是AR,而 认为自己是MR(Mix Reality)
Google Glass
LCOS 硅基液晶微投影技术。Google Glass实际上就是微型投影仪+摄像头+传 感器+存储传输+操控设备的结合体,用的是Himax的Color Sequential LCOS显 示器(类似于DLP,用硅基液晶反射光线),型号HX7309,分辨率640x360 , 显示区尺寸4.8*2.7毫米,经曲面镀膜棱镜反射后,显示效果如同2.4米外的25英 寸16:9屏幕,摄像头像素为500万,可拍摄 720p视频,16G内存,支持WiFi与蓝 牙连接;全镜重50g,电池570mAh,藏于右镜架脚, 一次充电6小时可用,但拍 照只能用2小时,拍视频撑不到40分钟。
AR 增强现实的技术实现及案例
- 89 -
AR
先烈:谷歌眼镜(Google Glass)2012年4月发布, 它可以通过声音控制拍照、视频通话和辨明方向,
以及上网冲浪、处理文字信息和电子邮件等。
先锋:微软HoloLens全息眼镜于北京时间2015年 1月22日凌晨与Window10同时发布,6月15日微软 在E3游戏展上展示更完整的现实增强版《Minecraft》 游戏。 新锐:Magic Leap成立于2011年,2014年获得谷 歌领投的5.42亿美元投资,Magic Leap曾在2015年 9月发布过一段“直接利用Magic Leap技术”实现 的视频,没有添加任何特效,但样品一直没有曝光。
- 101 -
微软HOLOLENS
Hololens借用了Kinect的核心技术,准确说应该是头戴版Kinect+微投影。 Kinect一代是基于测量红外光斑来进行深度检测,Kinect二代是基于time-of-flight 技术。一代采用的是以色列PrimeSense的三维测量技术,该公司后来被苹果收 购,而二代采用的ToF技术是09年微软收购的以色列公司3DV的,微软之所以没 有在一代产品中采用3DV的技术,主要是3DV的感光芯片要测量光飞行时间,须 做到飞秒级的快门,据说他们在芯片中用到砷化镓,使其时钟频率提高到上百G, 但这样做成本太高。
网站上找到了Google Glass 的材料,增设了录制视频的闪烁提示灯以规避隐私 侵犯问题,另有消息称,眼镜复出将主打2B路线,以尽量规避隐私争议。不过看 图还是单目的!
- 99 -
微软HOLOLENS
微软HoloLens于北京时间2015年1月22日凌晨与Window10同时发布,迅速赢得 舆论关注,6月15日微软在E3游戏展上展示更完整的现实增强版《Minecraft》游 戏。HoloLens利用3D投射,在现实场景之上叠加一层立体的虚拟展示界面,通
- 102 -
微软HOLOLENS
Kinect上市之初微软5亿美元营销,邀请美国脱口秀女王Oprah Winfrey在节目中 说“You are the controller”标语,赢巨大关注。消费者可以150美元单买 Kinect1,或以299美元同时购买Xbox 360和Kinect1,销售一度良好。 但是,Kinect叫好不叫座,2015年停产!Xbox One上市后与Kinect2捆绑499美 元销售,问题是一直配套游戏多属家庭娱乐与健身,并且体感游戏对客厅空间有 要求,缺重型游戏。难敌399美元的索尼PS4,销售比拉开到1:3,微软只得于 2014年6月9日放开捆绑销售,可以399美元购买Xbox One,主机销售虽稍稍追 回,因为价钱低了,且没有了Kinect的资源占用,图像性能提升了10%,而 Kinect则慢慢滑向深渊。微软为了扩大应用,还曾于2012年2月推出第一代 Kinect for Windows,售价为249美元,2014年7月推出第二代Kinect for Windows,售价为199美元,不过,最后到2015年4月初宣布停产。Kinect家族 累计卖出2900万部。
图片来源:谢煜,知乎
- 96 -
Google Glass
2015年1月19日,谷歌正式停止了谷歌眼镜的“探索者”项目,虽然成了先烈, 索尼、三星、联想以及国内很多初创企业也在跟进发展自己的Glass。 Google Glass得到了外科医生、建筑工人、机修工程师等技术人才的认可,但失 败的原因有三点:1、1500美元的价格太贵,应用少显得性价比不高;2、挂在 右眼上方的小屏幕,与现实世界分离,斜眼分散注意力,容易有出行风险;3、 助长了偷拍、偷录等不法行为,触及了隐私与版权的底线,有些酒吧、餐厅、影
Kinect团队转战Hololens,是新生,还是会重蹈覆辙HoloLens是一款基于深度摄像头,高性能处理器和双屏幕显示的头戴式计算机设 备,可以独立使用,支持WiFi和蓝牙,内置CPU、GPU和一颗首创的HPU全息 处理器,具备立体音效系统以及一整套传感器实现各种功能。不过Hololens不像 Google Glass那样在室外用,而是设定为室内用,避免了Google Glass的隐私争
议,我们认为一是室内光线较暗、利于其展现,二是Hololens室内预建模的需要。
图片来源:Imgur,作者不详
- 104 -
微软HOLOLENS
HoloLens原理如下图:微软凭借积累深厚的Kinect深度摄像头技术,以及基于 SLAM(实时定位与地图构建)技术打造的Kinect Fushion 3D建模技术,从原型 机试用报告看,3D渲染达到720P画质、刷新无延迟、定位精准。再下图,感觉 Hololens在识别方面用的还是Kinect1的光编码技术,如果能用上Kinect2的ToF技 术,产品就可以用于户外,但是,成本!功耗!