汽车
导航
增强现实(AR)
智能座舱

什么是 AR 实景导航?背后涉及到哪些技术?

关注者
84
被浏览
155,251

47 个回答

下面这篇文章,是以高德地图的步行导航为例,来说明AR实景导航设计方面的相关知识。

高德地图的步行导航借助智能定位和视觉识别功能,将 AR 标识真正有机地融合在道路环境中,构建了地图与真实世界的映射关系,呈现更加直观的实景指引,帮助方向感不强的用户解决起步找方向难、不知何时转向等步行难题,使用户便捷高效的到达目的地。

用AR让步行导航更真实可感

在360度 UI 空间中,设计用于聚焦,站立时的自然视角是平视视角,而最佳可视范围是90度,在这个范围内我们可以清晰的看到所有信息,所以我们在设计的时候会将最重要的信息展示在用户进入体验后默认位置的90度视角内。

角度:连接现实的引导识别

在设计 AR 转向标时,考虑到 AR 转向标更重要的是在三维空间里指准方向,不同于传统导航呈现的是平面视角;所以从整体的形态定义而言,高德地图参考了现实环境中的路牌样式,重在解决的是导航过程中“我去哪”的问题。

同时区别于 2D 界面设计的一点还在于三维空间中不仅有角度,还有曲面(环形视角),为了保证引导的可视性,引导标尺寸设置了极小值和极大值,结合辅助动效,使引导标识在极端角度下也能够辨清方向。

尺度:由远及近的空间感知

为了打造真实感,引导标识完全按照物理世界的体感打造;远小近大的空间关系,全局全时的光照投影,给人物理世界的真实感受。

AR 让步行导航更精准高效

AR 导航实现的关键在于增加了对于周边事物的识别定位,融合了图像定位和 GPS 定位,所以在精准度和实时性上都比传统导航提升很多,结合 AR 第一视角进行 POI 导览、辅助决策、指引导航等服务,提高地图的读图效率,那么为了更好的在用户体验上融合,首先我们要先来明确下 AR 在步导场景下的体验特性。

因此,为了信息能够在导航的过程中更精准高效的展现,梳理了如下设计策略。

信息内容:精准可靠的方向指引

由于 AR 导航的视距是当前视距,所以优点在于能够精准指出“当前怎么走”,但是对于超视距的导航用户是没有感知的,所以在底部仍然保留了 2D 地图,让用户明确“之后怎么走”。

空间动态:安全可视的透明模式

为了避免诱导标影响用户视野,无法获知自身的定位,在10米靠近诱导标放大时,做了安全可视的透明模式,这样在明确方向的同时也能清晰的知道当前的环境定位。

交互策略:及时明确的状态反馈

步导在行进过程中,从安全角度并不建议持续使用,但是为了确保整个体验流程是高效通畅的,需要多维度给予用户交互反馈,避免用户在体验过程中发生意外或者中断;比如在关键路口转向时,即使没有手持导航,也会通过语音及震动提示,避免错失路口。

串联场景:高效自然的手势切换

首创的手势自动切换功能,高效的为用户进行地图模式切换,给予不同状态下的信息需求显示。

用户使用步行导航时,竖起手机即可自动进入 AR 导航模式,3D 引导标识随即出现在道路环境中;将手机放平则无缝切换为传统地图导航模式,摄像头随之自动关闭,减少系统耗电;同时为了达到流畅自然的切换效果,在动画探寻的过程中追求平稳中有承接性,所以 3D 模式切换至 2D 模式时,采用的是图面上移的方式作为承接。

随着科技的发展,AR时代应运而生;AR的交互方式不仅提升了交互的准确性、精度,更提升了用户接近真实世界的能力。

摘自《高德技术》

编辑于 2022-03-24 14:19

说的直白点,就是让我这种路痴直接跟着指示的路线走,不用我思考,不用我去各种查各种问,“所见即所得”

AR 实景导航不神秘,几年前高德地图就搞出来了手机版本的AR 实景导航。

比如步行实景导航,借助智能定位和视觉识别功能,将 AR 标识真正有机地融合在道路环境中,构建了地图与真实世界的映射关系,呈现更加直观的实景指引,帮助方向感不强的用户解决起步找方向难、不知何时转向等步行难题 [1]

在360度 UI 空间中,设计用于聚焦,站立时的自然视角是平视视角,而最佳可视范围是90度,在这个范围内我们可以清晰的看到所有信息,所以我们在设计的时候会将最重要的信息展示在用户进入体验后默认位置的90度视角内。

考虑到 AR 转向标更重要的是在三维空间里指准方向,不同于传统导航呈现的是平面视角,同时区别于 2D 界面设计的一点还在于三维空间中不仅有角度,还有曲面(环形视角),为了保证引导的可视性,引导标尺寸设置了极小值和极大值,结合辅助动效,使引导标识在极端角度下也能够辨清方向。

为了打造真实感,引导标识完全按照物理世界的体感打造;远小近大的空间关系,全局全时的光照投影,给人物理世界的真实感受。

背后的技术:融合了图像定位和 GPS 定位,结合 AR 第一视角进行 POI 导览、辅助决策、指引导航,最核心的技术就是高精度地图、视觉定位与增强现实算法。

用户使用步行导航时,竖起手机即可自动进入 AR 导航模式,3D 引导标识随即出现在道路环境中;将手机放平则无缝切换为传统地图导航模式,摄像头随之自动关闭,减少系统耗电;同时为了达到流畅自然的切换效果,在动画探寻的过程中追求平稳中有承接性,所以 3D 模式切换至 2D 模式时,采用的是图面上移的方式作为承接。

高德地图也上线了手机端的AR驾车导航功能 [2],可为用户带来更加直观的路线、方向和车道级实景导航体验。该功能目前已经支持部分安卓手机。

高德AR导航借助智能的图像识别技术以及专业的交通大数据和车道级导航引擎,可直接在拍摄的现实道路画面中,实时呈现直观的3D导航指引,大幅降低驾驶人对传统2D电子地图的读图成本,辅助用户在转向、岔路口、变换车道等多种关键场景下,更快更准确地做动作决策。

以新手司机经常面临的并线问题为例,高德AR导航依据导航规划、当前定位、车速、路况等动静态数据和对车道的图像识别,会智能地在合适时机给出变道并线提醒,用户在保障安全的前提下跟着箭头行驶即可。

AR HUD也是AR实景导航的一种

ar HUD的技术原理,其实并不复杂,汽车前挡风玻璃是反射镜,在驾驶员人眼前投射一个实时的图像,图像本身来自下方的主机,从成像屏幕正面看, 成像幕上的图像通过第一个镜子(反射镜)反射到第二个更大的镜子(AR HUD 镜)上,再射向挡风玻璃,由此形成视域较大的增强 投影面,看下面图就能一目了然 [3]


再直观一点的话,大概是这样:

目前的技术难点:

• 显示效果受环境光影响较大,在较亮的环境光下无法看清图像:透明玻璃能够反射回来的光只占总强度的很少部分,白天,环境光很强,显示效果不佳。

  • 成像距离一般在2-4米,图像与真实的路面场景脱离,在观察过程中,视觉盲区依然存在;
  • 成像尺寸一般在4寸左右,显示的信息种类比较单一;
  • 有些HUD需要通过外置一块玻璃来显示成像,存在一定的安全隐患;
  • 大部分将图像投射到挡风玻璃上的后装HUD都无法解决图像重影的问题;
  • 由于AR-HUD的亮度更高,随之而来的代价则是温度的升高

AR-HUD对于驾驶员来说非常直观,通过结合现实路况信息,实时出现一些虚拟箭头来直观地引导我们前进,从而避免在驾驶中出现开过路口和分散驾驶员注意力的情况。

AR-HUD将与ADAS高度融合。比如,跟车距离预警、压线预警、红绿灯监测、提前变道、行人预警、路标显示、车道偏离、前方障碍物、驾驶员状态监测等等。同时,通过颜色的变化来提醒驾驶员安全度。

Nissan

整合更多新场景。AR-HUD将结合当前位置、地图和场景AI等来为驾驶员提供路过景区、商场、餐厅等信息,实现车与道路环境的互联。


我是 王亚辉,清华大学汽车人机交互方向博士后,高校副研究员,也是汽车技术公司产品创新总监,如果你对智能座舱、自动驾驶、汽车用户体验感兴趣,请关注我。

另欢迎对汽车人因学、汽车HMI、Human-AI Interaction感兴趣的同学报考研究生。

参考

  1. ^AR步行实景导航  https://new.qq.com/omn/20220228/20220228A032FE00.html
  2. ^高德地图AR 手机实景导航  https://www.youxihezi.net/info/14530.html
  3. ^AR HUD 技术原理  https://www.zhihu.com/question/455583504
编辑于 2022-03-26 18:39

AR实景的全称是Augmented Reality,直译过来就是扩增现实或增强现实。在2021年,AR导航成为汽车行业的一个热门配置。

AR背后的技术

一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的,需要由三部分组成:

光学透视系统:

光学透视(opticalsee-throughHMD)中,排除了来自于摄像机的信息,真实场景的图像经过一定的减光处理后,直接进入人眼,虚拟通道的信息经投影反射后再进入人眼,两者以光学的方法进行合成。


视频透视系统:

视频透视式(Videosee-through)系统具有简单、分辨率高、没有视觉偏差等优点,但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。

Monitor-Based:

在基于计算机显示器的AR实现方案中,摄像机摄取的真实世界图像输入到计算机中,与计算机图形系统产生的虚拟景象合成,并输出到屏幕显示器,用户从屏幕上看到最终的增强场景图片。


基于monitor-based和视频透视式显示技术的AR,通过摄像机来获取真实场景的图像,在计算机中完成虚实图像的结合并输出。因为会存在一定的系统延迟,需要通过计算机进行修正。

基于光学透视系统显示技术的AR,真实场景的视频图像传送是实时的,不受计算机控制,因此不可能用控制视频显示速率的办法来补偿系统延迟

在非汽车领域AR的应用

其实在非汽车领域,AR导航产品出现的较早。百度地图手机端至少在2018年之前提供了ar导航功能。在步行导航时,通过手机相机即可看到全景路线和终点位置,方便用户辨别方向、在复杂路口做决策。

在步行导航过程中,用户不需要频繁的查看app界面,只需结合语音导航、真实街景即可轻松找到方向,顺利抵达目的地。步行导航与AR技术的连接,在起点、转向、目的地等场景中,步行结合AR第一视角进行POI导览、辅助决策、指引导航等服务,提高地图的读图效率。同时,用户可自由切换步行AR导航与普通导航两种模式,使用普通导航的用户只需点击页面右下角的缩略图,即可一键切换到AR导航模式。直接解决了在陌生城市(特别是我这种生在青岛不知道东南西北方位的人),寻找目的地的痛点。

而汽车上的AR导航,早就由一些品牌的行车记录仪提供了服务。工作原理是用手机连接记录仪的WIFI,然后在手机上打开与行车记录仪合作的导航APP,进行AR导航。在CARPLAY普及之后,可以把手机上的APP界面直接投影在中控屏幕上,进一步的完善了汽车上的AR导航。

所以说单纯的AR导航在技术上的门槛早已经被攻克。相对于技术进步的步伐,汽车驾驶人对于AR导航的应用却显得有些滞后。原因倒是很简单:老司机即使没有AR导航,凭借平台导航一样可以找到目的地;而新手司机根本在驾驶过程中面对复杂又陌生的路况本身就很吃力,再抽出精力去看中控屏就很不现实。

这种情况一直延续到AR导航以AR-HUD的模式出现。

AR-HUD(Augmented Reality- Head Up Display)翻译过来,就是增强现实的抬头显示功能。可以看做是AR由中控显示向智能座舱全系显示过渡中的一个产物。

2021款的奔驰S算是较早提供了AR-HUD功能的车型,将HUD功能和现实道路相结合,通过投射到前风挡上的引导箭头。系统可以对驾驶员行驶车道进行提示,并且还能识别出车辆和行人,极大提高行车的安全性。

之后大众集团以及红旗、长城、传祺、吉利等自主品牌,搭载AR-HUD的车型都纷纷上市。长城摩卡、吉利星越L等自主品牌搭载AR-HUD上市。自主品牌供应商也开始推出各自的产品。

很明显单纯的AR技术基本上已经被解决,相比之下AR与HUD的结合品——AR-HUD才是最为前沿的技术。技术的重点转移在HUD投射上 。

AR-HUD的投射原理

AR HUD是一个光学投影系统,其影像源部分是技术核心,并且占据了较大的硬件成本。这里所说的成像方式便说的是影像源成像的技术方案。

根据影像源的硬件与原理的不同,目前AR-HUD产品,主流的成像方式分为:TFT、DLP、LCOS、LBS几类方案。

TFT

TFT是TFT-LCD的简称,也是目前主流AR HUD厂商的技术路线。因为是开发时间较长的一个方案、技术上相对成熟,并且能控制成本,所以应用的厂家也比较多。原理是由LED发出光,透过液晶单元后将屏幕上的信息进行投射。

TFT作为相对老的技术,依旧有不足之处。在解决投影时阳光倒灌方面还需要进步,另外就是光效较低,亮度相对来说比较欠缺。使用代表产品WEY摩卡的时候,明显感觉到戴着有偏光功能的太阳镜会出现部分信息看不清楚的情况。

DLP

DLP即Digital Light Processing的缩写,采用的是德州仪器的DMD专利芯片。

DMD就是DigitalMicromirror Device,翻译为数字微型反射镜元件。DMD芯片是依靠众多的微反射镜控制光线的反射方向实现工作的,微反射镜的偏转角度越大,图像的对比度越高,偏转速度越快,图像的延迟越低。通过聚光透镜以及颜色滤波系统后,来自投影灯的光线被直接照射在DMD上。当镜片在开的位置上时,它们通过投影透镜将光反射到屏幕上形成一个数字的方形像素投影图像。

通俗一点说,就是DLP投影技术应用了数字微镜晶片(DMD)来作为主要关键处理元件以实现数字光学处理过程。

目前日本精机和国内的华阳、疆程、京龙睿信都能够提供DLP相关的解决方案。相对于TFT方案,DLP的效果更好。但是由于DMD核心掌握在德州仪器手中,供应商比较单一。并且因为之前是应用于液晶屏行业,所以成本上相对来说比较高。

LCOS

LCOS(Liquid Crystal on Silicon),即液晶附硅,也叫硅基液晶,是一种基于反射模式,尺寸非常小的矩阵液晶显示装置。这种矩阵采用CMOS技术在硅芯片上加工制作而成。属于反射式micro LCD投影技术,采用CMOS技术在硅芯片上加工制作而成。

LCOS的分辨率上限很高,可以到达4K或者8K的级别,体积更小适合于模块化布局。与DLP相比,供应商比较多,因此无论是在降低成本还是国产化趋势上,都更具前景。目前能够生产LOCS芯片的厂家有Ominivision、奇景光电、南京芯视元、Syndiant。

不过LCOS也和TFT一样属于光源是偏振光,这就意味着带着偏光镜使用会出现问题。另外,前面说了LCOS的上限高,但是下限也低。特别是使用LED为光源时,亮度达不到要求如果使用激光光源,那么急于目前车规级的厂商较少,成本必然增加。

LBS

LBS即Laser Beam Scanning缩写,也被叫做MEMS微激光投影。这种方案是将RGB三基色激光模组与微机电系统结合的投影显示技术方案。

与传统投影设备中的卤化物灯相比,激光是一种非常高效的光源。激光投影系统的机械部件很少,激光束可以通过镜面进行偏转,系统稳定性好。运行时间长达1万多个小时。各像素点激光的颜色及亮度受图像信号调制,在每个像素点上可产生1600万种颜色。图像具有极其鲜亮的色彩。激光管可关可开。特点是功耗小且图像对比度高。不过LBS目前产品的分辨率只能达到720P左右。打算LBS通过把光学引擎大幅度简化,体积优势明显,而且对比度和亮度在目前来说都是最高。因此,LBS的分辨率会随着时间慢慢提高,也许会成为未来最好的选项。




发布于 2022-03-26 23:28

现在车多了,出行方便了,有了导航,让我们不再为陌生的道路而慌张,因为导航导航了我们出行的 方式,让我们可以说走就走,自驾出行也更加的便利,但是实际的情况是,有很多道路太过复杂,在一些邻近路口,导航会提前提示,而我们可能拐早了,或别晚了,从而造成绕行,而高速可能因为没有提前变道而错过下道口,而在一些立架更是让头痛。

而对于提供导航服务的高德来说,它当然会提升自己的服务质量,以自己的技术改善导航的精确度以及准确性,让我们更加的信认导航。而不是在道路设计不合理的情况下,总是手忙脚乱,有时还可能发生意外的交通事故。而实景AR导航就是要给大家解决这个问题,实景,完全一样的景色导航,比数字3D导航更贴全实际。要不要更方便呢?而这个产品就是高德车载音箱。

这个产品的官方名字叫天猫精灵高德版,它其实是一个车载音箱,但是它不并想只干这一件事情,只是让司机听听音乐吗?那么汽车有不会听音乐的吗?当然不能让司机心动了,而它的强大功能,更主要的就是提供语音辅助,以及实景AR导航。它的组合是这个样子的。

是的,小伙伴没有看错,就是一个行车记录仪,加一个蓝牙音箱一样的设备了,而这个行车记录仪是盯盯拍的产品,这个音响就是天猫精灵了,这就是一加一要大于二的结果。

它们的结合方式就是天猫精灵可以语音互动,同时通过行车记录仪进行车头实景取影,加上高德的AR实景导航技术,进行实际叠加,给司机一个实际导航的提示,这样的行车更加的安全,再也不会因为路口多而错过或是拐早了。

它是基于高德地图的,所以导航的基本信息都是有的,电子眼,是否拥堵,优化行车路线,这些功能都一个不差,更多的就是它还有天猫精灵的功能,语音交互,非常的方便,解放司机的双车,专心驾车,想干什么直接语音就可以达到操作的目的。

不过这个系统并不是所有汽车都可安装的,它是有车型的适配,目前适配的车型还是比较多的,不过主要还是适配有阿里系统支持的车型,还有就是有斑马系统的车型。这样可以达到原画即插即用,所以看看自己的车型,是不是使用的斑马系统呢,是的话,司机朋友就有福了,可以使用这套AR实景导航。

对于消费来说,满足需求才是买单的根本,这套系统下来价格可不低,达到了2千元左右,不过对于有实际需求,常自驾出行的小伙伴来说,它还是相当实用的,需可以满足导航需求,还有行车记录仪,真的是一举多得呀。

发布于 2023-05-07 09:21

AR全称为:Augmented Reality即增强现实技术,是一种创新的交互方式,可实时计算摄影、摄像位置和角度,并加上相对应图像、视频、3D模型技术,最终把现实世界以对应的虚拟对象在屏幕上展示出来,并可与用户进行交互。

当AR实景导航技术运用于车载导航方面,首先需要利用摄像头将前方道路的真实场景实时捕捉下来,再结合汽车当前定位、地图导航信息以及场景 AI 识别,进行融合计算,最后生成虚拟的导航指引模型,并叠加到真实道路上,从而创建出更贴近驾驶者真实视野的导航画面!

相较于传统的2D 或 3D 电子地图,AR实景导航技术大幅降低了用户浏览当前路况的读图成本, 带来比传统地图导航更加精准、更加安全的用户服务体验。

背后涉及到的技术主要包括:

1.图像识别技术,用于识别场景中的物体;

2.虚实融合技术,将虚拟信息与实景进行无缝融合;3.定位技术,包括GPS、IMU、视觉SLAM等技术,用于确定用户当前的位置和朝向;

4.交互技术,包括手势识别、语音识别等技术,用于与用户进行交互。

这其中任何一项技术单独展开来讲都是一项复杂庞大的工程!对行人而言,AR导航确实提供一定帮助,但在跟踪精度和用户体验上依旧存在问题!AR导航需要对环境进行实时监测,手机要随着行进不停移动。但如果手机频繁晃动,图像的画面就会变化得很快,容易导致跟踪失败,AR导航的体验感就不会那么好。

发布于 2023-05-02 20:09

伴随着社会和科技的发展,广大用户对于精准定位和导航的需求也在逐步增加,不论是国内还是国外,这一服务技术的提供者数不胜数。室外导航系统虽然已经处于成熟阶段,但是因为室内环境复杂,楼层路径多变等一系列的原因,室外导航系统的服务业务无法向着室内导航系统横向发展。

其实早在二十世纪九十年代,受到卫星定位的影响,国外就已经有公司研发出了首个室内导航系统,但因为种种原因没有得到广泛应用。二十一世纪初,国外几个大型的互联网公司也相继研发出了各种可以展示室内平面建筑提供导航站点线路的软件。我国政府也投入了大量的人力、物力以及财力研究和实现室内外两用的精准导航系统。

在 AR 基础下室外导航系统的发展。

AR 的意思即增强现实,就是在屏幕上把虚拟世界投射或者套在现实世界并进行互动。现如今, AR 已经广泛应用于多个领域。随着科技的不断进步,手机、电脑等移动设备从一开始只能进行文字交流到现在可以通过摄像头和传感器获取生活中我们想看到的图片和视频信息。自从 AR 技术出世以来,研究 AR 技术的研究所和高校逐年增长,如谷歌公司所研创的眼镜,能将客户所需要的信息通过眼镜镜片上显示屏传给客户。

AR 基础下室内导航系统的现状及研究。大型室内建筑区域太大,室内环境复杂多变,例如大型商场或者地下商业街等,活动范围太大,人在进入之后有时会迷路预常外导航系统基本无法做到。

准确定位也无法给行人提供准确的路线,而国内外所研发的很多室内导航软件,基本上只能提供浏览功能,在实景上还缺乏实时定位和导航能力,因此,兼法解决室内出行这一难题。手机等移动互联网设备可以为室内导航系统提供良好的媒介和技术上的支持,致力于研究和开发室内导航系统的公司和机构可以通过手机端上的传感数据及卫星信号的接收来进行室内定位及导航系统的研究。

发布于 2023-05-18 07:30

AR实景导航是什么?

是一种将AR技术与导航功能的结合,是一种将真实世界信息与虚拟世界“无缝”缝合的新技术。

它采用车载摄像头或者手机摄像头作为眼睛,只要开着摄像头就能看到全景路线与终点位置,将虚拟的二维导航融入摄像头的现实场景中,最终呈现出虚拟与现实结合在一起的场景。

通过高德地图软件开启手机就可以在手机屏幕或者车载大屏上显示真实的道路场景,再将计算出的导航路标指示覆盖在真实场景之上,从而实现全景导航。

你明白了吗?

AR实景导航系统也是非常实用的一个驾驶辅助功能,AR实景导航,采用增强现实技术,通过虚拟引导与现实结合的方式,能够获得更直观的导航体验。

在行驶当中可以更加准确地显示出,比如说限速标识等关键的道路,设施和关键地点,避免驾驶员出现违章或者是错过重要地点的情况。

它可以有效地与我们车上的AR系统进行结合,支持车道偏离系统,前车碰撞预警系统,有效地提高了我们行车安全,比现在传统的2D地图导航实用N多倍。

发布于 2023-05-02 17:39

AR(Augmented Reality),即增强现实技术,是一种创新的交互方式,可实时计算摄影机影像位置和角度,并加上相对应图像、视频、3D模型的技术,最终在屏幕上把虚拟世界置放到现实世界中,进行交互互动。

当AR实景导航技术运用于车载导航方面

首先需要利用摄像头将前方道路的真实场景实时捕捉下来,再结合汽车当前定位、地图导航信息以及场景 AI 识别,进行融合计算,然后生成虚拟的导航指引模型,并叠加到真实道路上,从而创建出更贴近驾驶者真实视野的导航画面,相较于传统的2D 或 3D 电子地图,AR实景导航技术大幅降低了用户浏览当前路况的读图成本。

其次,AR 导航能够对过往车辆、行人、车道线、红绿灯位置以及颜色、限速牌等周边环境进行智能图像识别 , 为驾驶员提供车距监测、碰撞预警、行人预警、车道偏离提醒、前车启动提醒、红绿灯提醒等一系列驾驶安全辅助功能 , 带来比传统地图导航更加精细、更加安全的服务体验。

通俗地说,AR实景导航技术拥有以下特征:

1、真实世界和虚拟世界的信息集成;

2、具有实时交互性;

3、融合了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段,是在三维空间中增添定位虚拟物体。

AR 导航背后涉及的技术

1、高精度、低延时的导航与定位

AR导航对定位精度和实时性的要求高。比如,只有能够几乎没有延迟地识别出车辆在哪个车道甚至有没有压线,才能给出相应的指示。

2、图像智能采集与识别

只有云端数据还不够,还需要对实时路况的扫描和处理,这需要图像智能检测与识别能力,这也是AR导航得以成型的基础能力。

3、AR融合算法

在图像识别的基础上,将定位、地图导航、道路交通大数据进行融合运算,并把导航信息在实景图像上实时渲染呈现,提供精准的沉浸式的导航体验。这背后需要强大的算法与算力做支撑。

车载AR实景导航
发布于 2022-04-02 14:38

作为行业从业者,我已经推动过几个AR实景导航项目的落地,也收到了客户对产品的反馈,不断的在优化产品能力。下面的动图就是我在上海和同事一起推动落地的某大型地标商场的室内外AR实景导航。

图1:室外毫秒级定位
图2:室内外一体AR导航
图3:AR导航互动游戏

AR实景导航最核心的技术就两项,一是高精度地图采集及制作,二是视觉定位技术

先说高精度地图采集及制作

首先高精度地图的采集不是技术问题,而是资质问题

目前国内高精度地图的采集是需要导航电子地图制作(甲级)测绘资质的,到2021年底,仅有24家企业拥有 [1]。高精度地图采集收集点云数据、坐标数据、高程数据,一旦泄密,后果很严重。

图4:激光雷达眼中的世界,收集点云数据

其次高精度的制作不是技术问题而是成本问题

海量的高精度地图制作需要AI自动化的手段,以百度地图为例,百度地图96%的数据加工环节已实现AI化。自己开发了一体化地图数据AI大生产平台 [2]

图5:百度地图的采集车

但即使这样,互联网地图也依然需要大量的技术支撑人员、地图采集人员,像国内一线的互联网图商的地图部门团队一般都要有2000-3000人。

面向C端的导航地图,百度地图和高德地图事实上各占半壁江山,季度活跃用户都在6亿左右,而腾讯只有不到1亿。

不过受限于导航地图的变现模式非常单一,百度地图和高德地图远远无法实现自负盈亏,都是靠百度与阿里集团层面的输血。

AR实景地图是现有C端地图的一次大升级,需要投入更多的资金,这成为了AR实景导航地图普及的最大阻力。

再看视觉定位技术

因为有了高精度地图采集的点云数据,只要拿起手机周围一扫,按照三角定位原理,就能实现视觉定位。以百度地图的技术看,百度大脑DuMix AR全新视觉定位技术,融合最前沿的计算机视觉算法,在复杂场景下的定位成功率已达到99.9%,响应时间毫秒级,定位精度厘米级 [3]

北京五彩城百度地图的AR导航https://www.zhihu.com/video/1490115146635169792

视觉定位与增强现实服务,是建立在大规模场景重建与理解、视觉定位与追踪技术基础上的增强现实系统。难点还是人工智能对于视觉环境的训练,考验的是AI能力。

百度、高德两大互联网图商,百度一直在做自动驾驶,对AR导航的诉求更高一些,更有可能成为国内AR实景导航的布道者。

参考

  1. ^导航电子地图甲级测绘资质企业或增至24家  https://www.qxwz.com/zixun/472143261
  2. ^百度地图:一体化制图为智能交通“加马力”  https://mp.weixin.qq.com/s/LhQ8q8zcXLJUxf6mUyb49A
  3. ^上海大宁,带侬兜兜!百度大脑DuMix AR 升级商业综合体场景体验  https://mp.weixin.qq.com/s/d3IPyofLmR6HS9ZWIawwaQ
编辑于 2022-03-24 00:53

背后的技术:

  • 融合了图像定位和 GPS 定位,结合 AR 第一视角进行 POI (导航路径)导览,辅助决策、指引导航
  • 最核心的技术
    • 高精度地图
    • 视觉定位
    • 增强现实算法
  • 成熟的市场产品-高德AR导航
    • 借助智能的图像识别技术以及专业的交通大数据和车道级导航引擎,可直接在拍摄的现实道路画面中,实时呈现直观的3D导航指引

定位

  • 通常会涉及多类传感器的使用。
    • 室外场景下常使用的GNSS(Global Navigation Satellite Syste, 全球导航卫星系统),
    • 室内环境下使用的WiFi定位、超宽带定位、蓝牙定位等
    • 水下场景中常使用的USBL(Ultra Short Base Line,超短基线)等声学基线定位。

视觉定位

  • 由于成本低、感知信息丰富,摄像头已经成为众多智能设备的标配

成熟的市场产品

  • 微软的混合现实头戴式显示器Hololens 2
  • 特斯拉具有Autopilot智能辅助驾驶功能的Model Y系列汽车
  • 高效全景导航的Roomba i7+系列扫地机器人
发布于 2023-05-01 15:22

随着5G、AI、AR、3D等技术的发展,利用AR实景来进行导航这种技术,也开始广泛应用起来。下面以AR导航技术在车载导航及博物馆导航场景下的应用例子,来分享关于AR导航技术背后的技术及具体应用方式。

AR(Augmented Reality),即增强现实技术,是一种创新的交互方式,可实时计算摄影机影像位置和角度,并加上相对应图像、视频、3D模型的技术,最终在屏幕上把虚拟世界置放到现实世界中,进行交互互动。

当AR实景导航技术运用于车载导航方面,首先需要利用摄像头将前方道路的真实场景实时捕捉下来,再结合汽车当前定位、地图导航信息以及场景 AI 识别,进行融合计算,然后生成虚拟的导航指引模型,并叠加到真实道路上,从而创建出更贴近驾驶者真实视野的导航画面,相较于传统的2D 或 3D 电子地图,AR实景导航技术大幅降低了用户浏览当前路况的读图成本。

其次,AR 导航能够对过往车辆、行人、车道线、红绿灯位置以及颜色、限速牌等周边环境进行智能图像识别 , 为驾驶员提供车距监测、碰撞预警、行人预警、车道偏离提醒、前车启动提醒、红绿灯提醒等一系列驾驶安全辅助功能 , 带来比传统地图导航更加精细、更加安全的服务体验。

车载AR实景导航

通俗地讲,AR实景导航技术拥有以下特征:

1、真实世界和虚拟世界的信息集成;

2、具有实时交互性;

3、融合了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段,是在三维空间中增添定位虚拟物体。

二、AR 导航背后涉及的技术

1、高精度、低延时的导航与定位

AR导航对定位精度和实时性的要求高。比如,只有能够几乎没有延迟地识别出车辆在哪个车道甚至有没有压线,才能给出相应的指示。

2、图像智能采集与识别

只有云端数据还不够,还需要对实时路况的扫描和处理,这需要图像智能检测与识别能力,这也是AR导航得以成型的基础能力。

3、AR融合算法

在图像识别的基础上,将定位、地图导航、道路交通大数据进行融合运算,并把导航信息在实景图像上实时渲染呈现,提供精准的沉浸式的导航体验。这背后需要强大的算法与算力做支撑。

三、AR导航——博物馆导航应用

1.AR导航+线下博物馆,沉浸式参观提升博物馆人气

基于AR实景导航技术的优越性,目前,这种技术不只是运用于车载导航,还被运用在商业空间、景区、博物馆、展厅、场、高铁站、医院、园区等领域。

比如,在博物馆这个领域,线下博物馆因技术、场地、展陈能力限制,以及出于对文物保护的考虑,所能展示、提供的展品信息量严重不足;且展示方式大多都是静态的橱窗陈列,再辅以有限的文字说明,展品卡上的文字信息易出错且出错后不易查找,随着时间的推移,纸质卡片上关于文物的记录也容易出现字迹模糊等现象,用户很难通过简单片面的介绍信息以及文物静态展示的方式获取更多关于文物的知识,对于文物信息的传递与普及存在一定的不足。

对于参观者而言,许多人去博物馆往往只能是走马观花,并不能深刻了解和理解文物背后的故事。

再者,传统线下博物馆提供的讲解服务,让参观者只能按照既定的讲解路线进行参观,无法根据个人喜好规划路线。而基于AR增强现实技术的博物馆导览导航系统,能够让参观者沉浸式对展品进行参观,无需根据既定路线进行参观。

积木易搭基于3D数字化及AR导航技术打造的安仁古镇华公馆3D光影艺术展

通过这种导航方式,参观者还能与展品实现3D立体交互,展品可以是动态形式展现在参观者眼前,也可以是展品结合了其背后特定的历史人文背景设定画面的方式出现,仿佛展品在参观者眼前[活]了起来,让参观者能更好的认识展品。

比如今年年初,河南博物馆上线的 全国首个AR弹幕逛展功能大火,该功能提供基于支付宝AR技术、LBS定位技术的场馆寻宝创新体验,能让广大博物馆爱好者可以边看文物边“刷屏”,仿佛真的跨越了时空距离,与千百年前的文物开启对话。这种方式重新定义了博物馆游客与展览内容之间、游客与游客之间的关系。

2.AR导航+线上博物馆,将博物馆在线开放给所有人

如果是线上博物馆,那么将AR导航技术融入其中,则可以将线上博物馆开放给所有人自由体验,大大增加博物馆的传播度。

AR全景线上洛阳博物馆
AR全景张家界市线上博物馆

像积木易搭经过实地3D扫描建模、数据采集、三维动画合成,制作的1:1还原的线上 [洛阳博物馆]、 [张家界市博物馆],在线上3D展厅内,将视频、互动、虚拟、声音、图片、模拟于一体,结合现代AR,VR技术,使馆内展示的内容成为更易懂、更有趣、更多元化的文化知识信息,可以使观众更轻松容易地掌握文物相关知识,也能更透彻地理解内容的意义和内涵,并且不同年龄、不同层次的参观人群都容易接受。

总之,这种基于AR增强现实技术的博物馆导览导航技术,能够实现AR虚拟导游、文物3D化展示、历史场景复原、建筑可阅读、AR寻宝等虚实融合的全新交互体验,多维度和游客深度连接,有效提升博物馆的人气。


码字不易,记得给个赞哦,欢迎给积木君留言,更多3D数字化领域精彩内容,请关注“积木易搭”。

编辑于 2022-03-31 16:13

在最近的几年里,随着AR技术的日趋成熟,应用产品的逐渐扩大,由此技术落地的产品越来越多。目前的传统车载导航在实际应用中体验并不是特别好,而手机导航则受限于智能手机尺寸、车内环境(光线)等因素,开车过程当中使用手机导航,则又会产生诸多不必要的麻烦(在路过复杂路况时错过路口等)或潜在的安全风险(因分心导致的风险)等。

综上来说,AR技术的应用能够进一步降低导航功能的认知成本,也能提升导航功能的准确性与便捷性。对此,车载AR导航便应运而生。

什么是AR导航?简单点说,就是利用AR现实增强技术,结合实时实景,在摄像头实时拍摄到的真实道路画面基础上,由虚拟模型、箭头、虚线等元素为用户指引方向。AR导航相对于传统的2D车载导航在更新频率、地图精度、使用便利性等有着质的提升。

目前的AR导航其主要实现原理是利用车载摄像头配合全液晶仪表、中控大屏显示车外实景,并结合车机系统的AI算法得出所需导航路径并投射在摄像头所采集的图像之中,此技术同时也能够成为部分“路痴选手”的福音。

目前,有不少初创公司试图凭借相关技术的研发来解决这一难题,AR导航或是AR-HUD技术等成为不少公司的研发方向。尽管实现的介质不同,但不管是AR导航还是虚拟现实HUD技术,其功能的落地效果方向是一致的。而在最近几年,包括谷歌、搜狗地图、高德地图、四维图新等传统地图商均已杀入这个细分领域,可见其火热程度。

同时目前各大汽车厂商都在逐渐在此方面加大投入,落地此产品的品牌包括荣威、凯迪拉克、奔驰、星途等品牌上。利用AR技术,把用户在使用地图导航过程中,摄像头记录的实景作为一种新的数据加入,实际上是打通了用户参与高精地图共建的路径,将能够极大改善传统方式效率低、成本高的局面。同时也为专注驾驶体验提高到了前所未有的水平。

发布于 2023-05-04 11:40

你可以理解成一种增强现实技术的导航方式。

在行驶过程中,我们通过手机,、汽车显示屏等装置,将导航路线投射到实景中,可以直接使驾驶员可以在视线不脱离前方的情况下查看导航信息,并且此信息直接显示在前方景观上。驾驶员通过手机屏幕或汽车显示屏,直接观察到实际道路情况和导航信息,从而实现更加直观、精准、全面的目的地导航。

一般来说,AR实景导航涉及的技术主要有以下方面:

1、增强现实技术

最为核心的,它能将真实世界与虚拟信息进行叠加,通过相机设备拍摄场景,再向其中加入虚拟图像,通过追踪算法等技术将虚拟图像和真实场景进行整合,最终以实际场景为画布,呈现出增强现实效果。

2、计算机视觉

通过数字图像处理技术,使计算机能够理解和分析图像的能力,在AR实景导航中,计算机通过图像识别技术和姿态估计技术,对拍摄到的实际道路情况进行分析,从而显示正确的导航信息。

3、路网数据

AR实景导航的前提是有路网数据,包括道路、建筑物、地形等地理信息数据,并通过大规模计算机视觉算法的处理,使数据可在多种操作系统设备上实现准确、高效、满足性的表现。

发布于 2023-05-06 22:57

随着科技的不断发展,AR技术已经开始在各个领域得到广泛应用。AR技术为我们带来了全新的体验和便利,,它通过相机捕捉到的实时图像,在屏幕上叠加出地图信息和导航路线,用户只需要将手机对准前方,就能看到实时的导航路线和周围环境,让人们更加直观的了解自己的位置和前方的导航路线。

软件内容

1、AR实时导航系统,只需点击一下,即可实现精确导航和详细的目的地地址引导,省去了问路的麻烦。

2、功能强大丰富,可为用户提供智能路线规划和多种出行方式,供用户自由选择,使位置查询高效到位。

3、采用行业领先的AR实时导航技术,为用户提供精准高效的服务体验。

软件亮点

1、屏幕简洁立体,内置图文并茂的全景路线,让用户更容易接受,带来强烈的视觉冲击。

2、支持实现实时定位,实现AR实时导航和道路级导航精确制导服务,无论GPS信号多么微弱。

软件说明

1、可以帮助您查找最近的餐厅、设施等,让您的购物更加便捷。

2、同时,它还提供了实时天气预报功能,让您在出行之前就能知道天气情况,做好出行准备。

3、用户只需要在输入终点地址后,AR实况导航就会自动为您规划最优的路线,并在屏幕上显示出来。

4、用户只需要将手机对准前方,就能看到实时的导航路线和周围环境,让人们更加直观的了解自己的位置和前方的道路状况。

AR实况导航APP是一款非常实用的应用,它为我们带来了全新的导航体验和便利,让我们的出行更加安全和愉快。

发布于 2023-05-17 20:47

最重要的还是如何将AR实景导航真正的运用到汽车的行驶之中吧!

虽然AR技术在现实生活中发展的已经是非常的成熟,但是如果把它引入到汽车的智能座舱系统,它将面临着非常苛刻的工作条件,因为在乘客之中去使用AR技术,并不会跟现实生活中有太大的区别,但是如果驾驶者在驾车的过程中使用AR技术,就将面临着非常大的技术方面的革新。

如何让驾驶者在驾驶汽车的过程中能够很好的使用AR技术,则是今后在这项技术发展的重要的科研方向,如果单纯的在中控屏幕上显示AR的效果,我觉得这真的是浪费了这么好的科技技术,如果能够真正产生一种AR的虚拟屏幕,或者是把前挡风玻璃彻底变成一块高清的显示器,那么,AR技术也将会彻底的被激发,真正的帮助驾驶者在驾驶汽车的过程中拥有更好的驾车体验。



发布于 2023-05-21 20:21