• English
  • 关于AIR
    • 返回上一级
    • AIR简介
    • 院长简介
    • 委员会
  • 新闻中心
    • 返回上一级
    • 学院新闻
    • 学术简报
    • 媒体报道
  • AIR团队
    • 返回上一级
    • 研究团队
    • 产业合作团队
    • 行政团队
    • 博士后
    • 工程博士
    • 研究生
  • 科学研究
    • 返回上一级
    • 智慧物联
    • 智慧交通
    • 智慧医疗
    • 大数据智能
    • 智能机器人
  • 产业交流
  • 人才招聘
    • 返回上一级
    • 教职员工
    • 博士后
    • 实习生
  • 院级合作单位
    • 返回上一级
    • 无锡创新中心
    • 水木分子
    • 求之科技
    • 华深智药
    • 清智资本

新闻中心

当前位置: 首页 > 新闻中心 > 学术简报 > 正文

AIR学术|浙大特聘研究员廖依伊:面向自动驾驶仿真平台的混合现实图像生成

来源:       发布时间:2023-01-09
主讲人 时间
地点 精彩回顾
12月28日下午,由DISCOVER实验室主办的第18期AIR青年科学家论坛顺利开展。本期活动荣幸地邀请到了浙江大学特聘研究员廖依伊博士,为我们线上做题为 《面向自动驾驶仿真平台的混合现实图像生成》 的精彩报告。


D83C


讲者介绍

2179B
廖依伊,浙江大学特聘研究员。2013年获西安交通大学学士学位,2018年获浙江大学博士学位。2018至2021年,她在德国马克思普朗克智能系统研究所 (MPI-IS) 及德国图宾根大学从事三年博士后研究,师从CVPR PAMI青年研究员奖得主Andreas Geiger教授。期间,她作为第一负责人搭建了国际上首个包含大规模语义及样例标签、面向自动驾驶的近1TB大规模数据集KITTI-360。她的研究兴趣为三维视觉,包括场景重建、场景语义理解、可控图像生成。累计发表文章二十余篇,包括TPAMI、TIP、CVPR、ICCV、NeurIPS等多篇国际顶尖期刊/会议论文。担任CVPR2023、3DV 2022、BMVC 2021-2022的领域主席。

报告内容

廖博士为我们介绍了为构建自动驾驶仿真平台的最终目标所展开的一系列工作。 报告开始,廖博士为我们介绍了现有面向自动驾驶仿真平台的研究现状。 其中,CARLA以及Virtual KITTI虽然能够提供逐像素标签信息,但是仍然构建成本高并且与现实世界存在Domain Gap。

BEFFE


因此,廖博士设想直接从现实世界数据直接构建自动驾驶仿真平台,这样做有两个优点: 

  1. 不再有Domain Gap的问题;

  2. 不再需要投入大量人力物力设计场景和物体。


但是仍然存在三个挑战:

  1. 如何从现实世界数据直接构建仿真平台逐像素高精度场景信息;

  2. 假如我们已经构建了高精度场景,那么如何获取场景逐像素语义信息也是一项非常具有挑战的任务;

  3. 对于一些现实世界数据没有出现的物体,仿真平台很难重建出来。


基于这三个挑战, 廖博士团队展开了一系列工作。

A72BE

一、自由视角高精度实时渲染

这个方向的研究主要是要实现对现实世界采集的数据直接进行任意视点的高精度实时渲染。 
要解决这个问题,廖博士团队主要采用的是NeRF方案,不过NeRF在渲染一张图需要百万次的查询来实现自由视点的高精度渲染,导致渲染效率极低。基于这个问题,廖博士团队提出了KiloNeRF方案,大幅提升了NeRF的渲染速度从而使其满足自动驾驶仿真平台需求。 
KiloNeRF通过将大MLP换成多个独立的小MLP,并且在渲染的时候,采用Empty Space Skipping(ESS)和Early Ray Termination(ERT),从而提升NeRF渲染速度。

B979E

6CCD2

定量结果和定性结果表明KiloNeRF渲染速度和以及渲染的图像质量均优于传统方法,并且显存占用少于基于制表缓存的加速方法。 
而后,廖博士为我们分析常用加速NeRF渲染速度的策略。

61AAC

加速渲染本质上就是降低渲染需要的浮点运算次数。假如每个像素光线需要采样K个点,渲染每个像素需要L次运算,那么渲染一张高为H宽为W像素的图像需要的浮点运算次数就是:

2A9

要提升渲染速度,主要是从减少K(ERT, ESS和 Adaptive Sampling)和减少L(制表缓存类的方法 或者更小的MLP)入手。
通过分析,廖博士团队发现现有的NeRF加速方法都需要消耗比较大的内存。为了解决内存和渲染时间之间的冲突,廖博士团队基于视角之间的变化是连续这一发现提出SteerNeRF,充分挖掘视角时间的时序关系从而减低W,H和K提升渲染速度且保持较低内存占用。

C5994


D7BBD

SteerNeRF先用Volume Rendering渲染低分辨率的特征图,再用Neural Rendering结合前帧和当前帧来渲染高分辨率的图像。

F7993

9DB8B

实验定性结果和定量结果表明 SteerNeRF不仅在大分辨率数据集(Tanks &Temples)能够达到实时渲染而且占用内存较小。

二、自由视点高精度语义迁移

KiloNeRF或者SteerNeRF搭建仿真器很自然的就能解决仿真器的domain gap问题。 但是这两个工作还是没办法提供自由视点的语义信息。 因此,廖博士为我们介绍了其团队最新的工作: Panoptic NeRF。  

B26F4

A542D

Panoptic NeRF 主要通过一个固定的语义场来提升几何重建质量,通过一个可学习的语义场来解决三维标注框相交区域的歧义。 

CF75CB26F4

三、仿真器新物体生成

这个研究方向主要解决如何在仿真器里生成新物体。  

6989A

85FE3

廖博士团队提出了GRAF方案,即输入像素点x和相机Pose D以及从高斯分布采样的隐变量z来生成渲染新物体。

A41F4

GRAF在高分辨率渲染的图像质量还是有些许不足,于是廖博士团队又提出了VoxGRAF技术,不仅渲染分辨率高、渲染速度快,而且能够保证多视角的一致性。

77774

廖博士又为我们介绍其发表在ECCV2022的一篇利用GRAF等生成模型进行位姿估计的工作。任务定义为给定一个初始图像,找到一个latent code来生成目标图像,廖博士介绍了用不同搜索策略找目标状态从而克服收敛到局部最优解的问题。

D7329

最后廖博士展望了实现自动驾驶仿真平台未来三个极具价值的探索方向:城市级别的自由视点渲染,虚实图像融合以及基于仿真器训练测试自动驾驶下游任务的模型。报告结束后,廖博士与参会的老师和同学对报告所涉及的领域进行了热烈的讨论。

四、报告总结

7F56E


文稿撰写 / 许少聪

排版编辑 / 王影飘

校对责编 / 黄  


上一条: AIR学术|清华助理教授王禹皓:利用多重数据组合帮助提升受隐式扰动的长期因果推断效果 下一条: AIR学术|清华助理研究员姜峣:机器人交互感知与自主化操作

【 关闭】

相关新闻

AIR学术|清华副教授赵慧婵:高功率密度介电弹性体人工肌肉及其应用进展

10月13日晚,第十五期DISCOVER LAB青年科学家论坛顺利开展。本期活动有幸邀请到清华大学机械工程系副教授赵慧婵,为我们线上做了题为Advances in High-Power-Density Dielectric Elastomer Artificial Muscles and their Applications(高功率密度介电弹性体人工肌肉及其应用进展)的精彩报告。本次活动由清华大学智能产业研究院(AIR)周谷越副教授主持。 嘉宾介绍赵慧婵副教授主要从事软体机器人、机器人高功率密度驱动技...

2022/10/19

最新动态

  • 2024/01/18 AIR学术|北大王鹏帅:面向图形学的通用三维神经网络
  • 2024/01/18 AIR学术|新加坡国立大学林水德教授:人工智能医疗保健和虚拟世界的穿戴传感器和触觉技术
  • 2023/12/25 AIR学术|浙大彭思达: 实时高保真渲染动态场景
  • 2023/11/06 AIR学术|清华大学张数一:蛋白质功能空间的进化与压缩
  • 2023/10/30 AIR学术 | 上海人工智能实验室戴勃: 结构先验对高质量内容生成的重要性
  • 2023/10/23 AIR学术 | 清华大学马剑竹:基于靶点结构的小分子药物设计

业务合作:airoffice@air.tsinghua.edu.cn
招生招聘:airhr@air.tsinghua.edu.cn
联系电话:(010)82151160  

办公地点:北京市海淀区清华科技园启迪科技大厦C座12层

官方微信

京ICP备15006448号  |   版权所有©清华大学智能产业研究院

聚圣源路嘉怡原来时光都记得电视剧免费观看全集作者反对某演员出演关于曦女孩起名给宝宝起名杨姓给男起名的诗词李居明起名字二月初九是什么日子公司起名 的八字汤家七个o迢迢牵牛星原文及翻译豪血寺一族出招表牛年杨姓男孩起名大全男生女生配中国神话故事起名居眼跳时辰我很快乐歌词起名解释2012年春晚节目单恋活老公姓唐给宝宝起名周易起名宝宝起名免费取名生辰八字宝宝起名行2019 起名大全名字大全只想退休的我被迫成了大将笔趣美食加盟猫咪起名字大全招财生存猎人汽修厂起名字大全免费淀粉肠小王子日销售额涨超10倍罗斯否认插足凯特王妃婚姻让美丽中国“从细节出发”清明节放假3天调休1天男孩疑遭霸凌 家长讨说法被踢出群国产伟哥去年销售近13亿网友建议重庆地铁不准乘客携带菜筐雅江山火三名扑火人员牺牲系谣言代拍被何赛飞拿着魔杖追着打月嫂回应掌掴婴儿是在赶虫子山西高速一大巴发生事故 已致13死高中生被打伤下体休学 邯郸通报李梦为奥运任务婉拒WNBA邀请19岁小伙救下5人后溺亡 多方发声王树国3次鞠躬告别西交大师生单亲妈妈陷入热恋 14岁儿子报警315晚会后胖东来又人满为患了倪萍分享减重40斤方法王楚钦登顶三项第一今日春分两大学生合买彩票中奖一人不认账张家界的山上“长”满了韩国人?周杰伦一审败诉网易房客欠租失踪 房东直发愁男子持台球杆殴打2名女店员被抓男子被猫抓伤后确诊“猫抓病”“重生之我在北大当嫡校长”槽头肉企业被曝光前生意红火男孩8年未见母亲被告知被遗忘恒大被罚41.75亿到底怎么缴网友洛杉矶偶遇贾玲杨倩无缘巴黎奥运张立群任西安交通大学校长黑马情侣提车了西双版纳热带植物园回应蜉蝣大爆发妈妈回应孩子在校撞护栏坠楼考生莫言也上北大硕士复试名单了韩国首次吊销离岗医生执照奥巴马现身唐宁街 黑色着装引猜测沈阳一轿车冲入人行道致3死2伤阿根廷将发行1万与2万面值的纸币外国人感慨凌晨的中国很安全男子被流浪猫绊倒 投喂者赔24万手机成瘾是影响睡眠质量重要因素春分“立蛋”成功率更高?胖东来员工每周单休无小长假“开封王婆”爆火:促成四五十对专家建议不必谈骨泥色变浙江一高校内汽车冲撞行人 多人受伤许家印被限制高消费

聚圣源 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化