一、所属领域

计算机视觉、智能感知、人工智能、虚拟现实与增强现实等

二、项目介绍

1. 痛点问题

场景三维重建是未来视觉成像技术发展的重要趋势，支撑导航与人机交互、虚拟现实与增强现实（VR/AR）、在线文旅、工程设计等前沿领域应用革命性发展。

目前技术仅仅是根据局限于面元自身区域内不同时刻的信息融合得到该面元的最终重建结果，忽略了面元之间的关系，导致重建面元的自由度过大，同时由于遮挡、光照变化、纹理不足、运动等因素的影响，降低了深度图像的稠密度，同时存在相关尺度模糊问题。重建面元受到输入深度图像噪声以及定位系统对相机定位误差的影响，出现重建面元的位置及朝向可能与真实值存在明显偏差，且相邻面元之间可能存在不一致的情况，导致最终重建的三维模型的稠密度、鲁棒性、一致性和准确性较低。

图1 室内场景重建

2. 解决方案

本项目成果提出了一套高精度稠密室内场景重建技术，首先提出基于物理空间推理和语义关联建模的场景多粒度（像素/体素-超像素/体素-对象-场景）感知方法，综合语义信息、几何结构信息以及时空间信息进行滤波，实现准确深度估计，联合光流估计与相机位姿估计进行多任务自监督训练，实现深度估计网络权重的在线调整，提高深度估计在未知场景下的性能，进一步引入在室内场景中常见的三种局部和全局尺度空间平面关系约束，为每一个重建面元提取三种支撑面元集，以支撑面元为载体将面元之间的空间关系作为额外约束引入密集面元生成阶段，抑制深度图噪声和定位误差的负面影响，提出基于语义先验的实时概率稠密重建方法，通过时序传播与概率模型更新实现实时场景深度重建，提高最终三维重建模型的稠密度、鲁棒性、一致性和准确度，新引入的部分计算量小，能保持现有方案的实时性和可扩展性，能够快速对大场景进行实景稠密三维重建，为用户提供低成本、高效率、极便捷的空间3D重建解决方案。

图2 高精度稠密室内场景重建技术框架

3. 竞争优势分析

与现有的同类技术相比，本成果在场景重建的稠密度、鲁棒性、一致性和准确度上具有明显优势，能解决复杂场景中的尺度模糊问题，同时具有很好的实时性和可扩展性。

本技术路线已在VR房地产、网络直播、无人驾驶等领域进行了技术应用。

4. 市场应用前景

本技术成果有着广泛的应用前景，涉及房地产、文旅、家装家居、电商零售、建筑、公安等众多行业领域，适用于不同的应用需求。

5. 发展规划

《中国互联网发展报告（2021）》指出2020年我国AR/VR市场规模已达300亿元，而随着元宇宙等概念的兴起，行业生态即将进入爆发期。团队拟通过技术许可方式，与VR/AR领域有需求的企业开展合作，形成一系列独创的关键技术，产生显著的经济和社会效益。

6. 知识产权情况

已申请相关发明专利3项。

三、合作需求

寻求在VR/AR、机器人、智慧城市等领域有相关技术开发、市场推广经验，能推广本技术落地的高科技企业，可以进行深度合作。

四、团队介绍

季向阳，清华大学自动化系教授，博导，国家杰出青年科学基金获得者，国家“万人计划”领军人才。主要从事视觉信息获取与处理、计算机视觉、机器学习等方面的研究，先后承担科技部“新一代人工智能”重大专项、国家自然科学基金仪器项目等，近年来发表高水平学术论文100余篇，获授权发明专利60余项，曾获2019年国家科技进步二等奖（第一完成人），2018年中国电子学会技术发明一等奖（第一完成人）。

五、联系方式

E-mail：ott@tsinghua.edu.cn

成果编号：2021196

注：所有成果发布内容未经授权，请勿转载！

授权请联系yaoxiahan@tsinghua.edu.cn