一、所属领域

计算机视觉。

二、项目介绍

1. 痛点问题

我们生活在一个真实的三维世界中，二维环境感知是远无法满足我们的实际需求。在诸如自动驾驶、机器人抓取和三维目标识别等应用中（如图1），我们经常需要推理三维空间中物体之间的位置关系，从而能够理解真实三维场景并做出进一步的决策行为。

图1 自动驾驶、视觉抓取、物体识别

2. 解决方案

本技术成果提出了一种三维视觉目标检测与识别方法。在三维视觉目标检测方面，提出了一种基于关系推理网络的单目三维物体检测方法，方法流程图如图2所示。方法提出了一种新的单目三维物体检测架构，训练了一个深度关系推理网络来估计三维候选和真实物体之间的空间位置关系，通过测量投影结果和真实物体之间的视觉拟合度来实现高精的三维空间定位。

图2 三维目标检测的流程图

在三维视觉目标识别方法，提出了一种基于球面分形卷积神经网络的三维点云识别技术，方法流程图如图3所示。方法通过引入球面分形结构，将原始三维点云通过可学习的神经网络投影到球面，使得卷积神经网络可以高效处理三维点云数据并进行特征特征，同时通过设计基于分形结构的层次化学习框架，提高了三维点云物体识别的精度，实现了对于三维点云目标在旋转条件下特征表示的鲁棒性。

图3 三维物体识别流程图

3. 竞争优势分析

在自动驾驶应用中，相比于使用昂贵的激光雷达等传感器，相机传感器成本低廉，且寿命长、易于安装，同时图像的检测技术相对更加成熟，有利于研究工作的快速进行。难点在于单目三维物体检测的问题设置下，唯一的线索只有二维图像中的外观信息，而真实的三维信息却无法获取。本方法使用一种基于锚点的方法来回归出物体的尺寸和朝向信息，并构建出三维候选，然后根据相机投影关系将候选投影到图片上，并利用一个拟合程度网络来推理这些三维候选和物体之间的三维覆盖率，显著提高了三维检测算法的定位精度。

4. 市场应用前景

本技术成果有着广泛的应用前景，如自动驾驶、机器人视觉抓取、水下环境感知、工业检测、智能安防等，适同于不同的应用需求。

5. 发展规划

2021年11月25日，《北京市智能网联汽车政策先行区自动驾驶出行服务商业化试点管理实施细则（试行）》出台，这标志着国内自动驾驶领域从测试示范迈入商业化试点探索新阶段，对全面贯彻新发展理念，加快构建新发展格局，变革未来出行方式具有里程碑意义。

根据科尔尼数据预测，至2025年全球自动驾驶（包含车端、道路、云等）市场规模达800亿美元，至2030年市场规模达2800亿美元。预计自动驾驶领域在未来10年内可实现大幅增长。

6. 知识产权情况

本技术成果已获2项国家发明专利授权。

三、合作需求

寻求在人工智能、智能机器人、智慧城市等领域有相关技术开发、市场推广经验，能推进本技术落地的高科技企业，可以进行深度合作。本技术成果有望在自动驾驶、虚拟现实等场景进行落地应用。

四、团队介绍

本项目由清华大学自动化系智能视觉实验室完成，团队成员包含国家杰出青年科学基金获得者2人，国家优秀青年科学基金获得者2人，IAPR Fellow 2人在计算机视觉领域有着长期深入的技术积累，在PAMI/IJCV/CVPR/ICCV/ECCV上共发表论文120余篇，主持承担国家自然科学基金委重大国际合作项目、联合重点基金、国家重点研发计划课题等项目，以第一完成人获国家技术发明二等奖、中国电子学会自然科学一等奖等科技奖励，多项技术在多家公司实现了技术转化。

五、联系方式

E-mail：ott@tsinghua.edu.cn

成果编号：2021151

注：所有成果发布内容未经授权，请勿转载！

授权请联系yaoxiahan@tsinghua.edu.cn