3D关键点检测示例
3月19日，记者从云从科技获悉，这家中科院旗下人工智能（AI）创企的3D人体重建技术同时在该领域三大权威数据集上取得新突破：将原有最低“误差”大幅降低30%，刷新了最新的世界纪录。
3D重建领域通常以“误差”作为衡量算法能力的主要指标，这里的误差特指生成模型与实际图像的差别。显然，误差越低，精度越高，意味着技术的性能越好。
据介绍，在领域三大权威数据集Human3.6M、Surreal和UP-3D上，云从科技3D人体重建技术“全身精度误差”在Surreal上从75.4毫米降低到52.7毫米、“关节精度误差”从55.8毫米降低到40.1毫米，在Human3.6M上的关节精度误差从59.9毫米降低到46.7毫米，此外，技术的执行速度从之前的上百毫秒降低到只需5毫秒。
上述突破是如何实现的？云从科技技术团队成员、资深算法研究员吴凡介绍说，针对人体具有丰富多样的姿态和穿着的特点，他们提出了一套全新的基于人体3D纵深预测的3D信息表征方式。这种表征方式通过对三原色图像（RGB，不含深度信息）的分析来预测人体的3D形态和姿势，并用6万多个点完整描绘人体，从而在人体重建技术上取得速度与精度的双突破。
“（新算法下的）结果呈现出来的模型更精细，帧率更是高达到200fps，原本由于受实时显示限制而无法实现的应用可以一一实现。”吴凡说，这将极大地推动相关智能图像应用的落地步伐。
记者了解到，传统的3D重建技术大多需要连续的或是多视角的图像，在硬件上一般需采用双目摄像机或结构光摄像机等设备，因此在手机等便携设备上尚难以实现；另一方面，专用设备还会增加部署成本，增加大规模普及3D重建技术的难度。
云从科技这一3D人体重建技术是基于单帧图像实现的。由于对输入图像的要求低，使3D重建技术将可以利用普通光学摄像头作为感知设备，因此也将推动更多智能应用成为可能。比如，该技术将使美颜类APP无需结构光摄像头也能具备高精准度的瘦身与动画合成功能等。
不过，吴凡也提出，基于单帧图像的3D重建技术对原始图像要求放松的同时，也对背后的技术提出了更高挑战，比如技术需要从单帧图像中推理出人体或人脸的3D形态，并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在3D空间的位置和朝向，才能得到人体的姿态或表情信息。
