基于单目视频序列的真实人体姿态三维重建
摘要 本文提出了一种基于视频的三维人体姿态重建技术，制定了基于视频的关键帧的重建框架。本文还利用牛顿物理学，关节点的生物运动约束等同时对人体姿态进行三维重建。并验证了该算法的可行性和精度。
关键词 视频序列；交互式姿态跟踪；计算机视觉
中图分类号tp39 文献标识码a 文章编号 1674-6708（2011）54-0197-01 0 引言
本文提出了基于单目非标定视频的人体动作捕捉及三维重建方法，同时利用计算机视觉和基于真实物理运动学原理。本文基于图像的关键帧技术对视频进行处理：首先对关键帧进行交互式三维重建，然后进行基于图像的姿态插值，同时利用牛顿力学原理和生物约束集对重建结果进行修改和优化。 1 算法概述
首先基于用户交互式方法估计三维特征点集合和人体骨骼大小，同时用牛顿力学原理和生物约束集对重建的姿态进行评估和优化。
1.1 基于关键帧的交互式三维建模
此环节利用一种高效的算法来估计关键帧中的三维姿态，同时估计相机参数和人体骨架大小。
1.2 基于图像的三维关键帧插值
本文提出一种高效的算法自动跟踪二维图像中的特征点集，并利用图像测量技术对关键帧进行插值操作，同时可以修改并优化重建后的模型。
2基于关键帧的交互式三维建模
本文将人体分为17个刚体部分，主要包括头、颈、躯干、左右锁骨、肱骨、桡骨、胯骨、股骨、胫骨和跖骨。用关节坐标集q描述人体全部姿态，q ∈ r37 。向量l表示17段刚体部分的长度集合，l = [l1 , ..., l17]t ， lb, b = 1, ..., 17 表示第b段关节的长度。
利用以上参数可以估计k幅关键帧的三维姿态(q1 , ..., qk )以及人体骨架大小（l）。 2.1摄像头参数估计
对于移动摄像头拍摄的视频利用matchmover [2008]估计摄像头的内参数和外参数=（tx,ty,tz,θx,θy,θz, f），（tx,ty,tz）, （θx, θy, θz）和f分别表示相机坐标、方向和相机焦距。对于固定摄像头拍摄的视频用3.2中提出的算法自动估计以上参数值。 2.2交互式三维关键帧建模
本文定义了能量方程和成本方程来估计和消除二义性问题。具体来说，通过计算以下能量方程的最小值来估计人体骨架大小l和三维姿态q1,...,qk
（1）
ep代表骨骼投影约束，es表示对称约束，保证重建后的三维骨架的对称部分是等长的。er为对称约束，ec则保证在某些视频中保证部分特征点的相对坐标保持不变，ed可消除重建过程中出现的二义性。
本文用表示每段关节的内关节点和外关节点的深度信息，同时对方程式（1）进行初始化和优化操作。对于前者采用解析式的雅可比公式，对于后者则用levmar library [lourakis 2009]中的levenberg-marquardt 算法进行优化。 3 基于图像的三维关键帧插值技术 3.1 基于多关节的二维关键帧插值
下肢(包括股骨、胫骨和跖骨)的姿态可用表示，表示在2维图像中对应的关节点坐标，待估参数为， 。 第t帧某区域内特征向量（2）
h（et）和hm（et）分别表示在特征空间内的当前目标模型和第个密度空间。
假设任意中间帧的模板模型可参数化：
hm（βt）= βt hm（e1）+（1-βt）hm（et）, m=1, ..., m（3）
将hm (βt )和h（et）进行匹配估计骨骼姿态参数值，用巴特查利亚距离度量匹配距离：
基于单目视频序列的真实人体姿态三维重建
