Kinect开发学习笔记之（五）不带游戏者ID的深度数据的提取
zouxy09@qq.com
我的Kinect开发平台是：
Win7 x86 + VS2010 + Kinect for Windows SDK v1.6 + OpenCV2.3.0
开发环境的搭建见上一文：
本学习笔记以下面的方式组织：编程前期分析、代码与注释和重要代码解析三部分。
要实现目标：通过微软的SDK提取不带游戏者ID的深度数据并用OpenCV显示
一、编程前期分析
深度数据的获取和彩色图像数据的获取基本上是一样的，所以关于采集过程就不赘述了，具体见：
Kinect开发学习笔记之（四）提取颜色数据并用OpenCV显示
这里需要了解下深度数据：
深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，该特定的（x, y）坐标处物体到离摄像头平面最近的物体到该平面的距离（以毫米为单位）。
Kinect中深度值最大为4096mm，0值通常表示深度值不能确定，一般应该将0值过滤掉。微软建议在开发中使用1220mm~3810mm范围内的值。在进行其他深度图像处理之前，应该使用阈值方法过滤深度数据至1220mm-3810mm这一范围内。
下图显示了Kinect Sensor的感知范围，其中的default range对Xbox 360和Kinect for Windows都适用，而near range仅对后者适用：
深度数据的存储：
Kinect的深度图像数据含有两种格式，两种格式都是用两个字节来保存一个像素的深度值，而两方式的差别在于：
（1）唯一表示深度值：那么像素的低12位表示一个深度值，高4位未使用；
（2）既表示深度值又含有游戏者ID：Kinect SDK具有分析深度数据和探测人体或者游戏者轮廓的功能，它一次能够识别多达6个游戏者。SDK为每一个追踪到的游戏者编号作为索引。而这个方式中，像素值的高13位保存了深度值，低三位保存用户序号，7 (0000 0111)这个位掩码能够帮助我们从深度数据中获取到游戏者索引值（这个编程将在下一节）。
应用程序可以使用深度数据流中的深度数据来支持各种各样的用户特性，如追踪用户的运动并在程序中识别和忽略背景物体的信息等。
二、代码与注释
#include <windows.h>#include <iostream> #include <NuiApi.h>#include <opencv2/opencv.hpp>using namespace std;using namespace cv;int main(int argc, char *argv[]){Mat image;//这里我们用灰度图来表述深度数据，越远的数据越暗。image.create(240, 320, CV_8UC1);//1、初始化NUI，注意：这里传入的参数就不一样了，是DEPTHHRESULT hr = NuiInitialize(NUI_INITIALIZE_FLAG_USES_DEPTH);if (FAILED(hr)){cout<<"NuiInitialize failed"<<endl;return hr;}//2、定义事件句柄 //创建读取下一帧的信号事件句柄，控制KINECT是否可以开始读取下一帧数据HANDLE nextColorFrameEvent = CreateEvent( NULL, TRUE, FALSE, NULL );HANDLE depthStreamHandle = NULL; //保存图像数据流的句柄，用以提取数据//3、打开KINECT设备的深度图信息通道，并用depthStreamHandle保存该流的句柄，以便于以后读取hr = NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH, NUI_IMAGE_RESOLUTION_320x240,0, 2, nextColorFrameEvent, &depthStreamHandle);if( FAILED( hr ) )//判断是否提取正确{cout<<"Could not open color image stream video"<<endl;NuiShutdown();return hr;}namedWindow("depthImage", CV_WINDOW_AUTOSIZE);//4、开始读取深度数据while(1){const NUI_IMAGE_FRAME * pImageFrame = NULL;//4.1、无限等待新的数据，等到后返回if (WaitForSingleObject(nextColorFrameEvent, INFINITE)==0){//4.2、从刚才打开数据流的流句柄中得到该帧数据，读取到的数据地址存于pImageFramehr = NuiImageStreamGetNextFrame(depthStreamHandle, 0, &pImageFrame);if (FAILED(hr)){cout<<"Could not get depth image"<<endl;NuiShutdown();return -1;}INuiFrameTexture * pTexture = pImageFrame->pFrameTexture;NUI_LOCKED_RECT LockedRect;//4.3、提取数据帧到LockedRect，它包括两个数据对象：pitch每行字节数，pBits第一个字节地址//并锁定数据，这样当我们读数据的时候，kinect就不会去修改它pTexture->LockRect(0, &LockedRect, NULL, 0);//4.4、确认获得的数据是否有效if( LockedRect.Pitch != 0 ){//4.5、将数据转换为OpenCV的Mat格式for (int i=0; i<image.rows; i++){uchar *ptr = image.ptr<uchar>(i); //第i行的指针//深度图像数据含有两种格式，这里像素的低12位表示一个深度值，高4位未使用；//注意这里需要转换，因为每个数据是2个字节，存储的同上面的颜色信息不一样，uchar *pBufferRun = (uchar*)(LockedRect.pBits) + i * LockedRect.Pitch;USHORT * pBuffer = (USHORT*) pBufferRun;for (int j=0; j<image.cols; j++){ptr[j] = 255 – (uchar)(256 * pBuffer[j]/0x0fff); //直接将数据归一化处理}}imshow("depthImage", image); //显示图像}else{cout<<"Buffer length of received texture is bogus\r\n"<<endl;}//5、这帧已经处理完了，所以将其解锁pTexture->UnlockRect(0);//6、释放本帧数据，准备迎接下一帧NuiImageStreamReleaseFrame(depthStreamHandle, pImageFrame );}if (cvWaitKey(20) == 27)break;}//7、关闭NUI链接NuiShutdown(); return 0;}
三、代码解析
首先，这里基本上和彩色图像数据的获取的流程和API都是一样的，只有有几个不同点：
（1） 因为我们需要的是深度数据，所以在NuiInitialize(DWORD dwFlags);初始化时，应告知Kinect我要的是深度数据：NUI_INITIALIZE_FLAG_USES_DEPTH；
（2）我们需要打开的是Kinect设备的深度数据流，所以调用NuiImageStreamOpen传入了类型是NUI_IMAGE_TYPE_DEPTH, 另外，深度图像的分辨率一般用NUI_IMAGE_RESOLUTION_320x240。
你必须百分之百的把自己推销给自己。
