最简单的视音频播放示例3:Direct3D播放YUV,RGB(通过Surface)

=====================================================

最简单的视音频播放示例系列文章列表:

最简单的视音频播放示例1:总述

最简单的视音频播放示例2:GDI播放YUV, RGB

最简单的视音频播放示例3:Direct3D播放YUV,RGB(通过Surface)

最简单的视音频播放示例4:Direct3D播放RGB(通过Texture)

最简单的视音频播放示例5:OpenGL播放RGB/YUV

最简单的视音频播放示例6:OpenGL播放YUV420P(通过Texture,使用Shader)

最简单的视音频播放示例7:SDL2播放RGB/YUV

最简单的视音频播放示例8:DirectSound播放PCM

最简单的视音频播放示例9:SDL2播放PCM

=====================================================

上一篇文章记录了GDI播放视频的技术。打算接下来写两篇文章记录Direct3D(简称D3D)播放视频的技术。Direct3D应该Windows下最常用的播放视频的技术。实际上视频播放只是Direct3D的“副业”,它主要用于3D游戏制作。当前主流的游戏几乎都是使用Direct3D制作的,例如《地下城与勇士》,《穿越火线》,《英雄联盟》,《魔兽世界》,《QQ飞车》等等。使用Direct3D可以用两种方式渲染视频:Surface和Texture。使用Surface相对来说比使用Texture要简单一些,但是不如使用Texture灵活。鉴于使用Surface更加容易上手,本文记录使用Direct3D中的Surface显示视频的技术。下一篇文章再记录使用Direct3D中的Texture显示视频的技术。

Direct3D简介

下面下简单记录一下背景知识。摘录修改了维基上的一部分内容(维基上这部分叙述貌似很不准确…):

Direct3D(简称:D3D)是微软公司在Microsoft Windows系统上开发的一套3D绘图API,是DirectX的一部份,目前广为各家显示卡所支援。1995年2月,微软收购了英国的Rendermorphics公司,将RealityLab 2.0技术发展成Direct3D标准,并整合到Microsoft Windows中,Direct3D在DirectX 3.0开始出现。后来在DirectX 8.0发表时与DirectDraw编程介面合并并改名为DirectX Graphics。Direct3D与Windows GDI是同层级组件。它可以直接调用底层显卡的功能。与OpenGL同为电脑绘图软件和电脑游戏最常使用的两套绘图API。抽象概念Direct3D的抽象概念包括:Devices(设备),Swap Chains(交换链)和Resources(资源)。Device(设备)用于渲染3D场景。例如单色设备就会渲染黑白图片,而彩色设备则会渲染彩色图片。Device目前我自己了解的有以下2类(还有其他类型,但不是很熟):HAL(Hardware Abstraction Layer):支持硬件加速的设备。在所有设备中运行速度是最快的,也是最常用的。Reference:模拟一些硬件还不支持的新功能。换言之,就是利用软件,在CPU对硬件渲染设备的一个模拟。每一个Device至少要有一个Swap Chain(交换链)。一个Swap Chain由一个或多个Back Buffer Surfaces(后台缓冲表面)组成。渲染在Back Buffer中完成。此外,Device包含了一系列的Resources(资源),用于定义渲染时候的数据。每个Resources有4个属性:Type:描述Resource的类型。例如surface, volume, texture, cube texture,, volume texture, surface texture, index buffer 或者vertex buffer。Usage:描述Resource如何被使用。例如指定Resource是以只读方式调用还是以可读写的方式调用。Format:数据的格式。比如一个二维表面的像素格式。例如,D3DFMT_R8G8B8的Format表明了数据格式是24 bits颜色深度的RGB数据。Pool:描述Resource如何被管理和存储。默认的情况下Resource会被存储在设备的内存(例如显卡的显存)中。也可以指定Resource存储在系统内存中。渲染流水线(rendering pipeline)

Direct3D API定义了一组Vertices(顶点), Textures(纹理), Buffers(缓冲区)转换到屏幕上的流程。这样的流程称为Rendering Pipeline(渲染流水线),它的各阶段包括:

Input Assembler(输入组装):从应用程序里读取vertex数据,将其装进流水线。Vertex Shader(顶点着色器):对每个顶点属性进行着色。每次处理一个顶点,比如变换、贴图、光照等。注意这个地方可能需要自己编程。Geometry Shader(几何着色器): Shader Model 4.0引进了几何着色器,处理点、线、面的几何坐标变换。此处我自己还不是很了解。

数据拷贝至后台缓冲表面5)结束Scene6)显示(后台缓冲表面->前台表面)

下面结合Direct3D播放YUV/RGB的示例代码,详细分析一下上文的流程。

1.创建一个窗口(不属于D3D的API)

建立一个Win32的窗口程序,就可以用于Direct3D的显示。程序的入口函数是WinMain(),调用CreateWindow()即可创建一个窗口。这一步是必须的,不然Direct3D绘制的内容就没有地方显示了。此处不再详述。

2.初始化

1)创建一个Device

这一步完成的时候,可以得到一个IDirect3DDevice9接口的指针。创建一个Device又可以分成以下几个详细的步骤:(a)通过 Direct3DCreate9()创建一个IDirect3D9接口。获取IDirect3D9接口的关键实现代码只有一行:IDirect3D9 *m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );

IDirect3D9接口是一个代表我们显示3D图形的物理设备的C++对象。它可以用于获得物理设备的信息和创建一个IDirect3DDevice9接口。例如,可以通过它的GetAdapterDisplayMode()函数获取当前主显卡输出的分辨率,刷新频率等参数,实现代码如下。

D3DDISPLAYMODE d3dDisplayMode;lRet = m_pDirect3D9->GetAdapterDisplayMode( D3DADAPTER_DEFAULT, &d3dDisplayMode );由代码可以看出,获取的信息存储在D3DDISPLAYMODE结构体中。D3DDISPLAYMODE结构体中包含了主显卡的分辨率等信息:/* Display Modes */typedef struct _D3DDISPLAYMODE{UINTWidth;UINTHeight;UINTRefreshRate;D3DFORMATFormat;} D3DDISPLAYMODE;也可以用它的GetDeviceCaps()函数搞清楚主显卡是否支持硬件顶点处理,实现的代码如下。D3DCAPS9 d3dcaps;lRet=m_pDirect3D9->GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&d3dcaps);int hal_vp = 0;if( d3dcaps.DevCaps & D3DDEVCAPS_HWTRANSFORMANDLIGHT ){// yes, save in ‘vp’ the fact that hardware vertex// processing is supported.hal_vp = D3DCREATE_HARDWARE_VERTEXPROCESSING;}由代码可以看出,获取的设备信息存储在D3DCAPS9结构体中。D3DCAPS9定义比较长包含了各种各样的信息,不再列出来。从该结构体的DevCaps字段可以判断得出该设备是否支持硬件顶点处理。(b)设置D3DPRESENT_PARAMETERS结构体,为创建Device做准备。接下来填充一个D3DPRESENT_PARAMETERS结构的实例。这个结构用于设定我们将要创建的IDirect3DDevice9对象的一些特性,它的定义如下。typedef struct _D3DPRESENT_PARAMETERS_{UINTBackBufferWidth;UINTBackBufferHeight;D3DFORMATBackBufferFormat;UINTBackBufferCount;D3DMULTISAMPLE_TYPE MultiSampleType;DWORDMultiSampleQuality;D3DSWAPEFFECTSwapEffect;HWNDhDeviceWindow;BOOLWindowed;BOOLEnableAutoDepthStencil;D3DFORMATAutoDepthStencilFormat;DWORDFlags;/* FullScreen_RefreshRateInHz must be zero for Windowed mode */UINTFullScreen_RefreshRateInHz;UINTPresentationInterval;} D3DPRESENT_PARAMETERS;D3DPRESENT_PARAMETERS这个结构体比较重要。详细列一下它每个参数的含义:BackBufferWidth:后台缓冲表面的宽度(以像素为单位)。BackBufferHeight:后台缓冲表面的高度(以像素为单位)。BackBufferFormat:后台缓冲表面的像素格式(例如:32位像素格式为D3DFMT:A8R8G8B8)。BackBufferCount:后台缓冲表面的数量,通常设为“1”,即只有一个后备表面。MultiSampleType:全屏抗锯齿的类型,显示视频没用到,不详细分析。MultiSampleQuality:全屏抗锯齿的质量等级,显示视频没用到,不详细分析。SwapEffect:指定表面在交换链中是如何被交换的。支持以下取值:*D3DSWAPEFFECT_DISCARD:后台缓冲表面区的东西被复制到屏幕上后,后台缓冲表面区的东西就没有什么用了,可以丢弃了。*D3DSWAPEFFECT_FLIP:后台缓冲表面拷贝到前台表面,保持后台缓冲表面内容不变。当后台缓冲表面大于1个时使用。*D3DSWAPEFFECT_COPY:同上。当后台缓冲表面等于1个时使用。一般使用D3DSWAPEFFECT_DISCARD。hDeviceWindow:与设备相关的窗口句柄,你想在哪个窗口绘制就写那个窗口的句柄Windowed:BOOL型,设为true则为窗口模式,false则为全屏模式EnableAutoDepthStencil:设为true,D3D将自动创建深度/模版缓冲。AutoDepthStencilFormat:深度/模版缓冲的格式Flags:一些附加特性FullScreen_RefreshRateInHz:刷新率,设定D3DPRESENT_RATE_DEFAULT使用默认刷新率PresentationInterval:设置刷新的间隔,可以用以下方式:*D3DPRENSENT_INTERVAL_DEFAULT,则说明在显示一个渲染画面的时候必要等候显示器刷新完一次屏幕。例如显示器刷新率设为80Hz的话,则一秒最多可以显示80个渲染画面。*D3DPRENSENT_INTERVAL_IMMEDIATE:表示可以以实时的方式来显示渲染画面。下面列出使用Direct3D播放视频的时候D3DPRESENT_PARAMETERS的一个最简单的设置。//D3DPRESENT_PARAMETERS Describes the presentation parameters.D3DPRESENT_PARAMETERS d3dpp; ZeroMemory( &d3dpp, sizeof(d3dpp) );d3dpp.Windowed = TRUE;d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;

(c)通过IDirect3D9的CreateDevice ()创建一个Device。

最后就可以调用IDirect3D9的CreateDevice()方法创建Device了。

是我一生的快乐;失去你,是我一生的遗憾;没有你,无法感受心灵的震撼。

最简单的视音频播放示例3:Direct3D播放YUV,RGB(通过Surface)

相关文章:

你感兴趣的文章:

标签云: