Android设备上opencv开发图像格式

Windows的图像格式和Android移动设备上的图像格式存在差异,使得处理存在一些问题!简单来讲

Camera得到的数据是:YUV,而在移动端设备上显示的数据又是:RGBA, 但是C++程序中处理的数据又是RGB。因此需要做数据的转换。具体的操作示意图如下:

0. 使用前的准备。

Camera的使用需要先在AndroidManifest.xml 文件当中加入camera的权限:

<uses-permission android:name="android.permission.CAMERA" /> <uses-feature android:name="android.hardware.camera" /> <uses-feature android:name="android.hardware.camera.autofocus" />

一些小Tips:

API Level 9之后,可以使用来查看相机是在设备前面还是后面,还可以得到图像的方向。

相机是设备资源,被所有应用共享,当应用不使用相机时应当及时释放,应当在中释放。

如果不及时释放,后续的相机请求(包括你自己的应用和其他的应用发出的)都将失败并且导致应用退出。

1. 数据的获得:

需要先打开摄像头:

Camera mCamera = Camera.open();Camera.Parameters p = mCamera.getParameters();p.setPreviewFormat(ImageFormat.NV21);

mCamera.setParameters(p);mCamera.startPreview();

Camera提供了这个接口,用法如下:( take care of the function format here):

mCamera.setPreviewCallback(new PreviewCallback(){@Overridepublic void onPreviewFrame(byte[] data, Camera camera){//你的操作}});

在这个回调里我们就能够获取到当前帧的数据,我们可以对其进行预处理,,比如压缩、加密、特效处理等,不过byte[]这个buffer里面的数据是YUV格式的,一般是YUV420SP,而Android提供的SurfaceView、GLSurfaceView、TextureView等控件只支持RGB格式的渲染,因此我们需要一个算法来解码。也就是做数据的转化。

2.数据的转换(+JNI 的方法 总共有三种):

第一种方式:

@Overridepublic void onPreviewFrame(byte[] data, Camera camera) {Size size = camera.getParameters().getPreviewSize();try{YuvImage image = new YuvImage(data, ImageFormat.NV21, size.width, size.height, null);if(image!=null){ByteArrayOutputStream stream = new ByteArrayOutputStream();image.compressToJpeg(new Rect(0, 0, size.width, size.height), 80, stream);Bitmap bmp = BitmapFactory.decodeByteArray(stream.toByteArray(), 0, stream.size());stream.close();}}catch(Exception ex){Log.e("Sys","Error:"+ex.getMessage());}}

其实在获得数据流以后没必要压缩,会降低速度:

以320×240大小的视频传输为例

方案压缩率压缩/传输方式实时性平均流量消耗传输距离

用camera的回调函数发送原始的yuv420数据0无压缩,按帧传输高(20~30 fps)很高(6.5 Mbps)太恐怖了O_O近距离有线或无线

用MediaRecorder对yuv420进行H264硬编码后发送高(95%)帧间压缩,视频流传输高(20 fps)低(30~70 Kbps)可以远距离

调用本地H264编码库(JNI)对一帧YUV420数据编码后发送高(97%)帧间压缩,按帧传输低(2 fps)低(20 Kbps)可以远距离

对一帧数据用GZIP库压缩后发送(很奇葩的做法)较高(70%~80%)帧内压缩,按帧传输低(5 fps)较高(300 Kbps)可以远距离

对一帧数据用JPEG方式压缩后传输一般(60%左右)帧内压缩,按帧传输高(25 fps)高(170 Kbps)可以远距离(带宽允许的话)

<span style="background-color: rgb(255, 255, 255);">BitmapFactory.decodeByteArray</span>据说也很慢!

其实可以用它获得数据:

byte[] tmp = stream.toByteArray();再用其他的方法处理。

第二种:

public Bitmap rawByteArray2RGBABitmap2(byte[] data, int width, int height) {int frameSize = width * height;int[] rgba = new int[frameSize];for (int i = 0; i < height; i++)for (int j = 0; j < width; j++) {int y = (0xff & ((int) data[i * width + j]));int u = (0xff & ((int) data[frameSize + (i >> 1) * width + (j & ~1) + 0]));int v = (0xff & ((int) data[frameSize + (i >> 1) * width + (j & ~1) + 1]));y = y < 16 ? 16 : y;int r = Math.round(1.164f * (y – 16) + 1.596f * (v – 128));int g = Math.round(1.164f * (y – 16) – 0.813f * (v – 128) – 0.391f * (u – 128));int b = Math.round(1.164f * (y – 16) + 2.018f * (u – 128));r = r < 0 ? 0 : (r > 255 ? 255 : r);g = g < 0 ? 0 : (g > 255 ? 255 : g);b = b < 0 ? 0 : (b > 255 ? 255 : b);rgba[i * width + j] = 0xff000000 + (b << 16) + (g << 8) + r;}Bitmap bmp = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888);bmp.setPixels(rgba, 0 , width, 0, 0, width, height);return bmp;}

第三种:

JNIEXPORT void JNICALL Java_com_dvt_pedDetec_pedDetec_yuv2rgb( JNIEnv* env, jobject, jint width, jint height, jbyteArray yuv,jintArray bgr)//JNIEXPORT void JNICALL Java_<package>_<class>_<function>( JNIEnv* env, jobject, <Args>){jbyte* _yuv =env->GetByteArrayElements(yuv,0);jint* _bgr =env->GetIntArrayElements(bgr,0);Mat myuv(height+height/2, width, CV_8UC1, (uchar *)_yuv);Mat mbgr(height, width, CV_8UC3, (uchar *)_bgr);cvtColor(myuv, mbgr, CV_yuv420sp2BGR); //cvtColor(mbgr, mbgra,CV_BGR2BGRA); for display}更正:cvtColor(myuv, mbgr, CV_yuv420sp2BGR)里面的更正为:CV_YUV420sp2BGR。

我们什么都没有,唯一的本钱就是青春。

Android设备上opencv开发图像格式

相关文章:

你感兴趣的文章:

标签云: