Android Camera2入门系列3 – Image中获得YUV数据及YUV格式理解

Android Camera2入门

Android Camera2入门系列1 - Camera2在textureView预览
Android Camera2入门系列2 - ImageReader获得预览数据
Android Camera2入门系列3 - Image中获得YUV数据及YUV格式理解
Android Camera2入门系列4 - libyuv的编译和使用

接上篇，Android Camera系列2 - ImageReader获得预览数据
本篇说一下YUV的格式以及如何从Image中得到真正的YUV数据。
YUV的格式网上有很多了，这里就不从YUV的具体格式展开了。这里只分享Camera2设置YUV_420_888时返回的数据格式。
如果了解YUV格式，我们知道其实YUV_420_888可以包含很多格式，比如YUV420P(I420=YU12 YV12)和YUV420SP(NV12,NV21)都可以叫做YUV_420_888。
我们知道camera2格式设置为YUV_420_888时ImageReader会得到三个Plane，分别对应y,u,v，每个Plane都有自己的规格，介绍两个Plane重要的参数：

• getRowStride
  getRowStride是每一行数据相隔的间隔。
  getRowStride并不一定等于camera预览的宽度，厂商实现不同，我手头两台手机，华为P20两者相等，小米8则不相等。
  比如说width=8，但getRowStride可能是10
  Y1Y2Y3Y4Y5Y6Y7Y8 0 0
  U1V1U2V2U3V3U4V4 0 0
  所以获取对应数据就不一样，需要根据RowStride获取对应数据，而不是直接数组拷贝，下面例子详细讲解它的作用。
• getPixelStride
  表示相邻的相同YUV数据间隔的距离。
  Y分量应该都是1，表示Y都是紧密挨着的
  UV分量可能是1，也可能是2
  1、 UV分量是1：表示UV跟Y一样，两个U之间没有间隔，也就是YU12(也叫I420：YYYYYYYYUUVV)或者YV12(YYYYYYYYVVUU)
  2、UV分量是2：表示每两个UV之间间隔一个，也就是NV12(YYYYYYYYUVUV)或者NV21(YYYYYYYYVUVU)
  当我们取数据的时候需要注意要跟上面的getRowStride结合使用，因为并不是所有的block都是挨着的。

我们做个试验来验证我们的想法，测试手机为小米8，支持的预览高度最小为176/144。

Y分量 <-> planes[0]

我们使用planes[0].getBuffer().remaining()方法查看当前的Y的size
把Y Plane返回的数据存成文件，使用010Editor打开文件查看，Camera设置的预览宽高为176/144，而getRowStride返回值为192，也就是说，它使用了192个字节来存储176个有用的data，有16个字节是无用的。
如下图所示：

我们可以清楚的看到，每两个块之间有16个byte都是0，印证了我们的想法。也就是说每rowStride (192)个byte中，前width (176)个是实际数据，余下的rowStride-width (16)个为无用数据。
所以我画了一幅图，大致如下所示，有颜色的表示有用的数据，白色表示无用数据：

分布

如果注意到的话上面例子中Y的数量是27632 = 192*143+176，所以说最后一行没有最后的16个无用字节。

UV分量 <-> planes[1] planes[2]

先看下这俩的二进制文件的区别：

u-v

我现在并不知道为什么u分量只是跟v分量偏移了一个字节，其他都一样。有哪位了解的，麻烦评论告诉我一下~~~
我们拿v分量来看176/144的size的情况下，它的size是13807；
类似Y分量，也就是13807 = 192*71+176-1，除了最后减去了一个byte，原理跟Y一致，只不过是Y的一半，Y有144个，UV分别有144/2个，所以是rowStride * (height / 2 - 1) + width，至于为什么减一，现阶段我还是不知道，先记住。

从Image获取YUV代码如下：

    private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
        @Override
        public void onImageAvailable(ImageReader reader) {
            Image image = reader.acquireLatestImage();
            if (image == null) {
                return;
            }
                try {
                    int w = image.getWidth(), h = image.getHeight();
                    // size是宽乘高的1.5倍 可以通过ImageFormat.getBitsPerPixel(ImageFormat.YUV_420_888)得到
                    int i420Size = w * h * 3 / 2;

                    Image.Plane[] planes = image.getPlanes();
                    //remaining0 = rowStride*(h-1)+w => 27632= 192*143+176 Y分量byte数组的size
                    int remaining0 = planes[0].getBuffer().remaining();
                    int remaining1 = planes[1].getBuffer().remaining();
                    //remaining2 = rowStride*(h/2-1)+w-1 =>  13807=  192*71+176-1 V分量byte数组的size
                    int remaining2 = planes[2].getBuffer().remaining();
                    //获取pixelStride，可能跟width相等，可能不相等
                    int pixelStride = planes[2].getPixelStride();
                    int rowOffest = planes[2].getRowStride();
                    byte[] nv21 = new byte[i420Size];
                    //分别准备三个数组接收YUV分量。
                    byte[] yRawSrcBytes = new byte[remaining0];
                    byte[] uRawSrcBytes = new byte[remaining1];
                    byte[] vRawSrcBytes = new byte[remaining2];
                    planes[0].getBuffer().get(yRawSrcBytes);
                    planes[1].getBuffer().get(uRawSrcBytes);
                    planes[2].getBuffer().get(vRawSrcBytes);
                    if (pixelStride == width) {
                        //两者相等，说明每个YUV块紧密相连，可以直接拷贝
                        System.arraycopy(yRawSrcBytes, 0, nv21, 0, rowOffest * h);
                        System.arraycopy(vRawSrcBytes, 0, nv21, rowOffest * h, rowOffest * h / 2 - 1);
                    } else {
                        //根据每个分量的size先生成byte数组
                        byte[] ySrcBytes = new byte[w * h];
                        byte[] uSrcBytes = new byte[w * h / 2 - 1];
                        byte[] vSrcBytes = new byte[w * h / 2 - 1];
                        for (int row = 0; row < h; row++) {
                            //源数组每隔 rowOffest 个bytes 拷贝 w 个bytes到目标数组
                            System.arraycopy(yRawSrcBytes, rowOffest * row, ySrcBytes, w * row, w);
                            //y执行两次，uv执行一次
                            if (row % 2 == 0) {
                                //最后一行需要减一
                                if (row == h - 2) {
                                    System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w - 1);
                                } else {
                                    System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w);
                                }
                            }
                        }
                        //yuv拷贝到一个数组里面
                        System.arraycopy(ySrcBytes, 0, nv21, 0, w * h);
                        System.arraycopy(vSrcBytes, 0, nv21, w * h, w * h / 2 - 1);
                    }
                    //这里使用了YuvImage，接收NV21的数据，得到一个Bitmap
                    Bitmap bitmap = BitmapUtil.getBitmapImageFromYUV(nv21, width, height);

                    if (mOnGetBitmapInterface != null) {
                        mOnGetBitmapInterface.getABitmap(bitmap);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                    LogUtil.d(e.toString());
                }
            image.close();
        }
    };

//BitmapUtil.java
    public static Bitmap getBitmapImageFromYUV(byte[] data, int width, int height) {
        YuvImage yuvimage = new YuvImage(data, ImageFormat.NV21, width, height, null);
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        yuvimage.compressToJpeg(new Rect(0, 0, width, height), 80, baos);
        byte[] jdata = baos.toByteArray();
        BitmapFactory.Options bitmapFatoryOptions = new BitmapFactory.Options();
        bitmapFatoryOptions.inPreferredConfig = Bitmap.Config.RGB_565;
        Bitmap bmp = BitmapFactory.decodeByteArray(jdata, 0, jdata.length, bitmapFatoryOptions);
        return bmp;
    }

这些代码已经上传到github -> 此代码的github传送门 欢迎star/follow

下一篇分享使用libyuv做转码。