标签：编码 编码器 视频 音视频 mp4 Plane MediaCodec 格式 Android
Android录制视频有多种方法：MediaRecorder, MediaProjection, MediaMuxer, OpenGL等，每种方法都有其应用场景。
这里介绍的是用MediaCodec + MediaMuxer录制视频，这种方式是将音频流和视频流用MediaCodec编码，然后用MediaMuxer混流合成mp4视频， 这种方式的通用性较好，它不关心数据来源，只要能获得音视频流数据，就能录制。
音视频开发自有完整体系，其中的知识点和注意点（坑）也很多。网上的文章和开源项目虽不少，有些点却鲜有提及。这里将我开发中遇到的问题和一些小结记录下来，如有错误，还请指教。
1. 数据源
视频来源选择Camera2，给Camera2添加ImageReader，就能获得实时的图像数据。具体操作可以看这篇文章。
给ImageReader设置的输出格式是
ImageFormat.YUV_420_888，这种格式是官方建议通用性最好的，但是它只能保证输出是YUV420格式，而YUV420分很多种，具体格式不同设备是不同的，可能是YUV420P，也可能是YUV420SP，后面编码还要考虑这个问题。
从ImageReader中获取byte[]数据方法如下
/**
* 从ImageReader中获取byte[]数据
*/
public static byte[] getBytesFromImageReader(ImageReader imageReader) {
try (Image image = imageReader.acquireNextImage()) {
final Image.Plane[] planes = image.getPlanes();
ByteBuffer b0 = planes[0].getBuffer();
ByteBuffer b1 = planes[1].getBuffer();
ByteBuffer b2 = planes[2].getBuffer();
int y = b0.remaining(), u = y >> 2, v = u;
byte[] bytes = new byte[y + u + v];
if(b1.remaining() > u) { // y420sp
b0.get(bytes, 0, b0.remaining());
b1.get(bytes, y, b1.remaining()); // uv
} else { // y420p
b0.get(bytes, 0, b0.remaining());
b1.get(bytes, y, b1.remaining()); // u
b2.get(bytes, y + u, b2.remaining()); // v
}
return bytes;
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
从ImageReader中取得Image，YUV数据就在Image的Plane[]中，Plane也就是平面有3个。Plane[0]是Y平面，数据量等于图像的像素个数，用plane.getBuffer().remaining()方法获得。
YUV420P格式下Plane[1]是U平面，数据量是Y/4，Plane[2]是V平面，数据量也是Y/4。
YUV420SP格式下Plane[1]和Plane[2]都是UV平面，它们数据基本相同，只是位置错开了一位。一般情况下用Plane[1]中的数据即可，Plane[1]的数据量可能是Y/2，也可能是Y/2 - 1，虽然差那一位数据在显示上没有影响，但会导致创建的数组大小不对。
音频来源选择AudioRecord，配置参数，启动，然后从单独线程中用AudioRecord.read()方法不断地循环读取数据。
2. 编码格式
视频编码用MediaCodec，根据MIME_TYPE = "video/avc"选择设备支持的编码器和colorFormat
private MediaCodecInfo selectSupportCodec(String mimeType) {
int numCodecs = MediaCodecList.getCodecCount();
for (int i = 0; i < numCodecs; i++) {
MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);
if (!codecInfo.isEncoder()) {
continue;
}
String[] types = codecInfo.getSupportedTypes();
for (int j = 0; j < types.length; j++) {
if (types[j].equalsIgnoreCase(mimeType)) {
return codecInfo;
}
}
}
return null;
}
/**
* 根据mime类型匹配编码器支持的颜色格式
*/
private int selectSupportColorFormat(MediaCodecInfo mCodecInfo, String mimeType) {
MediaCodecInfo.CodecCapabilities capabilities = mCodecInfo.getCapabilitiesForType(mimeType);
HashSet<Integer> colorFormats = new HashSet<>();
for(int i : capabilities.colorFormats) colorFormats.add(i);
if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar;
if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar;
return 0;
}
colorFormat颜色格式很重要，它代表了编码器接受的图像格式。输入其他格式的图像，会导致编码失败或者视频的图像颜色错乱。
目前来说：大部分手机都支持COLOR_FormatYUV420SemiPlanar格式（实测是NV12），因此首选这个格式；少数手机（如红米Note4，魅族MX5）不支持COLOR_FormatYUV420SemiPlanar，而支持COLOR_FormatYUV420Planar格式（实测是I420）；这两种格式基本能覆盖所有的设备了。
前面说过Camera2设置
ImageFormat.YUV_420_888后输出的图像格式是YUV420P或YUV420SP，实测格式是I420和NV12，它们跟视频编码器的支持的格式吻合，可以直接提供给视频编码器，当然一般还需要旋转。如果你的图像不是从Camera2获取的，或者是其他格式，就要将图像转换成编码器支持的格式。
（根据我的测试，如果手机支持COLOR_FormatYUV420SemiPlanar编码格式，那么它的Camera2相机输出的就是NV12格式；如果手机只支持COLOR_FormatYUV420Planar编码格式，那么它的Camera2相机输出的就是I420格式。因此我猜测Camera2输出用的就是相同的硬件视频编码器。）
音频编码也用MediaCodec，根据MIME_TYPE = "audio/mp4a-latm"选择编码器即可，基本没有设备差异问题。
3. 合成视频
主要步骤
- 用MediaCodec分别开始编码图像和声音
- 将编码时获得的图像和声音的MediaFormat添加到MediaMuxer
- 启动MediaMuxer将编码后的图像和声音合成mp4
3.1 编码
编码器输入byte[]原始数据，编码后输出ByteBuffer数据。
编码比较耗时，需要工作在单独的线程中。
编码的输入和输出是异步的，也就是输入数据，然后用循环不停获取输出。
编码一段时间后才能获取到MediaCodec.INFO_OUTPUT_FORMAT_CHANGED信息，这代表输出格式确定了，也就能向MediaMuxer添加轨道了。
视频编码器输入和输出如下
// 视频编码器输入
private void feedMediaCodecData(byte[] data, long timeStamp) {
int inputBufferIndex = mVideoEncodec.dequeueInputBuffer(TIMES_OUT);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = mVideoEncodec.getInputBuffer(inputBufferIndex);
if (inputBuffer != null) {
inputBuffer.clear();
inputBuffer.put(data);
}
Log.e("chao", "video set pts......." + (timeStamp) / 1000 / 1000);
mVideoEncodec.queueInputBuffer(inputBufferIndex, 0, data.length, System.nanoTime() / 1000
, MediaCodec.BUFFER_FLAG_KEY_FRAME);
}
}
// 视频编码器输出
MediaCodec.BufferInfo mBufferInfo = new MediaCodec.BufferInfo();
int outputBufferIndex;
do {
outputBufferIndex = mVideoEncodec.dequeueOutputBuffer(mBufferInfo, TIMES_OUT);
if (outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) {
// Log.i(TAG, "INFO_TRY_AGAIN_LATER");
} else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
synchronized (H264EncodeConsumer.this) {
newFormat = mVideoEncodec.getOutputFormat();
if (mMuxerRef != null) {
MediaMuxerUtil muxer = mMuxerRef.get();
if (muxer != null) {
muxer.addTrack(newFormat, true);
}
}
}
Log.i(TAG, "编码器输出缓存区格式改变，添加视频轨道到混合器");
} else {
ByteBuffer outputBuffer = mVideoEncodec.getOutputBuffer(outputBufferIndex);
int type = outputBuffer.get(4) & 0x1F;
Log.d(TAG, "------还有数据---->" + type);
if (type == 7 || type == 8) {
Log.e(TAG, "------PPS、SPS帧(非图像数据)，忽略-------");
mBufferInfo.size = 0;
} else if (type == 5) {
if (mMuxerRef != null) {
MediaMuxerUtil muxer = mMuxerRef.get();
if (muxer != null) {
Log.i(TAG, "------编码混合 视频关键帧数据-----" + mBufferInfo.presentationTimeUs / 1000);
muxer.pumpStream(outputBuffer, mBufferInfo, true);
}
isAddKeyFrame = true;
}
} else {
if (isAddKeyFrame) {
if (isAddKeyFrame && mMuxerRef != null) {
MediaMuxerUtil muxer = mMuxerRef.get();
if (muxer != null) {
Log.i(TAG, "------编码混合 视频普通帧数据-----" + mBufferInfo.presentationTimeUs / 1000);
muxer.pumpStream(outputBuffer, mBufferInfo, true);
}
}
}
}
mVideoEncodec.releaseOutputBuffer(outputBufferIndex, false);
}
} while (outputBufferIndex >= 0);
音频编码器工作是类似的，由于我用的AudioRecord获取声音数据，编码时会有一个问题：
AudioRecord获取音频数据是用死循环不断获取的，这样获取声音的速度太快，编码又是耗时的，就会造成编码速度赶不上声音获取速度，也就是生产速度远大于消费速度，导致大部分数据都处理不完，视频中声音出问题。
音频编码器能设置MediaFormat.KEY_MAX_INPUT_SIZE，也就是输入数据包的大小。我采取的方法是给它设置一个较大的值，获取到声音数据后先缓存起来，拼接成较大的数据包后再提供给编码器，这样就能处理过来了。
3.2 合成
视频合成使用MediaMuxer合成器，用addTrack()方法添加视频轨道和声音轨道后才能启动，启动后用writeSampleData()方法输入数据后，直接输出到指定的mp4文件中。
完整代码
https://github.com/rome753/android-encode-mp4
标签：编码,编码器,视频,音视频,mp4,Plane,MediaCodec,格式,Android 来源： https://www.cnblogs.com/rome753/p/16491436.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。