FFmpeg封装格式处理：视音频复用器（muxer）-Mysql Tutorial-php.cn

Home

Database

Mysql Tutorial

FFmpeg封装格式处理：视音频复用器（muxer）

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 07, 2016 pm 04:05 PM

ffmpegdeal withencapsulationbeatFormatAudio

打算记录一下基于FFmpeg的封装格式处理方面的例子。包括了视音频分离，复用，封装格式转换。这是第3篇。本文记录一个基于FFmpeg的视音频复用器（Simplest FFmpeg muxer）。视音频复用器（Muxer）即是将视频压缩数据（例如H.264）和音频压缩数据（例如AAC）合

打算记录一下基于FFmpeg的封装格式处理方面的例子。包括了视音频分离，复用，封装格式转换。这是第3篇。

本文记录一个基于FFmpeg的视音频复用器（Simplest FFmpeg muxer）。视音频复用器（Muxer）即是将视频压缩数据（例如H.264）和音频压缩数据（例如AAC）合并到一个封装格式数据（例如MKV）中去。如图所示。在这个过程中并不涉及到编码和解码。

本文记录的程序将一个H.264编码的视频码流文件和一个MP3编码的音频码流文件，合成为一个MP4封装格式的文件。
，一共初始化了3个AVFormatContext，其中2个用于输入，1个用于输出。3个AVFormatContext初始化之后，通过avcodec_copy_context()函数可以将输入视频/音频的参数拷贝至输出视频/音频的AVCodecContext结构体。然后分别调用视频输入流和音频输入流的av_read_frame()，从视频输入流中取出视频的AVPacket，音频输入流中取出音频的AVPacket，分别将取出的AVPacket写入到输出文件中即可。其间用到了一个不太常见的函数av_compare_ts()，是比较时间戳用的。通过该函数可以决定该写入视频还是音频。

本文介绍的视音频复用器，输入的视频不一定是H.264裸流文件，音频也不一定是纯音频文件。可以选择两个封装过的视音频文件作为输入。程序会从视频输入文件中“挑”出视频流，音频输入文件中“挑”出音频流，再将“挑选”出来的视音频流复用起来。 PS1：对于某些封装格式（例如MP4/FLV/MKV等）中的H.264，需要用到名称为“h264_mp4toannexb”的bitstream filter。
PS2：对于某些封装格式（例如MP4/FLV/MKV等）中的AAC，需要用到名称为“aac_adtstoasc”的bitstream filter。

简单介绍一下流程中各个重要函数的意义：

avformat_open_input()：打开输入文件。
avcodec_copy_context()：赋值AVCodecContext的参数。
avformat_alloc_output_context2()：初始化输出文件。
avio_open()：打开输出文件。
avformat_write_header()：写入文件头。
av_compare_ts()：比较时间戳，决定写入视频还是写入音频。这个函数相对要少见一些。
av_read_frame()：从输入文件读取一个AVPacket。
av_interleaved_write_frame()：写入一个AVPacket到输出文件。
av_write_trailer()：写入文件尾。

代码

下面贴上代码：
<strong>[cpp]</strong> view plaincopy

```
/**
```

* 最简单的基于FFmpeg的视音频复用器

```
* Simplest FFmpeg Muxer
```
```
*
```
```
* 雷霄骅 Lei Xiaohua
```
```
* leixiaohua1020@126.com
```
```
* 中国传媒大学/数字电视技术
```

* Communication University of China / Digital TV Technology

```
* http://blog.csdn.net/leixiaohua1020
```
```
*
```

* 本程序可以将视频码流和音频码流打包到一种封装格式中。

* 程序中将MP3编码的音频码流和H.264编码（MPEG2TS封装中）的视频码流打包成

```
* MP4封装格式的文件。
```

* 需要注意的是本程序并不改变视音频的编码格式。

```
*
```

* This software mux a video bitstream and a audio bitstream

```
* together into a file.
```

* In this example, it mux a H.264 bitstream (in MPEG2TS) and

* a MP3 bitstream file together into MP4 format file.

```
*
```
```
*/
```
```
#include <stdio.h></stdio.h>
```
```
extern "C"
```
```
{
```
```
#include "libavformat/avformat.h"
```
```
};
```
```
/*
```

FIX: H.264 in some container format (FLV, MP4, MKV etc.) need

"h264_mp4toannexb" bitstream filter (BSF)

```
*Add SPS,PPS in front of IDR frame
```

*Add start code ("0,0,0,1") in front of NALU

H.264 in some container (MPEG2TS) don't need this BSF.

```
*/
```
```
//'1': Use H.264 Bitstream Filter
```
```
#define USE_H264BSF 0
```
```
/*
```

FIX:AAC in some container format (FLV, MP4, MKV etc.) need

```
"aac_adtstoasc" bitstream filter (BSF)
```
```
*/
```
```
//'1': Use AAC Bitstream Filter
```
```
#define USE_AACBSF 0
```
```
int main(int argc, char* argv[])
```
```
{
```
```
AVOutputFormat *ofmt = NULL;
```

//输入对应一个AVFormatContext，输出对应一个AVFormatContext

//（Input AVFormatContext and Output AVFormatContext）

AVFormatContext *ifmt_ctx_v = NULL, *ifmt_ctx_a = NULL,*ofmt_ctx = NULL;

```
AVPacket pkt;
```
```
int ret, i;
```

char *in_filename_v = "cuc_ieschool.ts";//输入文件名（Input file URL）

//char *in_filename_v = "cuc_ieschool.h264";

//char *in_filename_a = "cuc_ieschool.mp3";

```
//char *in_filename_a = "gowest.m4a";
```
```
//char *in_filename_a = "gowest.aac";
```
```
char *in_filename_a = "huoyuanjia.mp3";
```

char *out_filename = "cuc_ieschool.mp4";//输出文件名（Output file URL）

```
av_register_all();
```
```
//输入（Input）
```

if ((ret = avformat_open_input(&ifmt_ctx_v, in_filename_v, 0, 0))

```
printf( "Could not open input file.");
```
```
goto end;
```
```
}
```

if ((ret = avformat_find_stream_info(ifmt_ctx_v, 0))

printf( "Failed to retrieve input stream information");

```
goto end;
```
```
}
```

if ((ret = avformat_open_input(&ifmt_ctx_a, in_filename_a, 0, 0))

```
printf( "Could not open input file.");
```
```
goto end;
```
```
}
```

if ((ret = avformat_find_stream_info(ifmt_ctx_a, 0))

printf( "Failed to retrieve input stream information");

```
goto end;
```
```
}
```

printf("Input Information=====================\n");

av_dump_format(ifmt_ctx_v, 0, in_filename_v, 0);

av_dump_format(ifmt_ctx_a, 0, in_filename_a, 0);

printf("======================================\n");

```
//输出（Output）
```

avformat_alloc_output_context2(&ofmt_ctx, NULL, NULL, out_filename);

```
if (!ofmt_ctx) {
```

printf( "Could not create output context\n");

```
ret = AVERROR_UNKNOWN;
```
```
goto end;
```
```
}
```
```
ofmt = ofmt_ctx->oformat;
```
```
int videoindex_v=-1,videoindex_out=-1;
```
```
for (i = 0; i nb_streams; i++) {
```

//根据输入流创建输出流（Create output AVStream according to input AVStream）

if(ifmt_ctx_v->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO){

```
videoindex_v=i;
```

AVStream *in_stream = ifmt_ctx_v->streams[i];

AVStream *out_stream = avformat_new_stream(ofmt_ctx, in_stream->codec->codec);

```
if (!out_stream) {
```

printf( "Failed allocating output stream\n");

```
ret = AVERROR_UNKNOWN;
```
```
goto end;
```
```
}
```
```
videoindex_out=out_stream->index;
```

//复制AVCodecContext的设置（Copy the settings of AVCodecContext）

if (avcodec_copy_context(out_stream->codec, in_stream->codec)

printf( "Failed to copy context from input to output stream codec context\n");

```
goto end;
```
```
}
```
```
out_stream->codec->codec_tag = 0;
```

if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)

out_stream->codec->flags |= CODEC_FLAG_GLOBAL_HEADER;

```
break;
```
```
}
```
```
}
```
```
int audioindex_a=-1,audioindex_out=-1;
```
```
for (i = 0; i nb_streams; i++) {
```

//根据输入流创建输出流（Create output AVStream according to input AVStream）

if(ifmt_ctx_a->streams[i]->codec->codec_type==AVMEDIA_TYPE_AUDIO){

```
audioindex_a=i;
```

AVStream *in_stream = ifmt_ctx_a->streams[i];

AVStream *out_stream = avformat_new_stream(ofmt_ctx, in_stream->codec->codec);

```
if (!out_stream) {
```

printf( "Failed allocating output stream\n");

```
ret = AVERROR_UNKNOWN;
```
```
goto end;
```
```
}
```
```
audioindex_out=out_stream->index;
```

//复制AVCodecContext的设置（Copy the settings of AVCodecContext）

if (avcodec_copy_context(out_stream->codec, in_stream->codec)

printf( "Failed to copy context from input to output stream codec context\n");

```
goto end;
```
```
}
```
```
out_stream->codec->codec_tag = 0;
```

if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)

out_stream->codec->flags |= CODEC_FLAG_GLOBAL_HEADER;

```
break;
```
```
}
```
```
}
```
```
//输出一下格式------------------
```

printf("Output Information====================\n");

av_dump_format(ofmt_ctx, 0, out_filename, 1);

printf("======================================\n");

//打开输出文件（Open output file）

```
if (!(ofmt->flags & AVFMT_NOFILE)) {
```

if (avio_open(&ofmt_ctx->pb, out_filename, AVIO_FLAG_WRITE)

printf( "Could not open output file '%s'", out_filename);

```
goto end;
```
```
}
```
```
}
```
```
//写文件头（Write file header）
```

if (avformat_write_header(ofmt_ctx, NULL)

printf( "Error occurred when opening output file\n");

```
goto end;
```
```
}
```
```
int frame_index=0;
```
```
int64_t cur_pts_v=0,cur_pts_a=0;
```
```
//FIX
```
```
#if USE_H264BSF
```

AVBitStreamFilterContext* h264bsfc = av_bitstream_filter_init("h264_mp4toannexb");

```
#endif
```
```
#if USE_AACBSF
```

AVBitStreamFilterContext* aacbsfc = av_bitstream_filter_init("aac_adtstoasc");

```
#endif
```
```
while (1) {
```
```
AVFormatContext *ifmt_ctx;
```
```
int stream_index=0;
```
```
AVStream *in_stream, *out_stream;
```

//获取一个AVPacket（Get an AVPacket）

if(av_compare_ts(cur_pts_v,ifmt_ctx_v->streams[videoindex_v]->time_base,cur_pts_a,ifmt_ctx_a->streams[audioindex_a]->time_base)

```
ifmt_ctx=ifmt_ctx_v;
```
```
stream_index=videoindex_out;
```
```
if(av_read_frame(ifmt_ctx, &pkt) >= 0){
```
```
do{
```
```
if(pkt.stream_index==videoindex_v){
```
```
cur_pts_v=pkt.pts;
```
```
break;
```
```
}
```

}while(av_read_frame(ifmt_ctx, &pkt) >= 0);

```
}else{
```
```
break;
```
```
}
```
```
}else{
```
```
ifmt_ctx=ifmt_ctx_a;
```
```
stream_index=audioindex_out;
```
```
if(av_read_frame(ifmt_ctx, &pkt) >= 0){
```
```
do{
```
```
if(pkt.stream_index==audioindex_a){
```
```
cur_pts_a=pkt.pts;
```
```
break;
```
```
}
```

}while(av_read_frame(ifmt_ctx, &pkt) >= 0);

```
}else{
```
```
break;
```
```
}
```
```
}
```

in_stream = ifmt_ctx->streams[pkt.stream_index];

out_stream = ofmt_ctx->streams[stream_index];

```
//FIX
```
```
#if USE_H264BSF
```

av_bitstream_filter_filter(h264bsfc, in_stream->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);

```
#endif
```
```
#if USE_AACBSF
```

av_bitstream_filter_filter(aacbsfc, in_stream->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);

```
#endif
```
```
//FIX：No PTS (Example: Raw H.264)
```
```
//Simple Write PTS
```
```
if(pkt.pts==AV_NOPTS_VALUE){
```
```
//Write PTS
```

AVRational time_base1=in_stream->time_base;

```
//Duration between 2 frames (us)
```

int64_t calc_duration=(double)AV_TIME_BASE/av_q2d(in_stream->r_frame_rate);

```
//Parameters
```

pkt.pts=(double)(frame_index*calc_duration)/(double)(av_q2d(time_base1)*AV_TIME_BASE);

```
pkt.dts=pkt.pts;
```

pkt.duration=(double)calc_duration/(double)(av_q2d(time_base1)*AV_TIME_BASE);

```
frame_index++;
```
```
}
```
```
/* copy packet */
```
```
//转换PTS/DTS（Convert PTS/DTS）
```

pkt.pts = av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));

pkt.dts = av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));

pkt.duration = av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);

```
pkt.pos = -1;
```
```
pkt.stream_index=stream_index;
```

printf("Write 1 Packet. size:%5d\tpts:%8d\n",pkt.size,pkt.pts);

```
//写入（Write）
```

if (av_interleaved_write_frame(ofmt_ctx, &pkt)

```
printf( "Error muxing packet\n");
```
```
break;
```
```
}
```
```
av_free_packet(&pkt);
```
```
}
```
```
//写文件尾（Write file trailer）
```
```
av_write_trailer(ofmt_ctx);
```
```
#if USE_H264BSF
```
```
av_bitstream_filter_close(h264bsfc);
```
```
#endif
```
```
#if USE_AACBSF
```
```
av_bitstream_filter_close(aacbsfc);
```
```
#endif
```
```
end:
```
```
avformat_close_input(&ifmt_ctx_v);
```
```
avformat_close_input(&ifmt_ctx_a);
```
```
/* close output */
```

if (ofmt_ctx && !(ofmt->flags & AVFMT_NOFILE))

```
avio_close(ofmt_ctx->pb);
```
```
avformat_free_context(ofmt_ctx);
```
```
if (ret 
```
```
printf( "Error occurred.\n");
```
```
return -1;
```
```
}
```
```
return 0;
```

Statement

The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn

Golang与FFmpeg: 如何实现音频混音和分离Sep 27, 2023 pm 02:24 PM

Golang与FFmpeg:如何实现音频混音和分离，需要具体代码示例摘要：音频处理是许多多媒体应用程序中必不可少的一部分。在Golang中，我们可以使用FFmpeg库来实现音频的混音和分离。本文将介绍如何使用Golang调用FFmpeg库来实现音频混音和分离，并提供了具体的代码示例。通过学习本文，读者将了解到如何使用Golang和FFmpeg来实现音频处理

利用Golang和FFmpeg实现视频拼接的实践Sep 28, 2023 am 08:37 AM

利用Golang和FFmpeg实现视频拼接的实践引言：在日常生活中，我们经常会遇到需要将多个视频文件合并为一个的情况，例如将多段录制的视频拼接为一个完整的视频文件。为了实现这一目的，本文将介绍如何使用Golang和FFmpeg库来实现视频拼接的过程，并提供具体的代码示例。一、什么是Golang和FFmpeg？Golang（即Go语言）是一种开源的编程语言，由

Golang与FFmpeg: 如何实现音频合成和分割Sep 27, 2023 pm 10:52 PM

Golang与FFmpeg:如何实现音频合成和分割，需要具体代码示例摘要：本文将介绍如何使用Golang和FFmpeg库来实现音频合成和分割。我们将用到一些具体的代码示例来帮助读者更好地理解。引言：随着音频处理技术的不断发展，音频合成和分割已经成为日常生活和工作中常见的功能需求。而Golang作为一种快速，高效且易于编写和维护的编程语言，加上FFmpeg作

如何在服务器上安装 PHP FFmpeg 扩展？Mar 28, 2024 pm 02:39 PM

如何在服务器上安装PHPFFmpeg扩展？在服务器上安装PHPFFmpeg扩展可以帮助我们在PHP项目中处理音视频文件，实现音视频文件的编解码、剪辑、处理等功能。本文将介绍如何在服务器上安装PHPFFmpeg扩展，以及具体的代码示例。首先，我们需要确保服务器上已经安装了PHP以及FFmpeg。如果没有安装FFmpeg，可以按照以下步骤安装FFmpe

利用Golang和FFmpeg实现视频去闪烁的实践Sep 27, 2023 pm 04:46 PM

利用Golang和FFmpeg实现视频去闪烁的实践概述：视频的闪烁问题是在视频处理过程中经常遇到的一个挑战。当录制视频的帧率与照明频率不匹配时，可能会导致视频中出现闪烁的情况。本文将介绍如何利用Golang和FFmpeg库来实现视频去闪烁的方法，并提供具体的代码示例。步骤：安装FFmpeg库：首先，我们需要在Golang开发环境中安装FFmpeg库。可以通过

Golang与FFmpeg: 如何实现音频格式转换和压缩Sep 28, 2023 pm 07:13 PM

Golang与FFmpeg:如何实现音频格式转换和压缩，需要具体代码示例引言:在音频文件处理中，有时会遇到需要转换音频格式或者压缩音频文件大小的需求。Golang作为一门强大的编程语言，结合FFmpeg这一流行的音视频处理工具，可以实现快速、高效的音频格式转换和压缩。本文将介绍如何利用Golang和FFmpeg来实现音频格式转换和压缩，并给出具体的代码示例

Golang与FFmpeg: 实现实时视频流分析与识别的技术Sep 27, 2023 pm 02:31 PM

Golang与FFmpeg:实现实时视频流分析与识别的技术，需要具体代码示例引言：在当今数字化和智能化的时代，视频技术的应用越来越广泛。其中，实时视频流的分析与识别在安防监控、智能交通、人脸识别等领域发挥着重要作用。本文将介绍如何使用Golang和FFmpeg结合的技术实现实时视频流的分析与识别，并提供具体的代码示例。一、Golang介绍Golang是一种

PHP FFmpeg 扩展安装指南：简单易懂的教程Mar 28, 2024 pm 02:17 PM

PHPFFmpeg扩展安装指南：简单易懂的教程在网站开发的过程中，有时候我们需要处理各种多媒体文件，比如音频、视频等。而FFmpeg是一个功能强大的多媒体处理工具，它可以处理音频、视频等多种格式，并且支持各种转码、剪切等操作。PHPFFmpeg扩展则是在PHP中调用FFmpeg功能的扩展库，使用它可以很方便地处理多媒体文件。下面我们将详细介绍PHPF

See all articles

Hot AI Tools

Undresser.AI Undress

AI-powered app for creating realistic nude photos

AI Clothes Remover

Online AI tool for removing clothes from photos.

Undress AI Tool

Undress images for free

Clothoff.io

AI clothes remover

AI Hentai Generator

Generate AI Hentai for free.

Hot Article

R.E.P.O. Energy Crystals Explained and What They Do (Yellow Crystal)

2 weeks agoBy尊渡假赌尊渡假赌尊渡假赌

Hello Kitty Island Adventure: How To Get Giant Seeds

1 months agoBy尊渡假赌尊渡假赌尊渡假赌

How Long Does It Take To Beat Split Fiction?

4 weeks agoByDDD

R.E.P.O. Save File Location: Where Is It & How to Protect It?

4 weeks agoByDDD

Two Point Museum: All Exhibits And Where To Find Them

1 months agoBy尊渡假赌尊渡假赌尊渡假赌

Hot Tools

VSCode Windows 64-bit Download

A free and powerful IDE editor launched by Microsoft

SublimeText3 Mac version

God-level code editing software (SublimeText3)

Zend Studio 13.0.1

Powerful PHP integrated development environment

mPDF

mPDF is a PHP library that can generate PDF files from UTF-8 encoded HTML. The original author, Ian Back, wrote mPDF to output PDF files "on the fly" from his website and handle different languages. It is slower than original scripts like HTML2FPDF and produces larger files when using Unicode fonts, but supports CSS styles etc. and has a lot of enhancements. Supports almost all languages, including RTL (Arabic and Hebrew) and CJK (Chinese, Japanese and Korean). Supports nested block-level elements (such as P, DIV),

SAP NetWeaver Server Adapter for Eclipse

Integrate Eclipse with SAP NetWeaver application server.

Hot Topics

Where is the login entrance for gmail email?

7371

1628

1355

1266

1215