打算记录一下基于FFmpeg的封装格式处理方面的例子。包括了视音频分离,复用,封装格式转换。这是第3篇。 本文记录一个基于FFmpeg的视音频复用器(Simplest FFmpeg muxer)。视音频复用器(Muxer)即是将视频压缩数据(例如H.264)和音频压缩数据(例如AAC)合
打算记录一下基于FFmpeg的封装格式处理方面的例子。包括了视音频分离,复用,封装格式转换。这是第3篇。本文记录一个基于FFmpeg的视音频复用器(Simplest FFmpeg muxer)。视音频复用器(Muxer)即是将视频压缩数据(例如H.264)和音频压缩数据(例如AAC)合并到一个封装格式数据(例如MKV)中去。如图所示。在这个过程中并不涉及到编码和解码。

本文记录的程序将一个H.264编码的视频码流文件和一个MP3编码的音频码流文件,合成为一个MP4封装格式的文件。
,一共初始化了3个AVFormatContext,其中2个用于输入,1个用于输出。3个AVFormatContext初始化之后,通过avcodec_copy_context()函数可以将输入视频/音频的参数拷贝至输出视频/音频的AVCodecContext结构体。然后分别调用视频输入流和音频输入流的av_read_frame(),从视频输入流中取出视频的AVPacket,音频输入流中取出音频的AVPacket,分别将取出的AVPacket写入到输出文件中即可。其间用到了一个不太常见的函数av_compare_ts(),是比较时间戳用的。通过该函数可以决定该写入视频还是音频。
本文介绍的视音频复用器,输入的视频不一定是H.264裸流文件,音频也不一定是纯音频文件。可以选择两个封装过的视音频文件作为输入。程序会从视频输入文件中“挑”出视频流,音频输入文件中“挑”出音频流,再将“挑选”出来的视音频流复用起来。 PS1:对于某些封装格式(例如MP4/FLV/MKV等)中的H.264,需要用到名称为“h264_mp4toannexb”的bitstream filter。
PS2:对于某些封装格式(例如MP4/FLV/MKV等)中的AAC,需要用到名称为“aac_adtstoasc”的bitstream filter。
简单介绍一下流程中各个重要函数的意义:
avformat_open_input():打开输入文件。avcodec_copy_context():赋值AVCodecContext的参数。
avformat_alloc_output_context2():初始化输出文件。
avio_open():打开输出文件。
avformat_write_header():写入文件头。
av_compare_ts():比较时间戳,决定写入视频还是写入音频。这个函数相对要少见一些。
av_read_frame():从输入文件读取一个AVPacket。
av_interleaved_write_frame():写入一个AVPacket到输出文件。
av_write_trailer():写入文件尾。
代码
下面贴上代码: <strong>[cpp]</strong> view plaincopy
-
/**
-
* 最简单的基于FFmpeg的视音频复用器
-
* Simplest FFmpeg Muxer
-
*
-
* 雷霄骅 Lei Xiaohua
-
* leixiaohua1020@126.com
-
* 中国传媒大学/数字电视技术
-
* Communication University of China / Digital TV Technology
-
* http://blog.csdn.net/leixiaohua1020
-
*
-
* 本程序可以将视频码流和音频码流打包到一种封装格式中。
-
* 程序中将MP3编码的音频码流和H.264编码(MPEG2TS封装中)的视频码流打包成
-
* MP4封装格式的文件。
-
* 需要注意的是本程序并不改变视音频的编码格式。
-
*
-
* This software mux a video bitstream and a audio bitstream
-
* together into a file.
-
* In this example, it mux a H.264 bitstream (in MPEG2TS) and
-
* a MP3 bitstream file together into MP4 format file.
-
*
-
*/
-
-
#include <stdio.h></stdio.h>
-
-
extern "C"
-
{
-
#include "libavformat/avformat.h"
-
};
-
/*
-
FIX: H.264 in some container format (FLV, MP4, MKV etc.) need
-
"h264_mp4toannexb" bitstream filter (BSF)
-
*Add SPS,PPS in front of IDR frame
-
*Add start code ("0,0,0,1") in front of NALU
-
H.264 in some container (MPEG2TS) don't need this BSF.
-
*/
-
//'1': Use H.264 Bitstream Filter
-
#define USE_H264BSF 0
-
-
/*
-
FIX:AAC in some container format (FLV, MP4, MKV etc.) need
-
"aac_adtstoasc" bitstream filter (BSF)
-
*/
-
//'1': Use AAC Bitstream Filter
-
#define USE_AACBSF 0
-
-
-
-
int main(int argc, char* argv[])
-
{
-
AVOutputFormat *ofmt = NULL;
-
//输入对应一个AVFormatContext,输出对应一个AVFormatContext
-
//(Input AVFormatContext and Output AVFormatContext)
-
AVFormatContext *ifmt_ctx_v = NULL, *ifmt_ctx_a = NULL,*ofmt_ctx = NULL;
-
AVPacket pkt;
-
int ret, i;
-
-
char *in_filename_v = "cuc_ieschool.ts";//输入文件名(Input file URL)
-
//char *in_filename_v = "cuc_ieschool.h264";
-
//char *in_filename_a = "cuc_ieschool.mp3";
-
//char *in_filename_a = "gowest.m4a";
-
//char *in_filename_a = "gowest.aac";
-
char *in_filename_a = "huoyuanjia.mp3";
-
-
char *out_filename = "cuc_ieschool.mp4";//输出文件名(Output file URL)
-
av_register_all();
-
//输入(Input)
-
if ((ret = avformat_open_input(&ifmt_ctx_v, in_filename_v, 0, 0))
-
printf( "Could not open input file.");
-
goto end;
-
}
-
if ((ret = avformat_find_stream_info(ifmt_ctx_v, 0))
-
printf( "Failed to retrieve input stream information");
-
goto end;
-
}
-
-
if ((ret = avformat_open_input(&ifmt_ctx_a, in_filename_a, 0, 0))
-
printf( "Could not open input file.");
-
goto end;
-
}
-
if ((ret = avformat_find_stream_info(ifmt_ctx_a, 0))
-
printf( "Failed to retrieve input stream information");
-
goto end;
-
}
-
printf("Input Information=====================\n");
-
av_dump_format(ifmt_ctx_v, 0, in_filename_v, 0);
-
av_dump_format(ifmt_ctx_a, 0, in_filename_a, 0);
-
printf("======================================\n");
-
//输出(Output)
-
avformat_alloc_output_context2(&ofmt_ctx, NULL, NULL, out_filename);
-
if (!ofmt_ctx) {
-
printf( "Could not create output context\n");
-
ret = AVERROR_UNKNOWN;
-
goto end;
-
}
-
ofmt = ofmt_ctx->oformat;
-
int videoindex_v=-1,videoindex_out=-1;
-
for (i = 0; i nb_streams; i++) {
-
//根据输入流创建输出流(Create output AVStream according to input AVStream)
-
if(ifmt_ctx_v->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO){
-
videoindex_v=i;
-
AVStream *in_stream = ifmt_ctx_v->streams[i];
-
AVStream *out_stream = avformat_new_stream(ofmt_ctx, in_stream->codec->codec);
-
if (!out_stream) {
-
printf( "Failed allocating output stream\n");
-
ret = AVERROR_UNKNOWN;
-
goto end;
-
}
-
videoindex_out=out_stream->index;
-
//复制AVCodecContext的设置(Copy the settings of AVCodecContext)
-
if (avcodec_copy_context(out_stream->codec, in_stream->codec)
-
printf( "Failed to copy context from input to output stream codec context\n");
-
goto end;
-
}
-
out_stream->codec->codec_tag = 0;
-
if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)
-
out_stream->codec->flags |= CODEC_FLAG_GLOBAL_HEADER;
-
break;
-
}
-
}
-
-
int audioindex_a=-1,audioindex_out=-1;
-
for (i = 0; i nb_streams; i++) {
-
//根据输入流创建输出流(Create output AVStream according to input AVStream)
-
if(ifmt_ctx_a->streams[i]->codec->codec_type==AVMEDIA_TYPE_AUDIO){
-
audioindex_a=i;
-
AVStream *in_stream = ifmt_ctx_a->streams[i];
-
AVStream *out_stream = avformat_new_stream(ofmt_ctx, in_stream->codec->codec);
-
if (!out_stream) {
-
printf( "Failed allocating output stream\n");
-
ret = AVERROR_UNKNOWN;
-
goto end;
-
}
-
audioindex_out=out_stream->index;
-
//复制AVCodecContext的设置(Copy the settings of AVCodecContext)
-
if (avcodec_copy_context(out_stream->codec, in_stream->codec)
-
printf( "Failed to copy context from input to output stream codec context\n");
-
goto end;
-
}
-
out_stream->codec->codec_tag = 0;
-
if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)
-
out_stream->codec->flags |= CODEC_FLAG_GLOBAL_HEADER;
-
-
break;
-
}
-
}
-
-
//输出一下格式------------------
-
printf("Output Information====================\n");
-
av_dump_format(ofmt_ctx, 0, out_filename, 1);
-
printf("======================================\n");
-
//打开输出文件(Open output file)
-
if (!(ofmt->flags & AVFMT_NOFILE)) {
-
if (avio_open(&ofmt_ctx->pb, out_filename, AVIO_FLAG_WRITE)
-
printf( "Could not open output file '%s'", out_filename);
-
goto end;
-
}
-
}
-
//写文件头(Write file header)
-
if (avformat_write_header(ofmt_ctx, NULL)
-
printf( "Error occurred when opening output file\n");
-
goto end;
-
}
-
int frame_index=0;
-
int64_t cur_pts_v=0,cur_pts_a=0;
-
-
//FIX
-
#if USE_H264BSF
-
AVBitStreamFilterContext* h264bsfc = av_bitstream_filter_init("h264_mp4toannexb");
-
#endif
-
#if USE_AACBSF
-
AVBitStreamFilterContext* aacbsfc = av_bitstream_filter_init("aac_adtstoasc");
-
#endif
-
-
while (1) {
-
AVFormatContext *ifmt_ctx;
-
int stream_index=0;
-
AVStream *in_stream, *out_stream;
-
-
-
//获取一个AVPacket(Get an AVPacket)
-
if(av_compare_ts(cur_pts_v,ifmt_ctx_v->streams[videoindex_v]->time_base,cur_pts_a,ifmt_ctx_a->streams[audioindex_a]->time_base)
-
ifmt_ctx=ifmt_ctx_v;
-
stream_index=videoindex_out;
-
-
if(av_read_frame(ifmt_ctx, &pkt) >= 0){
-
do{
-
if(pkt.stream_index==videoindex_v){
-
cur_pts_v=pkt.pts;
-
break;
-
}
-
}while(av_read_frame(ifmt_ctx, &pkt) >= 0);
-
}else{
-
break;
-
}
-
}else{
-
ifmt_ctx=ifmt_ctx_a;
-
stream_index=audioindex_out;
-
if(av_read_frame(ifmt_ctx, &pkt) >= 0){
-
do{
-
if(pkt.stream_index==audioindex_a){
-
cur_pts_a=pkt.pts;
-
break;
-
}
-
}while(av_read_frame(ifmt_ctx, &pkt) >= 0);
-
}else{
-
break;
-
}
-
-
}
-
-
in_stream = ifmt_ctx->streams[pkt.stream_index];
-
out_stream = ofmt_ctx->streams[stream_index];
-
//FIX
-
#if USE_H264BSF
-
av_bitstream_filter_filter(h264bsfc, in_stream->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);
-
#endif
-
#if USE_AACBSF
-
av_bitstream_filter_filter(aacbsfc, in_stream->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);
-
#endif
-
//FIX:No PTS (Example: Raw H.264)
-
//Simple Write PTS
-
if(pkt.pts==AV_NOPTS_VALUE){
-
//Write PTS
-
AVRational time_base1=in_stream->time_base;
-
//Duration between 2 frames (us)
-
int64_t calc_duration=(double)AV_TIME_BASE/av_q2d(in_stream->r_frame_rate);
-
//Parameters
-
pkt.pts=(double)(frame_index*calc_duration)/(double)(av_q2d(time_base1)*AV_TIME_BASE);
-
pkt.dts=pkt.pts;
-
pkt.duration=(double)calc_duration/(double)(av_q2d(time_base1)*AV_TIME_BASE);
-
frame_index++;
-
}
-
/* copy packet */
-
//转换PTS/DTS(Convert PTS/DTS)
-
pkt.pts = av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
-
pkt.dts = av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base, (AVRounding)(AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
-
pkt.duration = av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);
-
pkt.pos = -1;
-
pkt.stream_index=stream_index;
-
-
printf("Write 1 Packet. size:%5d\tpts:%8d\n",pkt.size,pkt.pts);
-
//写入(Write)
-
if (av_interleaved_write_frame(ofmt_ctx, &pkt)
-
printf( "Error muxing packet\n");
-
break;
-
}
-
av_free_packet(&pkt);
-
-
}
-
//写文件尾(Write file trailer)
-
av_write_trailer(ofmt_ctx);
-
-
#if USE_H264BSF
-
av_bitstream_filter_close(h264bsfc);
-
#endif
-
#if USE_AACBSF
-
av_bitstream_filter_close(aacbsfc);
-
#endif
-
-
end:
-
avformat_close_input(&ifmt_ctx_v);
-
avformat_close_input(&ifmt_ctx_a);
-
/* close output */
-
if (ofmt_ctx && !(ofmt->flags & AVFMT_NOFILE))
-
avio_close(ofmt_ctx->pb);
-
avformat_free_context(ofmt_ctx);
-
if (ret
-
printf( "Error occurred.\n");
-
return -1;
-
}
-
return 0;

데이터베이스 및 프로그래밍에서 MySQL의 위치는 매우 중요합니다. 다양한 응용 프로그램 시나리오에서 널리 사용되는 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 1) MySQL은 웹, 모바일 및 엔터프라이즈 레벨 시스템을 지원하는 효율적인 데이터 저장, 조직 및 검색 기능을 제공합니다. 2) 클라이언트 서버 아키텍처를 사용하고 여러 스토리지 엔진 및 인덱스 최적화를 지원합니다. 3) 기본 사용에는 테이블 작성 및 데이터 삽입이 포함되며 고급 사용에는 다중 테이블 조인 및 복잡한 쿼리가 포함됩니다. 4) SQL 구문 오류 및 성능 문제와 같은 자주 묻는 질문은 설명 명령 및 느린 쿼리 로그를 통해 디버깅 할 수 있습니다. 5) 성능 최적화 방법에는 인덱스의 합리적인 사용, 최적화 된 쿼리 및 캐시 사용이 포함됩니다. 모범 사례에는 거래 사용 및 준비된 체계가 포함됩니다

MySQL은 소규모 및 대기업에 적합합니다. 1) 소기업은 고객 정보 저장과 같은 기본 데이터 관리에 MySQL을 사용할 수 있습니다. 2) 대기업은 MySQL을 사용하여 대규모 데이터 및 복잡한 비즈니스 로직을 처리하여 쿼리 성능 및 트랜잭션 처리를 최적화 할 수 있습니다.

InnoDB는 팬텀 읽기를 차세대 점화 메커니즘을 통해 효과적으로 방지합니다. 1) Next-Keylocking은 Row Lock과 Gap Lock을 결합하여 레코드와 간격을 잠그기 위해 새로운 레코드가 삽입되지 않도록합니다. 2) 실제 응용 분야에서 쿼리를 최적화하고 격리 수준을 조정함으로써 잠금 경쟁을 줄이고 동시성 성능을 향상시킬 수 있습니다.

MySQL은 프로그래밍 언어가 아니지만 쿼리 언어 SQL은 프로그래밍 언어의 특성을 가지고 있습니다. 1. SQL은 조건부 판단, 루프 및 가변 작업을 지원합니다. 2. 저장된 절차, 트리거 및 기능을 통해 사용자는 데이터베이스에서 복잡한 논리 작업을 수행 할 수 있습니다.

MySQL은 오픈 소스 관계형 데이터베이스 관리 시스템으로, 주로 데이터를 신속하고 안정적으로 저장하고 검색하는 데 사용됩니다. 작업 원칙에는 클라이언트 요청, 쿼리 해상도, 쿼리 실행 및 반환 결과가 포함됩니다. 사용의 예로는 테이블 작성, 데이터 삽입 및 쿼리 및 조인 작업과 같은 고급 기능이 포함됩니다. 일반적인 오류에는 SQL 구문, 데이터 유형 및 권한이 포함되며 최적화 제안에는 인덱스 사용, 최적화 된 쿼리 및 테이블 분할이 포함됩니다.

MySQL은 데이터 저장, 관리, 쿼리 및 보안에 적합한 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 1. 다양한 운영 체제를 지원하며 웹 응용 프로그램 및 기타 필드에서 널리 사용됩니다. 2. 클라이언트-서버 아키텍처 및 다양한 스토리지 엔진을 통해 MySQL은 데이터를 효율적으로 처리합니다. 3. 기본 사용에는 데이터베이스 및 테이블 작성, 데이터 삽입, 쿼리 및 업데이트가 포함됩니다. 4. 고급 사용에는 복잡한 쿼리 및 저장 프로 시저가 포함됩니다. 5. 설명 진술을 통해 일반적인 오류를 디버깅 할 수 있습니다. 6. 성능 최적화에는 인덱스의 합리적인 사용 및 최적화 된 쿼리 문이 포함됩니다.

MySQL은 성능, 신뢰성, 사용 편의성 및 커뮤니티 지원을 위해 선택됩니다. 1.MYSQL은 효율적인 데이터 저장 및 검색 기능을 제공하여 여러 데이터 유형 및 고급 쿼리 작업을 지원합니다. 2. 고객-서버 아키텍처 및 다중 스토리지 엔진을 채택하여 트랜잭션 및 쿼리 최적화를 지원합니다. 3. 사용하기 쉽고 다양한 운영 체제 및 프로그래밍 언어를 지원합니다. 4. 강력한 지역 사회 지원을 받고 풍부한 자원과 솔루션을 제공합니다.

InnoDB의 잠금 장치에는 공유 잠금 장치, 독점 잠금, 의도 잠금 장치, 레코드 잠금, 갭 잠금 및 다음 키 잠금 장치가 포함됩니다. 1. 공유 잠금을 사용하면 다른 트랜잭션을 읽지 않고 트랜잭션이 데이터를 읽을 수 있습니다. 2. 독점 잠금은 다른 트랜잭션이 데이터를 읽고 수정하는 것을 방지합니다. 3. 의도 잠금은 잠금 효율을 최적화합니다. 4. 레코드 잠금 잠금 인덱스 레코드. 5. 갭 잠금 잠금 장치 색인 기록 간격. 6. 다음 키 잠금은 데이터 일관성을 보장하기 위해 레코드 잠금과 갭 잠금의 조합입니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

맨티스BT
Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
