C++ FFmpeg怎么将解码出的视频帧送入OpenGL纹理渲染-C++-PHP中文网

应为y、u、v三平面分别绑定独立opengl纹理，用glteximage2d上传对应data[i]，宽高按yuv420p布局设置（y为w×h，u/v为⌈w/2⌉×⌈h/2⌉），配合多纹理采样+bt.601着色器完成gpu端yuv→rgb转换，全程避免cpu格式转换。

c++ ffmpeg怎么将解码出的视频帧送入opengl纹理渲染

怎么把 AVFrame 的 YUV 数据传给 OpenGL 纹理

直接用 glTexImage2D 传 AVFrame->data[0] 肯定不行——FFmpeg 解码出的通常是 Planar YUV（如 AV_PIX_FMT_YUV420P），而 OpenGL 纹理不原生支持多平面 YUV 布局。你得要么：① 在 CPU 上转成 RGB 再上传，性能差；② 用 OpenGL 的多纹理 + YUV 转 RGB 着色器，推荐方案。

关键点在于：必须为 Y、U、V 各自绑定一个 GL_TEXTURE_2D，且注意 AVFrame->linesize[i] 可能大于实际宽度（内存对齐导致），传宽高时要用 frame->width/frame->height，但 glPixelStorei(GL_UNPACK_ROW_LENGTH, ...) 可能需要设为 frame->linesize[0]（仅当手动用 glTexSubImage2D 逐平面上传时）。

Y 平面宽高 = frame->width × frame->height
U/V 平面宽高 = (frame->width + 1) / 2 × (frame->height + 1) / 2（YUV420P 下）
别忽略 frame->format == AV_PIX_FMT_YUV420P 校验，硬编码尺寸会崩在 NV12 或 P010 输入上

OpenGL 怎么写 YUV→RGB 的 fragment shader

标准 ITU-R BT.601 系数即可，不用 BT.709（除非源是高清广播流且明确标注）。shader 里采样三个纹理，按权重混合。注意：U/V 纹理坐标需和 Y 对齐，即用相同 texCoord，不要除以 2——因为 U/V 纹理本身尺寸已缩小，OpenGL 采样器会自动做双线性插值。

uniform sampler2D tex_y;
uniform sampler2D tex_u;
uniform sampler2D tex_v;
varying vec2 v_texcoord;
void main() {
    float y = texture2D(tex_y, v_texcoord).r;
    float u = texture2D(tex_u, v_texcoord).r - 0.5;
    float v = texture2D(tex_v, v_texcoord).r - 0.5;
    vec3 rgb = vec3(
        y + 1.402 * v,
        y - 0.344 * u - 0.714 * v,
        y + 1.772 * u
    );
    gl_FragColor = vec4(rgb, 1.0);
}

U/V 减 0.5 是因它们被编码在 [0,1] 区间，实际范围是 [-0.5,0.5]
如果画面发绿，大概率是 U/V 顺序颠倒或系数用错 BT.709
移动端（iOS/Android）注意 GL_FRAGMENT_PRECISION_HIGH 必须开启，否则浮点精度不够

为什么 glBindTexture 之后要调用 glActiveTexture

因为 OpenGL 只有一组纹理单元，glBindTexture 绑定的是“当前激活的纹理单元”上的纹理。你有 Y/U/V 三个纹理，就必须显式切换单元：

C++14

C++14 对 C++11 的修正与增强版本，适合旧系统维护和较老工具链兼容。

下载

glActiveTexture(GL_TEXTURE0); glBindTexture(GL_TEXTURE_2D, y_tex_id);
glActiveTexture(GL_TEXTURE1); glBindTexture(GL_TEXTURE_2D, u_tex_id);
glActiveTexture(GL_TEXTURE2); glBindTexture(GL_TEXTURE_2D, v_tex_id);

然后在 shader 中对应：glUniform1i(glGetUniformLocation(prog, "tex_y"), 0);……漏掉 glActiveTexture 就会导致所有 glBindTexture 都作用在 GL_TEXTURE0 上，U/V 纹理根本没绑进去。

av_frame_get_buffer 分配的内存能直接 glTexImage2D 吗

不能直接传指针——av_frame_get_buffer 分配的是普通堆内存（malloc），不是 GPU 可见内存。你必须用 glTexImage2D 把数据从 CPU 内存拷过去，或者更高效地用 PBO（Pixel Buffer Object）做异步上传。

简单场景：每次解码完，用 glTexSubImage2D 更新 Y/U/V 三张纹理（注意 pitch 和 linesize 对齐）
高性能场景：预分配 2~3 个 PBO，用 glMapBufferRange 获取映射地址，memcpy 数据进去，再 glUnmapBuffer + glTexSubImage2D 触发 DMA 传输
别忘了 av_frame_make_writable(frame)，否则 FFmpeg 可能复用只读内存（比如硬解输出），memcpy 会段错误

最常被忽略的是帧格式动态变化——比如网络流中途切分辨率或像素格式，frame->width 变了但纹理没重分配，接着用旧尺寸上传就会花屏或崩溃。