音视频移动开发【免费下载链接】ExoPlayerAn extensible media player for Android项目地址https://gitcode.com/gh_mirrors/exop/ExoPlayer点击查看免费下载ExoPlayer 的 FFmpeg 扩展模块位于 extensions/ffmpeg通过 JNI 将 FFmpeg 音频解码能力封装为标准的FfmpegAudioRenderer用于解码 Android 平台 MediaCodec 不支持的音频格式如 Vorbis、Opus、FLAC、AC-3、DTS 等。本文以 extensions/ffmpeg/README.md 为主体完整讲解该模块的许可证约定、Linux/macOS 下的源码构建流程、可裁剪的解码器配置以及四种在播放器中接入FfmpegAudioRenderer的方式并结合 FfmpegAudioRenderer.java、FfmpegLibrary.java、ffmpeg_jni.cc 等源码深入讲解其内部实现原理。读完本文你将能够独立完成 FFmpeg 扩展的编译、按需裁剪解码器并在自己的播放器中正确启用该扩展。模块概览与许可证提示FfmpegAudioRenderer是扩展模块的核心它继承自DecoderAudioRenderer使用 FFmpeg 完成音频解码从而渲染多种编码格式的音频。需要特别注意的是仓库代码采用 Apache 2.0 许可见仓库根目录 LICENSE但使用本模块还需要按本文步骤构建并链接一个或多个外部库FFmpeg 及其依赖这些外部库有各自独立的许可证在发布应用前请务必确认符合相应许可条款。另外有两个重要前提需要在动手前确认该模块不通过 Google 的 Maven 仓库分发因此必须克隆本仓库并在本地以模块方式依赖。如何从源码依赖各模块请参考顶层 README.md。仓库中的 Java 代码已标记Deprecatedcom.google.android.exoplayer2包整体废弃官方建议迁移到 androidx.media3其中包含相同的 ExoPlayer 代码。本文内容基于当前仓库的 ExoPlayer 2.x 版本展开。支持的音频格式与解码器映射FFmpeg 扩展的价值在于覆盖平台解码器之外的音频格式。构建时通过ENABLED_DECODERS数组选择要包含的解码器运行时由 FfmpegLibrary.java 中的getCodecName(String mimeType)完成 MIME 类型到 FFmpeg 解码器名的映射再由 JNI 层avcodec_find_decoder_by_name确认该解码器是否真的被编译进了库中。官方 supported-formats.md 给出了完整的音频采样格式 → FFmpeg 解码器名对照表与源码映射一一对应音频格式解码器名ENABLED_DECODERS取值VorbisvorbisOpusopusFLACflacALACalacPCM μ-lawpcm_mulawPCM A-lawpcm_alawMP1 / MP2 / MP3mp3AMR-NBamrnbAMR-WBamrwbAACaacAC-3ac3E-AC-3eac3DTS / DTS-HDdcaTrueHDmlp truehd从 FfmpegLibrary.java 的实现可以看出supportsFormat()的判断是双重校验先通过映射表把 MIME 转成解码器名再调用 native 方法ffmpegHasDecoder(codecName)检查实际构建出的 FFmpeg 静态库中是否包含该解码器。如果映射存在但解码器未编译进去会输出类似No vorbis decoder available. Check the FFmpeg build configuration.的 logcat 警告——这正是排障时格式明明在表里却不被支持的最常见原因。源码架构Renderer → Decoder → JNI 的调用链理解内部实现有助于定位播放问题。模块的 Java 侧只有 5 个文件见 extensions/ffmpeg/src/main/java调用链非常清晰FfmpegAudioRenderer渲染器层继承DecoderAudioRendererFfmpegAudioDecoder负责格式协商、解码器创建与输出格式上报。关键点缓冲区配置NUM_BUFFERS 16个输入/输出缓冲区默认输入缓冲区大小DEFAULT_INPUT_BUFFER_SIZE 960 * 6字节当format.maxInputSize未提供时使用FfmpegAudioRenderer.java。格式协商逻辑supportsFormatInternal()当 FFmpeg 库不可用或输入不是音频时返回FORMAT_UNSUPPORTED_TYPE当 FFmpeg 不支持该 MIME、或音频输出端不支持 16-bit/float PCM 时返回FORMAT_UNSUPPORTED_SUBTYPE带 DRM 加密的流返回FORMAT_UNSUPPORTED_DRM其余情况返回FORMAT_HANDLEDFfmpegAudioRenderer.java。输出格式解码输出统一为AUDIO_RAW原始 PCM采样率、声道数与 PCM 编码由解码器报告getOutputFormat()。输出编码选择shouldOutputFloat()优先 16-bit PCM若输出端不支持 16-bit 则退回 float若输出端直接支持 floatSINK_FORMAT_SUPPORTED_DIRECTLY则除 AC-3始终 16-bit外均使用 float 输出。FfmpegAudioDecoder解码器层继承SimpleDecoder通过 native 方法ffmpegInitialize/ffmpegDecode/ffmpegReset/ffmpegRelease与 JNI 层交互。值得注意的实现细节输出缓冲区大小PCM 16-bit 为 65536 字节兼容 PCM μ-law 流解码的最大输出float 输出翻倍为 131072 字节FfmpegAudioDecoder.java。额外初始化数据getExtraData按编码器区别处理AAC/Opus 直接使用initializationData[0]ALAC 需要把 magic cookie 封装成 FFmpeg 期望的 ALAC atomtypealac见 getAlacExtraDataVorbis 需要把两个 header 按大端长度前缀拼接getVorbisExtraData。解码错误处理-1无效数据与-2其他错误两种 native 错误码被区分对待——无效数据按非致命错误处理标记为BUFFER_FLAG_DECODE_ONLY以对齐 MediaCodec 行为不会导致播放中断FfmpegAudioDecoder.java。ALAC 采样率兼容早期 FFmpeg 版本不输出 ALAC 采样率解码器会从 extra data 末尾 4 字节解析对应 FFmpeg trac #6096FfmpegAudioDecoder.java。ffmpeg_jni.ccJNI 层负责真正的解码。JNI_OnLoad中调用avcodec_register_all()注册全部解码器ffmpeg_jni.cc。核心流程在decodePacket()中avcodec_send_packet()送入压缩数据包循环avcodec_receive_frame()取出解码帧返回EAGAIN表示输入耗尽通过swresampleswr_convert把解码出的任意采样格式统一转成请求的 PCM 16-bit 或 float 格式——request_sample_fmt在createContext()中按outputFloat设置ffmpeg_jni.cc。输入缓冲区使用AV_INPUT_BUFFER_PADDING_SIZE填充对应FfmpegLibrary.getInputBufferPaddingSize()。此外还有两个值得了解的细节ffmpegReset()对 TrueHD 采用释放并重建 context而非avcodec_flush_buffersflush 对该编码器无效见 ffmpeg_jni.cccreateContext()对 PCM μ-law/A-law 会显式设置采样率与声道数并设置err_recognition AV_EF_IGNORE_ERR。构建 FFmpeg 扩展Linux / macOS模块必须手动构建 FFmpeg 库使 Gradle 能将 FFmpeg 二进制打包进 APK。以下命令全部来自 extensions/ffmpeg/README.md按顺序执行即可。第 1 步设置 FFmpeg 模块路径变量cd path to project checkout FFMPEG_MODULE_PATH$(pwd)/extensions/ffmpeg/src/main第 2 步下载 Android NDK 并设置路径变量构建配置已在 NDK r21 上测试通过。NDK_PATH指向 NDK 的根目录NDK_PATHpath to Android NDK第 3 步设置宿主平台Linux 使用linux-x86_64macOS 使用darwin-x86_64HOST_PLATFORMlinux-x86_64第 4 步获取 FFmpeg 源码并检出合适的分支无法保证与所有 FFmpeg 版本兼容当前推荐版本为4.2cd preferred location for ffmpeg \ git clone git://source.ffmpeg.org/ffmpeg \ cd ffmpeg \ git checkout release/4.2 \ FFMPEG_PATH$(pwd)第 5 步配置要包含的解码器ENABLED_DECODERS数组的值即上一节表格中的解码器名列。例如只启用 Vorbis、Opus、FLACENABLED_DECODERS(vorbis opus flac)第 6 步在模块jni目录中链接 FFmpeg 源码cd ${FFMPEG_MODULE_PATH}/jni \ ln -s $FFMPEG_PATH ffmpeg第 7 步执行build_ffmpeg.sh完成交叉编译cd ${FFMPEG_MODULE_PATH}/jni \ ./build_ffmpeg.sh \ ${FFMPEG_MODULE_PATH} ${NDK_PATH} ${HOST_PLATFORM} ${ENABLED_DECODERS[]}脚本默认依次为armeabi-v7a、arm64-v8a、x86、x86_64四种 ABI 构建如需其他架构可编辑 build_ffmpeg.sh 自行调整。构建脚本的源码级解读了解脚本内部做了什么可以帮你排查构建问题。从 build_ffmpeg.sh 可以看到裁剪策略COMMON_OPTIONS中--disable-everything关闭全部组件再通过--enable-swresample保留重采样库、逐个--enable-decodername开启目标解码器同时禁用avdevice、avformat、swscale、avfilter、avresample等用不到的模块并启用静态库--enable-static/--disable-shared。这正是 APK 体积能被有效控制的原因。交叉编译工具链使用 NDK 自带的 LLVM 工具链toolchains/llvm/prebuilt/${HOST_PLATFORM}/bin四种 ABI 分别使用armv7a-linux-androideabi16-、aarch64-linux-android21-、i686-linux-android16-、x86_64-linux-android21-前缀arm 变体额外带-marcharmv7-a -mfloat-abisoftfp与--fix-cortex-a8链接参数x86 变体--disable-asm。产物位置静态库输出到jni/ffmpeg/android-libs/abi/由 CMakeLists.txt 以 IMPORTED 静态库方式导入avutil、swresample、avcodec三个库并与ffmpeg_jni.cc一起编译为共享库ffmpegJNI。注意 CMake 对arm64-v8a附加了-Wl,-Bsymbolic链接标志这是为兼容 NDK 23.1.7779620 及以上版本所做的修正。Windows 构建说明官方不提供该模块在 Windows 上的构建支持但理论上可以在 Windows PowerShell 中按 Linux 的步骤执行脚本为 bash 语法建议使用 Git Bash 等环境。实际开发中更推荐在 Linux 或 macOS 上完成一次构建再将产物用于 Windows 上的应用开发。在应用中使用 FfmpegAudioRenderer完成源码检出、FFmpeg 构建并本地依赖该模块后需要显式告诉 ExoPlayer 使用FfmpegAudioRenderer。具体做法取决于你使用的是哪套播放器 API共四种方式方式一通过DefaultRenderersFactory构造函数最常用给ExoPlayer.Builder传入DefaultRenderersFactory时将构造参数extensionRendererMode设为EXTENSION_RENDERER_MODE_ON当MediaCodecAudioRenderer不支持输入格式时使用FfmpegAudioRenderer播放。设为EXTENSION_RENDERER_MODE_PREFER则让 FFmpeg 渲染器优先于MediaCodecAudioRenderer。DefaultRenderersFactory renderersFactory new DefaultRenderersFactory(context, DefaultRenderersFactory.EXTENSION_RENDERER_MODE_PREFER); ExoPlayer player new ExoPlayer.Builder(context, renderersFactory).build();三个模式常量的定义与语义DefaultRenderersFactory.java常量值含义EXTENSION_RENDERER_MODE_OFF0不加载任何扩展渲染器默认值EXTENSION_RENDERER_MODE_ON1平台解码器不支持时使用扩展渲染器EXTENSION_RENDERER_MODE_PREFER2扩展渲染器优先于平台解码器从源码看buildAudioRenderers 总是先添加MediaCodecAudioRenderer随后通过Class.forName(...)反射加载扩展渲染器并插入列表——PREFER模式把扩展渲染器插到MediaCodecAudioRenderer之前extensionRendererIndex--ON模式则追加到其后。反射加载意味着即使扩展库未打进来应用也不会崩溃捕获ClassNotFoundException。方式二继承DefaultRenderersFactory重写buildAudioRenderers把FfmpegAudioRenderer加入输出列表public class MyRenderersFactory extends DefaultRenderersFactory { public MyRenderersFactory(Context context) { super(context); } Override protected void buildAudioRenderers( Context context, ExtensionRendererMode int extensionRendererMode, MediaCodecSelector mediaCodecSelector, boolean enableDecoderFallback, AudioSink audioSink, Handler eventHandler, AudioRendererEventListener eventListener, ArrayListRenderer out) { super.buildAudioRenderers(context, extensionRendererMode, mediaCodecSelector, enableDecoderFallback, audioSink, eventHandler, eventListener, out); out.add(new FfmpegAudioRenderer(eventHandler, eventListener, audioSink)); } }ExoPlayer 会使用列表中第一个支持输入媒体格式的Renderer因此FfmpegAudioRenderer的插入位置决定了它相对于平台渲染器的优先级。方式三实现自己的RenderersFactory在createRenderers中返回包含FfmpegAudioRenderer的数组即可。同样ExoPlayer 使用返回数组中第一个支持输入格式的Renderer。方式四通过ExoPlayer.Builder直接传入渲染器数组FfmpegAudioRenderer ffmpegAudioRenderer new FfmpegAudioRenderer(); ExoPlayer player new ExoPlayer.Builder(context) .setRenderers( new Renderer[] {new MediaCodecAudioRenderer(...), ffmpegAudioRenderer}) .build();同样遵循第一个支持输入格式的Renderer胜出的规则。关于轨道选择器的重要提示以上说明均假设你使用DefaultTrackSelector。如果使用了自定义轨道选择器Renderer的选择逻辑由你的实现决定因此你需要确保把FfmpegAudioRenderer传给播放器并自行实现为给定轨道选用该渲染器的逻辑。集成正确性的测试佐证扩展模块自带一个单元测试 DefaultRenderersFactoryTest.java通过DefaultRenderersFactoryAsserts.assertExtensionRendererCreated(FfmpegAudioRenderer.class, C.TRACK_TYPE_AUDIO)验证使用默认工厂并启用扩展模式时音频轨道能成功实例化FfmpegAudioRenderer。这可以当作集成后的一个快速冒烟验证思路。混淆ProGuard/R8注意事项模块自带的 proguard-rules.txt 只有一条规则通过-keepclasseswithmembernames class * { native methods; }防止 native 方法名被混淆——JNI 通过方法名绑定 Java 与 C 符号这条规则必不可少。将模块打进应用时请确保该规则被引入。在 Demo 应用中试用扩展若想快速验证 FFmpeg 扩展的实际播放效果可修改 demo 应用在 Demo 的 media.exolist.json 中为媒体项添加extension提示字段值为mpd、ism、m3u8等样本类型提示或直接加入一个使用目标格式的音频源。运行 demo 时通过--es extension mpd设置样本类型提示通过--ez prefer_extension_decoders TRUE强制优先使用扩展解码器详见 docs/demo-application.md 的 Enabling extension decoders 一节。默认情况下扩展解码器仅在平台没有对应解码器时才会被使用要验证 FFmpeg 确实接管了解码建议用prefer_extension_decoders强制开启并结合 logcat 观察渲染器是否被选中。常见问题与进一步资料格式明明在映射表里却无法播放优先检查FfmpegLibrary.supportsFormat的 logcat 警告No codec decoder available. Check the FFmpeg build configuration.确认ENABLED_DECODERS包含了对应解码器且 FFmpeg 已重新构建。native 库加载失败确认 APK 中确实包含libffmpegJNI.so构建产物、目标 ABI 与设备一致且未因混淆破坏 native 方法名。部分格式如 AC-3/DTS输出编码问题shouldOutputFloat()与输出端 PCM 支持能力相关AC-3 始终按 16-bit 输出。解码扩展的通用排障思路可参考仓库文档 docs/troubleshooting.md 中关于如何让解码扩展被加载并用于播放的说明。API 参考模块相关类FfmpegAudioRenderer、FfmpegLibrary、FfmpegAudioDecoder、FfmpegDecoderException的完整 Javadoc 见 docs/doc/reference。综上ExoPlayer FFmpeg 扩展是一套手动构建 按需裁剪 标准渲染器接入的完整软件解码方案构建脚本通过--disable-everything与--enable-decoder精确控制 APK 体积FfmpegAudioRenderer遵循标准渲染器协商协议与平台解码器共存JNI 层借助avcodecswresample将任意音频格式统一输出为 PCM。掌握本文的构建步骤与四种接入方式后你就能在自有播放器中稳定落地 FFmpeg 音频解码能力。赞分享音视频移动开发【免费下载链接】ExoPlayerAn extensible media player for Android项目地址https://gitcode.com/gh_mirrors/exop/ExoPlayer点击查看免费下载相关推荐最完整ExoPlayer NDK实战FFmpeg集成与音视频解码指南最完整ExoPlayer NDK实战FFmpeg集成与音视频解码指南 你是否还在为Android音视频开发中的格式兼容性问题烦恼是否想突破系统MediaCo音视频移动开发ExoPlayer FFmpeg 音频解码扩展构建与接入指南基于 SmartTube 内置 exoplayer-amzn-2.10.6 源码ExoPlayer FFmpeg 音频解码扩展构建与接入指南基于 SmartTube 内置 exoplayer amzn 2.10.6 源码 导读 本文以 S音视频客户端marimo 文本输入组件 mo.ui.text 完全指南实时搜索、密码脱敏与防抖机制解析marimo 文本输入组件 mo.ui.text 完全指南实时搜索、密码脱敏与防抖机制解析 mo.ui.text 是 marimo 响应式笔记本reacti音视频移动开发上一篇HP-Socket开源治理委员会职责清单决策范围与权力边界下一篇Simple TensorFlow Serving客户端代码生成无需编程即可调用模型的完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
ExoPlayer FFmpeg 音频扩展模块完整指南：从源码构建到 FfmpegAudioRenderer 集成实战
音视频移动开发【免费下载链接】ExoPlayerAn extensible media player for Android项目地址https://gitcode.com/gh_mirrors/exop/ExoPlayer点击查看免费下载ExoPlayer 的 FFmpeg 扩展模块位于 extensions/ffmpeg通过 JNI 将 FFmpeg 音频解码能力封装为标准的FfmpegAudioRenderer用于解码 Android 平台 MediaCodec 不支持的音频格式如 Vorbis、Opus、FLAC、AC-3、DTS 等。本文以 extensions/ffmpeg/README.md 为主体完整讲解该模块的许可证约定、Linux/macOS 下的源码构建流程、可裁剪的解码器配置以及四种在播放器中接入FfmpegAudioRenderer的方式并结合 FfmpegAudioRenderer.java、FfmpegLibrary.java、ffmpeg_jni.cc 等源码深入讲解其内部实现原理。读完本文你将能够独立完成 FFmpeg 扩展的编译、按需裁剪解码器并在自己的播放器中正确启用该扩展。模块概览与许可证提示FfmpegAudioRenderer是扩展模块的核心它继承自DecoderAudioRenderer使用 FFmpeg 完成音频解码从而渲染多种编码格式的音频。需要特别注意的是仓库代码采用 Apache 2.0 许可见仓库根目录 LICENSE但使用本模块还需要按本文步骤构建并链接一个或多个外部库FFmpeg 及其依赖这些外部库有各自独立的许可证在发布应用前请务必确认符合相应许可条款。另外有两个重要前提需要在动手前确认该模块不通过 Google 的 Maven 仓库分发因此必须克隆本仓库并在本地以模块方式依赖。如何从源码依赖各模块请参考顶层 README.md。仓库中的 Java 代码已标记Deprecatedcom.google.android.exoplayer2包整体废弃官方建议迁移到 androidx.media3其中包含相同的 ExoPlayer 代码。本文内容基于当前仓库的 ExoPlayer 2.x 版本展开。支持的音频格式与解码器映射FFmpeg 扩展的价值在于覆盖平台解码器之外的音频格式。构建时通过ENABLED_DECODERS数组选择要包含的解码器运行时由 FfmpegLibrary.java 中的getCodecName(String mimeType)完成 MIME 类型到 FFmpeg 解码器名的映射再由 JNI 层avcodec_find_decoder_by_name确认该解码器是否真的被编译进了库中。官方 supported-formats.md 给出了完整的音频采样格式 → FFmpeg 解码器名对照表与源码映射一一对应音频格式解码器名ENABLED_DECODERS取值VorbisvorbisOpusopusFLACflacALACalacPCM μ-lawpcm_mulawPCM A-lawpcm_alawMP1 / MP2 / MP3mp3AMR-NBamrnbAMR-WBamrwbAACaacAC-3ac3E-AC-3eac3DTS / DTS-HDdcaTrueHDmlp truehd从 FfmpegLibrary.java 的实现可以看出supportsFormat()的判断是双重校验先通过映射表把 MIME 转成解码器名再调用 native 方法ffmpegHasDecoder(codecName)检查实际构建出的 FFmpeg 静态库中是否包含该解码器。如果映射存在但解码器未编译进去会输出类似No vorbis decoder available. Check the FFmpeg build configuration.的 logcat 警告——这正是排障时格式明明在表里却不被支持的最常见原因。源码架构Renderer → Decoder → JNI 的调用链理解内部实现有助于定位播放问题。模块的 Java 侧只有 5 个文件见 extensions/ffmpeg/src/main/java调用链非常清晰FfmpegAudioRenderer渲染器层继承DecoderAudioRendererFfmpegAudioDecoder负责格式协商、解码器创建与输出格式上报。关键点缓冲区配置NUM_BUFFERS 16个输入/输出缓冲区默认输入缓冲区大小DEFAULT_INPUT_BUFFER_SIZE 960 * 6字节当format.maxInputSize未提供时使用FfmpegAudioRenderer.java。格式协商逻辑supportsFormatInternal()当 FFmpeg 库不可用或输入不是音频时返回FORMAT_UNSUPPORTED_TYPE当 FFmpeg 不支持该 MIME、或音频输出端不支持 16-bit/float PCM 时返回FORMAT_UNSUPPORTED_SUBTYPE带 DRM 加密的流返回FORMAT_UNSUPPORTED_DRM其余情况返回FORMAT_HANDLEDFfmpegAudioRenderer.java。输出格式解码输出统一为AUDIO_RAW原始 PCM采样率、声道数与 PCM 编码由解码器报告getOutputFormat()。输出编码选择shouldOutputFloat()优先 16-bit PCM若输出端不支持 16-bit 则退回 float若输出端直接支持 floatSINK_FORMAT_SUPPORTED_DIRECTLY则除 AC-3始终 16-bit外均使用 float 输出。FfmpegAudioDecoder解码器层继承SimpleDecoder通过 native 方法ffmpegInitialize/ffmpegDecode/ffmpegReset/ffmpegRelease与 JNI 层交互。值得注意的实现细节输出缓冲区大小PCM 16-bit 为 65536 字节兼容 PCM μ-law 流解码的最大输出float 输出翻倍为 131072 字节FfmpegAudioDecoder.java。额外初始化数据getExtraData按编码器区别处理AAC/Opus 直接使用initializationData[0]ALAC 需要把 magic cookie 封装成 FFmpeg 期望的 ALAC atomtypealac见 getAlacExtraDataVorbis 需要把两个 header 按大端长度前缀拼接getVorbisExtraData。解码错误处理-1无效数据与-2其他错误两种 native 错误码被区分对待——无效数据按非致命错误处理标记为BUFFER_FLAG_DECODE_ONLY以对齐 MediaCodec 行为不会导致播放中断FfmpegAudioDecoder.java。ALAC 采样率兼容早期 FFmpeg 版本不输出 ALAC 采样率解码器会从 extra data 末尾 4 字节解析对应 FFmpeg trac #6096FfmpegAudioDecoder.java。ffmpeg_jni.ccJNI 层负责真正的解码。JNI_OnLoad中调用avcodec_register_all()注册全部解码器ffmpeg_jni.cc。核心流程在decodePacket()中avcodec_send_packet()送入压缩数据包循环avcodec_receive_frame()取出解码帧返回EAGAIN表示输入耗尽通过swresampleswr_convert把解码出的任意采样格式统一转成请求的 PCM 16-bit 或 float 格式——request_sample_fmt在createContext()中按outputFloat设置ffmpeg_jni.cc。输入缓冲区使用AV_INPUT_BUFFER_PADDING_SIZE填充对应FfmpegLibrary.getInputBufferPaddingSize()。此外还有两个值得了解的细节ffmpegReset()对 TrueHD 采用释放并重建 context而非avcodec_flush_buffersflush 对该编码器无效见 ffmpeg_jni.cccreateContext()对 PCM μ-law/A-law 会显式设置采样率与声道数并设置err_recognition AV_EF_IGNORE_ERR。构建 FFmpeg 扩展Linux / macOS模块必须手动构建 FFmpeg 库使 Gradle 能将 FFmpeg 二进制打包进 APK。以下命令全部来自 extensions/ffmpeg/README.md按顺序执行即可。第 1 步设置 FFmpeg 模块路径变量cd path to project checkout FFMPEG_MODULE_PATH$(pwd)/extensions/ffmpeg/src/main第 2 步下载 Android NDK 并设置路径变量构建配置已在 NDK r21 上测试通过。NDK_PATH指向 NDK 的根目录NDK_PATHpath to Android NDK第 3 步设置宿主平台Linux 使用linux-x86_64macOS 使用darwin-x86_64HOST_PLATFORMlinux-x86_64第 4 步获取 FFmpeg 源码并检出合适的分支无法保证与所有 FFmpeg 版本兼容当前推荐版本为4.2cd preferred location for ffmpeg \ git clone git://source.ffmpeg.org/ffmpeg \ cd ffmpeg \ git checkout release/4.2 \ FFMPEG_PATH$(pwd)第 5 步配置要包含的解码器ENABLED_DECODERS数组的值即上一节表格中的解码器名列。例如只启用 Vorbis、Opus、FLACENABLED_DECODERS(vorbis opus flac)第 6 步在模块jni目录中链接 FFmpeg 源码cd ${FFMPEG_MODULE_PATH}/jni \ ln -s $FFMPEG_PATH ffmpeg第 7 步执行build_ffmpeg.sh完成交叉编译cd ${FFMPEG_MODULE_PATH}/jni \ ./build_ffmpeg.sh \ ${FFMPEG_MODULE_PATH} ${NDK_PATH} ${HOST_PLATFORM} ${ENABLED_DECODERS[]}脚本默认依次为armeabi-v7a、arm64-v8a、x86、x86_64四种 ABI 构建如需其他架构可编辑 build_ffmpeg.sh 自行调整。构建脚本的源码级解读了解脚本内部做了什么可以帮你排查构建问题。从 build_ffmpeg.sh 可以看到裁剪策略COMMON_OPTIONS中--disable-everything关闭全部组件再通过--enable-swresample保留重采样库、逐个--enable-decodername开启目标解码器同时禁用avdevice、avformat、swscale、avfilter、avresample等用不到的模块并启用静态库--enable-static/--disable-shared。这正是 APK 体积能被有效控制的原因。交叉编译工具链使用 NDK 自带的 LLVM 工具链toolchains/llvm/prebuilt/${HOST_PLATFORM}/bin四种 ABI 分别使用armv7a-linux-androideabi16-、aarch64-linux-android21-、i686-linux-android16-、x86_64-linux-android21-前缀arm 变体额外带-marcharmv7-a -mfloat-abisoftfp与--fix-cortex-a8链接参数x86 变体--disable-asm。产物位置静态库输出到jni/ffmpeg/android-libs/abi/由 CMakeLists.txt 以 IMPORTED 静态库方式导入avutil、swresample、avcodec三个库并与ffmpeg_jni.cc一起编译为共享库ffmpegJNI。注意 CMake 对arm64-v8a附加了-Wl,-Bsymbolic链接标志这是为兼容 NDK 23.1.7779620 及以上版本所做的修正。Windows 构建说明官方不提供该模块在 Windows 上的构建支持但理论上可以在 Windows PowerShell 中按 Linux 的步骤执行脚本为 bash 语法建议使用 Git Bash 等环境。实际开发中更推荐在 Linux 或 macOS 上完成一次构建再将产物用于 Windows 上的应用开发。在应用中使用 FfmpegAudioRenderer完成源码检出、FFmpeg 构建并本地依赖该模块后需要显式告诉 ExoPlayer 使用FfmpegAudioRenderer。具体做法取决于你使用的是哪套播放器 API共四种方式方式一通过DefaultRenderersFactory构造函数最常用给ExoPlayer.Builder传入DefaultRenderersFactory时将构造参数extensionRendererMode设为EXTENSION_RENDERER_MODE_ON当MediaCodecAudioRenderer不支持输入格式时使用FfmpegAudioRenderer播放。设为EXTENSION_RENDERER_MODE_PREFER则让 FFmpeg 渲染器优先于MediaCodecAudioRenderer。DefaultRenderersFactory renderersFactory new DefaultRenderersFactory(context, DefaultRenderersFactory.EXTENSION_RENDERER_MODE_PREFER); ExoPlayer player new ExoPlayer.Builder(context, renderersFactory).build();三个模式常量的定义与语义DefaultRenderersFactory.java常量值含义EXTENSION_RENDERER_MODE_OFF0不加载任何扩展渲染器默认值EXTENSION_RENDERER_MODE_ON1平台解码器不支持时使用扩展渲染器EXTENSION_RENDERER_MODE_PREFER2扩展渲染器优先于平台解码器从源码看buildAudioRenderers 总是先添加MediaCodecAudioRenderer随后通过Class.forName(...)反射加载扩展渲染器并插入列表——PREFER模式把扩展渲染器插到MediaCodecAudioRenderer之前extensionRendererIndex--ON模式则追加到其后。反射加载意味着即使扩展库未打进来应用也不会崩溃捕获ClassNotFoundException。方式二继承DefaultRenderersFactory重写buildAudioRenderers把FfmpegAudioRenderer加入输出列表public class MyRenderersFactory extends DefaultRenderersFactory { public MyRenderersFactory(Context context) { super(context); } Override protected void buildAudioRenderers( Context context, ExtensionRendererMode int extensionRendererMode, MediaCodecSelector mediaCodecSelector, boolean enableDecoderFallback, AudioSink audioSink, Handler eventHandler, AudioRendererEventListener eventListener, ArrayListRenderer out) { super.buildAudioRenderers(context, extensionRendererMode, mediaCodecSelector, enableDecoderFallback, audioSink, eventHandler, eventListener, out); out.add(new FfmpegAudioRenderer(eventHandler, eventListener, audioSink)); } }ExoPlayer 会使用列表中第一个支持输入媒体格式的Renderer因此FfmpegAudioRenderer的插入位置决定了它相对于平台渲染器的优先级。方式三实现自己的RenderersFactory在createRenderers中返回包含FfmpegAudioRenderer的数组即可。同样ExoPlayer 使用返回数组中第一个支持输入格式的Renderer。方式四通过ExoPlayer.Builder直接传入渲染器数组FfmpegAudioRenderer ffmpegAudioRenderer new FfmpegAudioRenderer(); ExoPlayer player new ExoPlayer.Builder(context) .setRenderers( new Renderer[] {new MediaCodecAudioRenderer(...), ffmpegAudioRenderer}) .build();同样遵循第一个支持输入格式的Renderer胜出的规则。关于轨道选择器的重要提示以上说明均假设你使用DefaultTrackSelector。如果使用了自定义轨道选择器Renderer的选择逻辑由你的实现决定因此你需要确保把FfmpegAudioRenderer传给播放器并自行实现为给定轨道选用该渲染器的逻辑。集成正确性的测试佐证扩展模块自带一个单元测试 DefaultRenderersFactoryTest.java通过DefaultRenderersFactoryAsserts.assertExtensionRendererCreated(FfmpegAudioRenderer.class, C.TRACK_TYPE_AUDIO)验证使用默认工厂并启用扩展模式时音频轨道能成功实例化FfmpegAudioRenderer。这可以当作集成后的一个快速冒烟验证思路。混淆ProGuard/R8注意事项模块自带的 proguard-rules.txt 只有一条规则通过-keepclasseswithmembernames class * { native methods; }防止 native 方法名被混淆——JNI 通过方法名绑定 Java 与 C 符号这条规则必不可少。将模块打进应用时请确保该规则被引入。在 Demo 应用中试用扩展若想快速验证 FFmpeg 扩展的实际播放效果可修改 demo 应用在 Demo 的 media.exolist.json 中为媒体项添加extension提示字段值为mpd、ism、m3u8等样本类型提示或直接加入一个使用目标格式的音频源。运行 demo 时通过--es extension mpd设置样本类型提示通过--ez prefer_extension_decoders TRUE强制优先使用扩展解码器详见 docs/demo-application.md 的 Enabling extension decoders 一节。默认情况下扩展解码器仅在平台没有对应解码器时才会被使用要验证 FFmpeg 确实接管了解码建议用prefer_extension_decoders强制开启并结合 logcat 观察渲染器是否被选中。常见问题与进一步资料格式明明在映射表里却无法播放优先检查FfmpegLibrary.supportsFormat的 logcat 警告No codec decoder available. Check the FFmpeg build configuration.确认ENABLED_DECODERS包含了对应解码器且 FFmpeg 已重新构建。native 库加载失败确认 APK 中确实包含libffmpegJNI.so构建产物、目标 ABI 与设备一致且未因混淆破坏 native 方法名。部分格式如 AC-3/DTS输出编码问题shouldOutputFloat()与输出端 PCM 支持能力相关AC-3 始终按 16-bit 输出。解码扩展的通用排障思路可参考仓库文档 docs/troubleshooting.md 中关于如何让解码扩展被加载并用于播放的说明。API 参考模块相关类FfmpegAudioRenderer、FfmpegLibrary、FfmpegAudioDecoder、FfmpegDecoderException的完整 Javadoc 见 docs/doc/reference。综上ExoPlayer FFmpeg 扩展是一套手动构建 按需裁剪 标准渲染器接入的完整软件解码方案构建脚本通过--disable-everything与--enable-decoder精确控制 APK 体积FfmpegAudioRenderer遵循标准渲染器协商协议与平台解码器共存JNI 层借助avcodecswresample将任意音频格式统一输出为 PCM。掌握本文的构建步骤与四种接入方式后你就能在自有播放器中稳定落地 FFmpeg 音频解码能力。赞分享音视频移动开发【免费下载链接】ExoPlayerAn extensible media player for Android项目地址https://gitcode.com/gh_mirrors/exop/ExoPlayer点击查看免费下载相关推荐最完整ExoPlayer NDK实战FFmpeg集成与音视频解码指南最完整ExoPlayer NDK实战FFmpeg集成与音视频解码指南 你是否还在为Android音视频开发中的格式兼容性问题烦恼是否想突破系统MediaCo音视频移动开发ExoPlayer FFmpeg 音频解码扩展构建与接入指南基于 SmartTube 内置 exoplayer-amzn-2.10.6 源码ExoPlayer FFmpeg 音频解码扩展构建与接入指南基于 SmartTube 内置 exoplayer amzn 2.10.6 源码 导读 本文以 S音视频客户端marimo 文本输入组件 mo.ui.text 完全指南实时搜索、密码脱敏与防抖机制解析marimo 文本输入组件 mo.ui.text 完全指南实时搜索、密码脱敏与防抖机制解析 mo.ui.text 是 marimo 响应式笔记本reacti音视频移动开发上一篇HP-Socket开源治理委员会职责清单决策范围与权力边界下一篇Simple TensorFlow Serving客户端代码生成无需编程即可调用模型的完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
