)
简介CSDN博客专家、《Android系统多媒体进阶实战》作者博主新书推荐《Android系统多媒体进阶实战》Android Audio工程师专栏地址Audio工程师进阶系列【原创干货持续更新中……】Android多媒体专栏地址多媒体系统工程师系列【原创干货持续更新中……】专题一 二AAOS车载系统AOSP14系统攻城狮入门视频实战课专题三Android14 Binder之HIDL与AIDL通信实战课专题四Android15快速自定义与集成音效实战课专题五Android15音频策略实战课专题六Android15音频性能实战课(无声/杂音/断音/爆音实战案例)人生格言人生从来没有捷径只有行动才是治疗恐惧和懒惰的唯一良药.更多原创,欢迎关注Android系统攻城狮文章目录1.前言2.应用场景和用法2.1 应用场景2.2 函数用法3.调用流程剖析3.1 声道映射生成流程3.2 reorder_map驱动声道重排流程4.实战案例4.1 准备声道位置和PCM数据4.2 生成reorder_map并重排4.3 验证重排结果5.总结1.前言本篇目的理解gst_audio_get_channel_reorder_map()如何根据输入、输出声道位置生成reorder_map以及这个映射表如何指导后续音频声道重排。多声道音频中每个Sample除了有具体数值之外还具有明确的声道含义。例如双声道通常按照index 0 → FRONT_LEFT index 1 → FRONT_RIGHT保存。但某些音频源、硬件接口或者外部音频格式可能采用index 0 → FRONT_RIGHT index 1 → FRONT_LEFT此时虽然仍然是2个声道但是两个声道在Buffer中的排列顺序已经不同。如果直接把这样的PCM数据交给要求FRONT_LEFT FRONT_RIGHT顺序的下游处理就可能出现左右声道颠倒。因此GStreamer需要建立当前声道顺序 ↓ 目标声道顺序之间的位置映射。gst_audio_get_channel_reorder_map()就是完成这个工作的函数它不直接修改PCM数据而是根据from和to两个声道位置数组计算出一个reorder_map。① 输入from顺序② 输入to顺序③ 生成reorder_map④ 按映射搬移声道⑤ 得到目标顺序可以把它理解成一张“座位调整表”。原来的座位0号位置 → Right 1号位置 → Left目标座位0号位置 → Left 1号位置 → Right函数并不会亲自搬动两个声道的数据而是先算出reorder_map {1, 0}表示输入0号声道 → 输出1号位置 输入1号声道 → 输出0号位置后续代码再按照这张表真正搬动PCM数据。2.应用场景和用法2.1 应用场景gst_audio_get_channel_reorder_map()主要解决的问题不是有多少个声道而是这些声道按照什么顺序排列例如同样是一帧双声道PCMBuffer Sample0 Sample1 ↓ ↓ R L但下游要求Sample0 Sample1 ↓ ↓ L R两端都包含FRONT_LEFT FRONT_RIGHT只是排列顺序不同。输入R LfromFR FLreorder_map1 0toFL FR输出L R它常用于不同多声道音频格式之间转换声道顺序。外部音频库的声道顺序转换为GStreamer需要的顺序。硬件输出声道顺序与GStreamer声道顺序不一致时建立映射。自定义Element处理多声道PCM数据时预先生成声道映射。多个Buffer使用相同声道布局时只计算一次映射后续反复使用。这里需要注意gst_audio_get_channel_reorder_map()只计算声道位置 → 声道位置的映射关系。它不会修改PCM Buffer GstBuffer GstAudioInfo Caps真正需要直接重排音频数据时可以使用gst_audio_reorder_channels()等接口。因此两者职责可以简单理解为gst_audio_get_channel_reorder_map() ↓ 算出“怎么搬”而gst_audio_reorder_channels() ↓ 真正“搬数据”2.2 函数用法函数原型gbooleangst_audio_get_channel_reorder_map(gint channels,constGstAudioChannelPosition*from,constGstAudioChannelPosition*to,gint*reorder_map);参数参数作用channels声道数量from当前Buffer中的声道排列顺序to希望转换到的目标声道排列顺序reorder_map保存计算得到的声道位置映射返回值成功返回TRUE无法建立映射返回FALSE最简单的双声道示例GstAudioChannelPosition from[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT,GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT};GstAudioChannelPosition to[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT,GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT};gint reorder_map[2];gboolean retgst_audio_get_channel_reorder_map(2,from,to,reorder_map);调用前from index 0 → FRONT_RIGHT index 1 → FRONT_LEFT to index 0 → FRONT_LEFT index 1 → FRONT_RIGHT调用成功后reorder_map[0] 1 reorder_map[1] 0最容易理解错误的地方就是reorder_map的方向。它不是输出i应该读取哪个输入而是输入i应该放到哪个输出位置即output[reorder_map[i]] input[i]对于reorder_map {1, 0}就是input[0] → output[1] input[1] → output[0]因此输入 index 0 Right index 1 Left最终转换成输出 index 0 Left index 1 Rightfrom和to必须描述相同的一组声道位置只允许排列顺序不同如果某个输入声道在目标数组中找不到对应位置函数会返回FALSE。3.调用流程剖析3.1 声道映射生成流程gst_audio_get_channel_reorder_map()的核心工作非常简单遍历from中的每一个声道 ↓ 去to中寻找相同声道 ↓ 记录它在to中的下标 ↓ 保存到reorder_map源码首先会检查几个基本条件reorder_map ! NULL channels 0 channels 64 from ! NULL to ! NULL随后还会验证from和to中的声道位置是否合法。核心流程可以简化为检查from/to遍历from[i]在to中寻找相同声道reorder_map[i] j返回TRUE以from [FR, FL] to [FL, FR]为例。第一次处理i 0 from[0] FR函数在to中寻找to[0] FL × to[1] FR √于是reorder_map[0] 1第二次处理i 1 from[1] FL在to中找到to[0] FL于是reorder_map[1] 0最终得到reorder_map [1, 0]所以这个函数本质上建立的是from数组下标 ↓ to数组下标之间的映射。源码中的核心逻辑可以抽象成for(i0;ichannels;i){for(j0;jchannels;j){if(from[i]to[j]){reorder_map[i]j;break;}}}这里并没有PCM数据参与。输入是GstAudioChannelPosition数组输出是整数下标映射数组因此函数完成以后音频Buffer本身仍然保持原来的声道排列。3.2 reorder_map驱动声道重排流程生成reorder_map之后才进入真正的数据重排阶段。例如有一帧双声道S16LE数据input[0] 100 input[1] 200结合声道位置from input[0] FRONT_RIGHT 100 input[1] FRONT_LEFT 200目标是to output[0] FRONT_LEFT output[1] FRONT_RIGHT前面已经得到reorder_map {1, 0}应用映射output[reorder_map[i]]input[i];第一步i 0 output[1] input[0] 100即FR → output[1]第二步i 1 output[0] input[1] 200即FL → output[0]最终output[0] 200 → FL output[1] 100 → FR流程如下输入FR100 FL200reorder_map1 0output[map[i]]input[i]输出FL200 FR100这也是为什么reorder_map表示输入channel i ↓ 输出channel reorder_map[i]例如更复杂的4声道from 0 → FRONT_RIGHT 1 → REAR_LEFT 2 → FRONT_LEFT 3 → REAR_RIGHT目标to 0 → FRONT_LEFT 1 → FRONT_RIGHT 2 → REAR_LEFT 3 → REAR_RIGHT则映射关系为FR → 1 RL → 2 FL → 0 RR → 3最终reorder_map {1, 2, 0, 3}因此不管2声道还是多声道算法本质都没有变化找到相同ChannelPosition ↓ 记录目标数组下标还需要注意几个失败条件。对于无法参与正常位置映射的声道位置或者某个from[i]无法在to[]中找到相同位置时函数会返回FALSE。所以from [FL, FR] to [FL, FC]不能生成有效映射。原因不是顺序不同而是两边描述的声道集合本身已经不同from存在FR to不存在FRgst_audio_get_channel_reorder_map()解决的是同一组声道 不同排列顺序而不是增加、删除或者混音声道。4.实战案例4.1 准备声道位置和PCM数据下面通过一个双声道最小程序验证from [FR, FL]转换为to [FL, FR]首先准备声道位置GstAudioChannelPosition from[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT,GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT};GstAudioChannelPosition to[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT,GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT};然后准备一帧简单的PCM数据gint16 input[2]{100,200};结合from这里代表input[0] 100 → FRONT_RIGHT input[1] 200 → FRONT_LEFT目标则是output[0] → FRONT_LEFT output[1] → FRONT_RIGHT4.2 生成reorder_map并重排调用核心函数gint reorder_map[2];gboolean retgst_audio_get_channel_reorder_map(2,from,to,reorder_map);如果成功reorder_map {1, 0}接着按照映射关系搬动数据gint16 output[2]{0};for(gint i0;i2;i){output[reorder_map[i]]input[i];}完整的核心关系是input[0] FR ↓ reorder_map[0] 1 ↓ output[1] FR input[1] FL ↓ reorder_map[1] 0 ↓ output[0] FL这里为了突出gst_audio_get_channel_reorder_map()的机制实战手工使用reorder_map完成数据搬移。实际GStreamer代码中如果只是希望直接重排Interleaved音频数据也可以使用gst_audio_reorder_channels()不必自己编写这段搬移逻辑。4.3 验证重排结果完整测试代码#includegst/gst.h#includegst/audio/audio.hintmain(intargc,char*argv[]){GstAudioChannelPosition from[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT,GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT};GstAudioChannelPosition to[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT,GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT};gint reorder_map[2]{0};gint16 input[2]{100,/* FRONT_RIGHT */200/* FRONT_LEFT */};gint16 output[2]{0};gst_init(argc,argv);if(!gst_audio_get_channel_reorder_map(2,from,to,reorder_map)){g_printerr(get reorder map failed\n);return-1;}g_print(reorder_map[0] %d\n,reorder_map[0]);g_print(reorder_map[1] %d\n,reorder_map[1]);for(gint i0;i2;i)output[reorder_map[i]]input[i];g_print(input : %d %d\n,input[0],input[1]);g_print(output: %d %d\n,output[0],output[1]);return0;}编译gcc test_channel_reorder.c\-otest_channel_reorder\$(pkg-config--cflags--libs\gstreamer-1.0\gstreamer-audio-1.0)运行./test_channel_reorder预期输出reorder_map[0] 1 reorder_map[1] 0 input : 100 200 output: 200 100结合声道含义来看调用前 index 0 100 FRONT_RIGHT index 1 200 FRONT_LEFT经过reorder_map {1, 0}之后index 0 200 FRONT_LEFT index 1 100 FRONT_RIGHT整个实战证明了from [FR, FL] ↓ gst_audio_get_channel_reorder_map() ↓ [1, 0] ↓ 按照map搬移PCM Sample ↓ to [FL, FR]因此要特别区分GstAudioChannelPosition ↓ 描述“这个位置是什么声道”reorder_map ↓ 描述“输入声道应该搬到哪个输出下标”PCM数据 ↓ 按照reorder_map真正改变排列5.总结gst_audio_get_channel_reorder_map()就是比较from和to中的声道位置为每个输入声道计算目标输出下标生成后续PCM声道重排所需的reorder_map。
Linux Gstreamer深度解析之gst_audio_channel_reorder_map调用流程与实战(十八)
简介CSDN博客专家、《Android系统多媒体进阶实战》作者博主新书推荐《Android系统多媒体进阶实战》Android Audio工程师专栏地址Audio工程师进阶系列【原创干货持续更新中……】Android多媒体专栏地址多媒体系统工程师系列【原创干货持续更新中……】专题一 二AAOS车载系统AOSP14系统攻城狮入门视频实战课专题三Android14 Binder之HIDL与AIDL通信实战课专题四Android15快速自定义与集成音效实战课专题五Android15音频策略实战课专题六Android15音频性能实战课(无声/杂音/断音/爆音实战案例)人生格言人生从来没有捷径只有行动才是治疗恐惧和懒惰的唯一良药.更多原创,欢迎关注Android系统攻城狮文章目录1.前言2.应用场景和用法2.1 应用场景2.2 函数用法3.调用流程剖析3.1 声道映射生成流程3.2 reorder_map驱动声道重排流程4.实战案例4.1 准备声道位置和PCM数据4.2 生成reorder_map并重排4.3 验证重排结果5.总结1.前言本篇目的理解gst_audio_get_channel_reorder_map()如何根据输入、输出声道位置生成reorder_map以及这个映射表如何指导后续音频声道重排。多声道音频中每个Sample除了有具体数值之外还具有明确的声道含义。例如双声道通常按照index 0 → FRONT_LEFT index 1 → FRONT_RIGHT保存。但某些音频源、硬件接口或者外部音频格式可能采用index 0 → FRONT_RIGHT index 1 → FRONT_LEFT此时虽然仍然是2个声道但是两个声道在Buffer中的排列顺序已经不同。如果直接把这样的PCM数据交给要求FRONT_LEFT FRONT_RIGHT顺序的下游处理就可能出现左右声道颠倒。因此GStreamer需要建立当前声道顺序 ↓ 目标声道顺序之间的位置映射。gst_audio_get_channel_reorder_map()就是完成这个工作的函数它不直接修改PCM数据而是根据from和to两个声道位置数组计算出一个reorder_map。① 输入from顺序② 输入to顺序③ 生成reorder_map④ 按映射搬移声道⑤ 得到目标顺序可以把它理解成一张“座位调整表”。原来的座位0号位置 → Right 1号位置 → Left目标座位0号位置 → Left 1号位置 → Right函数并不会亲自搬动两个声道的数据而是先算出reorder_map {1, 0}表示输入0号声道 → 输出1号位置 输入1号声道 → 输出0号位置后续代码再按照这张表真正搬动PCM数据。2.应用场景和用法2.1 应用场景gst_audio_get_channel_reorder_map()主要解决的问题不是有多少个声道而是这些声道按照什么顺序排列例如同样是一帧双声道PCMBuffer Sample0 Sample1 ↓ ↓ R L但下游要求Sample0 Sample1 ↓ ↓ L R两端都包含FRONT_LEFT FRONT_RIGHT只是排列顺序不同。输入R LfromFR FLreorder_map1 0toFL FR输出L R它常用于不同多声道音频格式之间转换声道顺序。外部音频库的声道顺序转换为GStreamer需要的顺序。硬件输出声道顺序与GStreamer声道顺序不一致时建立映射。自定义Element处理多声道PCM数据时预先生成声道映射。多个Buffer使用相同声道布局时只计算一次映射后续反复使用。这里需要注意gst_audio_get_channel_reorder_map()只计算声道位置 → 声道位置的映射关系。它不会修改PCM Buffer GstBuffer GstAudioInfo Caps真正需要直接重排音频数据时可以使用gst_audio_reorder_channels()等接口。因此两者职责可以简单理解为gst_audio_get_channel_reorder_map() ↓ 算出“怎么搬”而gst_audio_reorder_channels() ↓ 真正“搬数据”2.2 函数用法函数原型gbooleangst_audio_get_channel_reorder_map(gint channels,constGstAudioChannelPosition*from,constGstAudioChannelPosition*to,gint*reorder_map);参数参数作用channels声道数量from当前Buffer中的声道排列顺序to希望转换到的目标声道排列顺序reorder_map保存计算得到的声道位置映射返回值成功返回TRUE无法建立映射返回FALSE最简单的双声道示例GstAudioChannelPosition from[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT,GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT};GstAudioChannelPosition to[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT,GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT};gint reorder_map[2];gboolean retgst_audio_get_channel_reorder_map(2,from,to,reorder_map);调用前from index 0 → FRONT_RIGHT index 1 → FRONT_LEFT to index 0 → FRONT_LEFT index 1 → FRONT_RIGHT调用成功后reorder_map[0] 1 reorder_map[1] 0最容易理解错误的地方就是reorder_map的方向。它不是输出i应该读取哪个输入而是输入i应该放到哪个输出位置即output[reorder_map[i]] input[i]对于reorder_map {1, 0}就是input[0] → output[1] input[1] → output[0]因此输入 index 0 Right index 1 Left最终转换成输出 index 0 Left index 1 Rightfrom和to必须描述相同的一组声道位置只允许排列顺序不同如果某个输入声道在目标数组中找不到对应位置函数会返回FALSE。3.调用流程剖析3.1 声道映射生成流程gst_audio_get_channel_reorder_map()的核心工作非常简单遍历from中的每一个声道 ↓ 去to中寻找相同声道 ↓ 记录它在to中的下标 ↓ 保存到reorder_map源码首先会检查几个基本条件reorder_map ! NULL channels 0 channels 64 from ! NULL to ! NULL随后还会验证from和to中的声道位置是否合法。核心流程可以简化为检查from/to遍历from[i]在to中寻找相同声道reorder_map[i] j返回TRUE以from [FR, FL] to [FL, FR]为例。第一次处理i 0 from[0] FR函数在to中寻找to[0] FL × to[1] FR √于是reorder_map[0] 1第二次处理i 1 from[1] FL在to中找到to[0] FL于是reorder_map[1] 0最终得到reorder_map [1, 0]所以这个函数本质上建立的是from数组下标 ↓ to数组下标之间的映射。源码中的核心逻辑可以抽象成for(i0;ichannels;i){for(j0;jchannels;j){if(from[i]to[j]){reorder_map[i]j;break;}}}这里并没有PCM数据参与。输入是GstAudioChannelPosition数组输出是整数下标映射数组因此函数完成以后音频Buffer本身仍然保持原来的声道排列。3.2 reorder_map驱动声道重排流程生成reorder_map之后才进入真正的数据重排阶段。例如有一帧双声道S16LE数据input[0] 100 input[1] 200结合声道位置from input[0] FRONT_RIGHT 100 input[1] FRONT_LEFT 200目标是to output[0] FRONT_LEFT output[1] FRONT_RIGHT前面已经得到reorder_map {1, 0}应用映射output[reorder_map[i]]input[i];第一步i 0 output[1] input[0] 100即FR → output[1]第二步i 1 output[0] input[1] 200即FL → output[0]最终output[0] 200 → FL output[1] 100 → FR流程如下输入FR100 FL200reorder_map1 0output[map[i]]input[i]输出FL200 FR100这也是为什么reorder_map表示输入channel i ↓ 输出channel reorder_map[i]例如更复杂的4声道from 0 → FRONT_RIGHT 1 → REAR_LEFT 2 → FRONT_LEFT 3 → REAR_RIGHT目标to 0 → FRONT_LEFT 1 → FRONT_RIGHT 2 → REAR_LEFT 3 → REAR_RIGHT则映射关系为FR → 1 RL → 2 FL → 0 RR → 3最终reorder_map {1, 2, 0, 3}因此不管2声道还是多声道算法本质都没有变化找到相同ChannelPosition ↓ 记录目标数组下标还需要注意几个失败条件。对于无法参与正常位置映射的声道位置或者某个from[i]无法在to[]中找到相同位置时函数会返回FALSE。所以from [FL, FR] to [FL, FC]不能生成有效映射。原因不是顺序不同而是两边描述的声道集合本身已经不同from存在FR to不存在FRgst_audio_get_channel_reorder_map()解决的是同一组声道 不同排列顺序而不是增加、删除或者混音声道。4.实战案例4.1 准备声道位置和PCM数据下面通过一个双声道最小程序验证from [FR, FL]转换为to [FL, FR]首先准备声道位置GstAudioChannelPosition from[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT,GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT};GstAudioChannelPosition to[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT,GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT};然后准备一帧简单的PCM数据gint16 input[2]{100,200};结合from这里代表input[0] 100 → FRONT_RIGHT input[1] 200 → FRONT_LEFT目标则是output[0] → FRONT_LEFT output[1] → FRONT_RIGHT4.2 生成reorder_map并重排调用核心函数gint reorder_map[2];gboolean retgst_audio_get_channel_reorder_map(2,from,to,reorder_map);如果成功reorder_map {1, 0}接着按照映射关系搬动数据gint16 output[2]{0};for(gint i0;i2;i){output[reorder_map[i]]input[i];}完整的核心关系是input[0] FR ↓ reorder_map[0] 1 ↓ output[1] FR input[1] FL ↓ reorder_map[1] 0 ↓ output[0] FL这里为了突出gst_audio_get_channel_reorder_map()的机制实战手工使用reorder_map完成数据搬移。实际GStreamer代码中如果只是希望直接重排Interleaved音频数据也可以使用gst_audio_reorder_channels()不必自己编写这段搬移逻辑。4.3 验证重排结果完整测试代码#includegst/gst.h#includegst/audio/audio.hintmain(intargc,char*argv[]){GstAudioChannelPosition from[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT,GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT};GstAudioChannelPosition to[2]{GST_AUDIO_CHANNEL_POSITION_FRONT_LEFT,GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT};gint reorder_map[2]{0};gint16 input[2]{100,/* FRONT_RIGHT */200/* FRONT_LEFT */};gint16 output[2]{0};gst_init(argc,argv);if(!gst_audio_get_channel_reorder_map(2,from,to,reorder_map)){g_printerr(get reorder map failed\n);return-1;}g_print(reorder_map[0] %d\n,reorder_map[0]);g_print(reorder_map[1] %d\n,reorder_map[1]);for(gint i0;i2;i)output[reorder_map[i]]input[i];g_print(input : %d %d\n,input[0],input[1]);g_print(output: %d %d\n,output[0],output[1]);return0;}编译gcc test_channel_reorder.c\-otest_channel_reorder\$(pkg-config--cflags--libs\gstreamer-1.0\gstreamer-audio-1.0)运行./test_channel_reorder预期输出reorder_map[0] 1 reorder_map[1] 0 input : 100 200 output: 200 100结合声道含义来看调用前 index 0 100 FRONT_RIGHT index 1 200 FRONT_LEFT经过reorder_map {1, 0}之后index 0 200 FRONT_LEFT index 1 100 FRONT_RIGHT整个实战证明了from [FR, FL] ↓ gst_audio_get_channel_reorder_map() ↓ [1, 0] ↓ 按照map搬移PCM Sample ↓ to [FL, FR]因此要特别区分GstAudioChannelPosition ↓ 描述“这个位置是什么声道”reorder_map ↓ 描述“输入声道应该搬到哪个输出下标”PCM数据 ↓ 按照reorder_map真正改变排列5.总结gst_audio_get_channel_reorder_map()就是比较from和to中的声道位置为每个输入声道计算目标输出下标生成后续PCM声道重排所需的reorder_map。
` 原理及 curr-domain 配置实战)
