Transformers 音频模型开发实战Feature Extractor 的实现、注册与测试全流程【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers本文为 Hugging Face Transformers 中音频模型Audio Models开发者编写的技术指南聚焦 add_audio_processing_components.md 文档的完整工作流如何为消费原始音频的模型编写SequenceFeatureExtractor子类、通过FEATURE_EXTRACTOR_MAPPING_NAMES注册到AutoFeatureExtractor入口以及使用通用测试 Mixin 建立完整测试覆盖。读完后你可以独立完成一个新音频模型从特征提取器实现、序列化保存、Auto 注册到 CI 级测试验证的全链路开发。音频模型为什么必须配一个 Feature Extractor音频模型语音识别、音频理解等与文本模型不同模型前向传播无法直接消费原始波形而是依赖一个特征提取器Feature Extractor将原始音频raw speech转换为模型可接受的数值特征如 log-mel 频谱图。在 Transformers 的架构中这个组件必须暴露在一个统一的入口后面Audio models require a feature extractor which is accessible behind theAutoFeatureExtractorentry point.这意味着开发者交付一个音频模型时除了模型与配置这两步请先遵循 modular 开发指南 完成还需要交付第三类组件feature_extraction_model_name.py。本文按实现 → 注册 → 测试的顺序拆解完整流程并结合当前仓库中Gemma4AudioFeatureExtractor的真实实现补充参数细节。实现 Feature Extractor继承 SequenceFeatureExtractor基本骨架在模型目录src/transformers/models/model_name/下创建feature_extraction_model_name.py继承 SequenceFeatureExtractor。选择这个基类的原因是新的类会直接获得共享的 padding、truncation、保存与加载行为这些逻辑都由基类统一实现子类只需聚焦于从原始音频到模型特征这一核心变换。文档给出的最小骨架如下from ...feature_extraction_sequence_utils import SequenceFeatureExtractor class MyModelFeatureExtractor(SequenceFeatureExtractor): model_input_names [input_features, attention_mask] def __init__(self, feature_size80, sampling_rate16000, padding_value0.0, **kwargs): super().__init__(feature_sizefeature_size, sampling_ratesampling_rate, padding_valuepadding_value, **kwargs) def __call__(self, raw_speech, sampling_rateNone, **kwargs): if sampling_rate is not None and sampling_rate ! self.sampling_rate: raise ValueError(fsampling_rate must be {self.sampling_rate}, but got {sampling_rate}.) # Convert raw_speech to model features here. ...从 SequenceFeatureExtractor 源码 看基类构造函数接收三个必传参数并全部存为实例属性同时从kwargs中提取两个常用开关参数类型说明默认行为feature_sizeint提取特征的维度如 mel 频段数量无默认必须传入sampling_rateint音频期望的采样率Hz无默认必须传入padding_valuefloatpadding 填充值通常对应静音无默认必须传入padding_sidestrpadding 方向rightreturn_attention_maskbool是否默认返回 attention maskTrue继承还附带了完整的pad()方法见 pad 方法定义支持paddinglongest/max_length/False、max_length、truncation、pad_to_multiple_of对 NVIDIA Tensor Core 与 TPU 对齐尤其有用等参数并且可以作为 PyTorch DataLoader 的collate_fn使用——这解释了为什么基类要求传入的BatchFeature中必须包含model_input_names[0]指定的主输入名padding 逻辑依赖它来确定批量序列的对齐基准。构造函数原则小而可序列化文档明确要求保持构造函数小而可序列化small and serializable。具体规则每一个复现预处理所必需的值都要存为实例属性因为它们会被序列化进预处理配置文件避免存储仅运行时需要的值例如打开的文件句柄、设备对象device、解码后的音频数组。这一点在 FeatureExtractionMixin 中有对应的机制支撑from_pretrained定义位置从 JSON 配置文件按__init__签名实例化对象save_pretrained定义位置则把实例属性写回配置。存了不可 JSON 序列化的值保存时就会失败或丢失状态。__call__必须校验采样率而非静默重采样__call__方法承担原始音频到模型特征的转换文档强调了一条容易踩坑的规则当用户传入sampling_rate且与模型期望采样率不一致时抛出错误而不是静默重采样。静默重采样会导致特征与预训练权重失配却无任何提示因此骨架中直接raise ValueError。这是音频特征提取器测试中会专门覆盖的行为见后文测试章节。保存通过转换脚本调用 save_pretrained不要手写配置保存特征提取器时正确做法是在模型转换脚本中实例化它并调用save_pretrained不要把预处理配置文件手动创建或编辑进 checkpoint序列化内容应与__init__参数一一对应保证from_pretrained能无损还原。深度参考Gemma4AudioFeatureExtractor 的完整参数与流程文档给出的官方参考实现是 Gemma4AudioFeatureExtractor它是SequenceFeatureExtractor的一个生产级范例值得逐个细节拆解。输入契约model_input_names [input_features, input_features_mask]——它输出的主特征是 mel 频谱图辅特征是帧级有效性掩码而非简单的样本级 attention mask。完整构造参数表源码定义参数默认值作用feature_size128mel 频段数sampling_rate16000期望采样率padding_value0.0padding 填充值对应静音return_attention_maskTrue是否返回 attention maskframe_length_ms20.0STFT 帧长毫秒hop_length_ms10.0帧移毫秒min_frequency/max_frequency0.0/8000.0mel filterbank 的频率范围preemphasis0.0预加重系数preemphasis_htk_flavorTrue是否使用 HTK 风格预加重fft_overdriveFalse是否将 FFT 长度翻倍过驱动dither0.0高斯去抖噪声系数如0.0001input_scale_factor1.0输入波形缩放因子mel_floor0.001log 下限避免log(0)per_bin_mean/per_bin_stddevNone逐频段归一化的均值/标准差值得注意的实现细节构造函数里会预计算frame_length、hop_length、Hann 窗self.window和 mel filterbank 矩阵self.mel_filters见 初始化代码。窗与滤波器是纯由构造参数推导出的常量序列化后依然可复现符合小而可序列化的原则而fft_length则由frame_length向上取 2 的幂得到fft_overdrive时再翻倍。__call__的完整处理管线源码展示了先借基类做对齐、再逐样本做特征变换的典型模式批处理归一化把单条/多条音频统一成list[np.ndarray]的批量形式is_batched_numpy/is_batched_sequence判断委托基类 pad调用self.pad(BatchFeature({input_features: raw_speech}), ...)其默认参数是paddinglongest、max_length480_000约 30 秒 16kHz 音频、truncationTrue、pad_to_multiple_of128注释标明该默认值为最优 TPU 支持而设逐样本 mel 提取_extract_spectrogram实现依次执行可选 dither → 输入缩放 → 半因果时间 padding前置frame_length // 2个零使第一帧以 t0 为中心→ 帧化_unfold→ HTK/常规预加重 → 加窗 →np.fft.rfft→ 幅度谱乘 mel filterbank →log(mel mel_floor)→ 可选的逐频段(x - mean) / stddev归一化帧感知掩码一帧 mel 有效当且仅当其分析窗内全部样本是真实音频通过检查每帧窗口最后一个样本对应的 attention mask 得到mask最终输出BatchFeature({input_features: ..., input_features_mask: ...})。该实现还有一个值得警惕的注释其加窗与预加重算法与transformers.audio_utils.spectrogram()不同会导致不同的输出结果。选择音频特征提取器尤其是配预训练模型时要慎重。注册类从模型包导出到 AutoFeatureExtractor 可达实现完成后还有两步注册工作缺一不可。第一步在模型包__init__.py中导出新类要从模型包的__init__.py暴露出来。文档要求遵循相邻模型使用的懒加载lazy import模式并用该类所依赖的相同可选依赖对导入做保护。当前仓库的实际模式见 gemma4 包的init.pyif TYPE_CHECKING: from .configuration_gemma4 import * from .feature_extraction_gemma4 import * from .modeling_gemma4 import * from .processing_gemma4 import * # ... else: import sys _file globals()[__file__] sys.modules[__name__] _LazyModule(__name__, _file, define_import_structure(_file), module_spec__spec__)即类型检查场景下静态导入全部模块运行时用_LazyModuledefine_import_structure扫描文件并构建延迟导入结构。新类只需存在于被import *覆盖的模块中例如模块底部的__all__即可被自动纳入懒加载结构。第二步在 FEATURE_EXTRACTOR_MAPPING_NAMES 中建立映射文档说明把新类映射到模型 config使AutoFeatureExtractor能加载它——在 feature_extraction_auto.py 的FEATURE_EXTRACTOR_MAPPING_NAMES中添加一条目格式与相邻条目一致然后确认 model type 出现在该表中。需要说明当前仓库的一个实现细节文档指向的文件feature_extraction_auto.py如今主要负责AutoFeatureExtractor类与加载逻辑而映射表本体已集中在 auto_mappings.py 中定义并导入使用from .auto_mappings import FEATURE_EXTRACTOR_MAPPING_NAMES见 导入语句。以gemma4为例对应条目为(gemma4, Gemma4AudioFeatureExtractor), (gemma4_unified, Gemma4UnifiedAudioFeatureExtractor),见 auto_mappings.py 中的条目。另外feature_extraction_auto.py中还有一张MISSING_FEATURE_EXTRACTOR_MAPPING_NAMES表定义位置用于那些复用已有特征提取器的模型例如(qwen2_audio, WhisperFeatureExtractor), (wavlm, Waw2Vec2FeatureExtractor),如果你的新模型不需要全新特征提取逻辑而可以直接复用如WhisperFeatureExtractor走这张表即可无需新建提取器类。测试用通用 Mixin 覆盖共性用聚焦用例覆盖个性在模型测试目录中为每个音频处理组件添加测试。特征提取器测试的约定位置是tests/models/model_name/test_feature_extraction_model_name.py。继承 SequenceFeatureExtractionTestMixin对继承SequenceFeatureExtractor的提取器测试类应继承SequenceFeatureExtractionTestMixin它本身再继承FeatureExtractionSavingTestMixin。该 mixin 覆盖 save/load 行为、padding、truncation、tensor 转换与通用属性。文档要求的骨架from ...test_sequence_feature_extraction_common import SequenceFeatureExtractionTestMixin class MyModelFeatureExtractionTest(SequenceFeatureExtractionTestMixin, unittest.TestCase): feature_extraction_class MyModelFeatureExtractor def setUp(self): self.feat_extract_tester MyModelFeatureExtractionTester(self)从 mixin 源码 看它通过两个约定驱动全部用例类属性feature_extraction_class指定被测类feat_extract_tester即文档提到的 tester 对象必须提供prepare_feat_extract_dict()构造实例化参数和prepare_inputs_for_common()构建短 dummy 音频输入mixin 用它实例化提取器并组装批量输入。mixin 中具体校验包括test_feat_extract_common_properties断言提取器实例必须具有feature_size、sampling_rate、padding_value三个属性test_batch_feature与test_batch_feature_ptPyTorch 版本验证批量特征形状为(batch_size, 序列长, feature_size)。这解释了为什么骨架示例中三个参数必须显式传给super().__init__——它们是通用测试的硬性前提。补充模型专属的聚焦测试mixin 不了解你的模型特有逻辑文档建议额外补充__call__返回的特征形状检查传入错误sampling_rate必须抛错对应前文的校验规则;自定义归一化或特征计算的数值检查例如逐频段 mean/stddev 归一化是否按预期生效。如果模型还有 Processortest_processing 用例若模型还有一个包装特征提取器的ProcessorMixin组件需另建tests/models/model_name/test_processing_model_name.py并继承ProcessorTesterMixin定义于 test_processing_common.py。要点设置processor_class对无法无参构造的组件重写_setup_component()类方法。例如特征提取器常要求显式sampling_ratefrom ...test_processing_common import ProcessorTesterMixin class MyModelProcessorTest(ProcessorTesterMixin, unittest.TestCase): processor_class MyModelProcessor classmethod def _setup_feature_extractor(cls): return cls._get_component_class_from_processor(feature_extractor)(sampling_rate16000) classmethod def _setup_test_attributes(cls, processor): cls.audio_token getattr(processor, audio_token, )用_setup_test_attributes()暴露通用 processor 测试所需的占位 token如上例的audio_token。仓库中 test_processing_gemma4.py 是可直接参考的真实用例。延伸阅读Auto-generating docstrings使用auto_docstring自动生成一致的 docstringFeature extractors面向用户的预处理行为说明。适用前提本文流程基于当前仓库的目录结构与注册机制src/transformers/models/model/、auto_mappings.py集中式映射表、_LazyModule懒加载。若你面对的是其他版本映射表的具体位置可能仍在feature_extraction_auto.py内但实现 → 导出 → 映射注册 → Mixin 测试的四步主干不变。【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Transformers 音频模型开发实战：Feature Extractor 的实现、注册与测试全流程
Transformers 音频模型开发实战Feature Extractor 的实现、注册与测试全流程【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers本文为 Hugging Face Transformers 中音频模型Audio Models开发者编写的技术指南聚焦 add_audio_processing_components.md 文档的完整工作流如何为消费原始音频的模型编写SequenceFeatureExtractor子类、通过FEATURE_EXTRACTOR_MAPPING_NAMES注册到AutoFeatureExtractor入口以及使用通用测试 Mixin 建立完整测试覆盖。读完后你可以独立完成一个新音频模型从特征提取器实现、序列化保存、Auto 注册到 CI 级测试验证的全链路开发。音频模型为什么必须配一个 Feature Extractor音频模型语音识别、音频理解等与文本模型不同模型前向传播无法直接消费原始波形而是依赖一个特征提取器Feature Extractor将原始音频raw speech转换为模型可接受的数值特征如 log-mel 频谱图。在 Transformers 的架构中这个组件必须暴露在一个统一的入口后面Audio models require a feature extractor which is accessible behind theAutoFeatureExtractorentry point.这意味着开发者交付一个音频模型时除了模型与配置这两步请先遵循 modular 开发指南 完成还需要交付第三类组件feature_extraction_model_name.py。本文按实现 → 注册 → 测试的顺序拆解完整流程并结合当前仓库中Gemma4AudioFeatureExtractor的真实实现补充参数细节。实现 Feature Extractor继承 SequenceFeatureExtractor基本骨架在模型目录src/transformers/models/model_name/下创建feature_extraction_model_name.py继承 SequenceFeatureExtractor。选择这个基类的原因是新的类会直接获得共享的 padding、truncation、保存与加载行为这些逻辑都由基类统一实现子类只需聚焦于从原始音频到模型特征这一核心变换。文档给出的最小骨架如下from ...feature_extraction_sequence_utils import SequenceFeatureExtractor class MyModelFeatureExtractor(SequenceFeatureExtractor): model_input_names [input_features, attention_mask] def __init__(self, feature_size80, sampling_rate16000, padding_value0.0, **kwargs): super().__init__(feature_sizefeature_size, sampling_ratesampling_rate, padding_valuepadding_value, **kwargs) def __call__(self, raw_speech, sampling_rateNone, **kwargs): if sampling_rate is not None and sampling_rate ! self.sampling_rate: raise ValueError(fsampling_rate must be {self.sampling_rate}, but got {sampling_rate}.) # Convert raw_speech to model features here. ...从 SequenceFeatureExtractor 源码 看基类构造函数接收三个必传参数并全部存为实例属性同时从kwargs中提取两个常用开关参数类型说明默认行为feature_sizeint提取特征的维度如 mel 频段数量无默认必须传入sampling_rateint音频期望的采样率Hz无默认必须传入padding_valuefloatpadding 填充值通常对应静音无默认必须传入padding_sidestrpadding 方向rightreturn_attention_maskbool是否默认返回 attention maskTrue继承还附带了完整的pad()方法见 pad 方法定义支持paddinglongest/max_length/False、max_length、truncation、pad_to_multiple_of对 NVIDIA Tensor Core 与 TPU 对齐尤其有用等参数并且可以作为 PyTorch DataLoader 的collate_fn使用——这解释了为什么基类要求传入的BatchFeature中必须包含model_input_names[0]指定的主输入名padding 逻辑依赖它来确定批量序列的对齐基准。构造函数原则小而可序列化文档明确要求保持构造函数小而可序列化small and serializable。具体规则每一个复现预处理所必需的值都要存为实例属性因为它们会被序列化进预处理配置文件避免存储仅运行时需要的值例如打开的文件句柄、设备对象device、解码后的音频数组。这一点在 FeatureExtractionMixin 中有对应的机制支撑from_pretrained定义位置从 JSON 配置文件按__init__签名实例化对象save_pretrained定义位置则把实例属性写回配置。存了不可 JSON 序列化的值保存时就会失败或丢失状态。__call__必须校验采样率而非静默重采样__call__方法承担原始音频到模型特征的转换文档强调了一条容易踩坑的规则当用户传入sampling_rate且与模型期望采样率不一致时抛出错误而不是静默重采样。静默重采样会导致特征与预训练权重失配却无任何提示因此骨架中直接raise ValueError。这是音频特征提取器测试中会专门覆盖的行为见后文测试章节。保存通过转换脚本调用 save_pretrained不要手写配置保存特征提取器时正确做法是在模型转换脚本中实例化它并调用save_pretrained不要把预处理配置文件手动创建或编辑进 checkpoint序列化内容应与__init__参数一一对应保证from_pretrained能无损还原。深度参考Gemma4AudioFeatureExtractor 的完整参数与流程文档给出的官方参考实现是 Gemma4AudioFeatureExtractor它是SequenceFeatureExtractor的一个生产级范例值得逐个细节拆解。输入契约model_input_names [input_features, input_features_mask]——它输出的主特征是 mel 频谱图辅特征是帧级有效性掩码而非简单的样本级 attention mask。完整构造参数表源码定义参数默认值作用feature_size128mel 频段数sampling_rate16000期望采样率padding_value0.0padding 填充值对应静音return_attention_maskTrue是否返回 attention maskframe_length_ms20.0STFT 帧长毫秒hop_length_ms10.0帧移毫秒min_frequency/max_frequency0.0/8000.0mel filterbank 的频率范围preemphasis0.0预加重系数preemphasis_htk_flavorTrue是否使用 HTK 风格预加重fft_overdriveFalse是否将 FFT 长度翻倍过驱动dither0.0高斯去抖噪声系数如0.0001input_scale_factor1.0输入波形缩放因子mel_floor0.001log 下限避免log(0)per_bin_mean/per_bin_stddevNone逐频段归一化的均值/标准差值得注意的实现细节构造函数里会预计算frame_length、hop_length、Hann 窗self.window和 mel filterbank 矩阵self.mel_filters见 初始化代码。窗与滤波器是纯由构造参数推导出的常量序列化后依然可复现符合小而可序列化的原则而fft_length则由frame_length向上取 2 的幂得到fft_overdrive时再翻倍。__call__的完整处理管线源码展示了先借基类做对齐、再逐样本做特征变换的典型模式批处理归一化把单条/多条音频统一成list[np.ndarray]的批量形式is_batched_numpy/is_batched_sequence判断委托基类 pad调用self.pad(BatchFeature({input_features: raw_speech}), ...)其默认参数是paddinglongest、max_length480_000约 30 秒 16kHz 音频、truncationTrue、pad_to_multiple_of128注释标明该默认值为最优 TPU 支持而设逐样本 mel 提取_extract_spectrogram实现依次执行可选 dither → 输入缩放 → 半因果时间 padding前置frame_length // 2个零使第一帧以 t0 为中心→ 帧化_unfold→ HTK/常规预加重 → 加窗 →np.fft.rfft→ 幅度谱乘 mel filterbank →log(mel mel_floor)→ 可选的逐频段(x - mean) / stddev归一化帧感知掩码一帧 mel 有效当且仅当其分析窗内全部样本是真实音频通过检查每帧窗口最后一个样本对应的 attention mask 得到mask最终输出BatchFeature({input_features: ..., input_features_mask: ...})。该实现还有一个值得警惕的注释其加窗与预加重算法与transformers.audio_utils.spectrogram()不同会导致不同的输出结果。选择音频特征提取器尤其是配预训练模型时要慎重。注册类从模型包导出到 AutoFeatureExtractor 可达实现完成后还有两步注册工作缺一不可。第一步在模型包__init__.py中导出新类要从模型包的__init__.py暴露出来。文档要求遵循相邻模型使用的懒加载lazy import模式并用该类所依赖的相同可选依赖对导入做保护。当前仓库的实际模式见 gemma4 包的init.pyif TYPE_CHECKING: from .configuration_gemma4 import * from .feature_extraction_gemma4 import * from .modeling_gemma4 import * from .processing_gemma4 import * # ... else: import sys _file globals()[__file__] sys.modules[__name__] _LazyModule(__name__, _file, define_import_structure(_file), module_spec__spec__)即类型检查场景下静态导入全部模块运行时用_LazyModuledefine_import_structure扫描文件并构建延迟导入结构。新类只需存在于被import *覆盖的模块中例如模块底部的__all__即可被自动纳入懒加载结构。第二步在 FEATURE_EXTRACTOR_MAPPING_NAMES 中建立映射文档说明把新类映射到模型 config使AutoFeatureExtractor能加载它——在 feature_extraction_auto.py 的FEATURE_EXTRACTOR_MAPPING_NAMES中添加一条目格式与相邻条目一致然后确认 model type 出现在该表中。需要说明当前仓库的一个实现细节文档指向的文件feature_extraction_auto.py如今主要负责AutoFeatureExtractor类与加载逻辑而映射表本体已集中在 auto_mappings.py 中定义并导入使用from .auto_mappings import FEATURE_EXTRACTOR_MAPPING_NAMES见 导入语句。以gemma4为例对应条目为(gemma4, Gemma4AudioFeatureExtractor), (gemma4_unified, Gemma4UnifiedAudioFeatureExtractor),见 auto_mappings.py 中的条目。另外feature_extraction_auto.py中还有一张MISSING_FEATURE_EXTRACTOR_MAPPING_NAMES表定义位置用于那些复用已有特征提取器的模型例如(qwen2_audio, WhisperFeatureExtractor), (wavlm, Waw2Vec2FeatureExtractor),如果你的新模型不需要全新特征提取逻辑而可以直接复用如WhisperFeatureExtractor走这张表即可无需新建提取器类。测试用通用 Mixin 覆盖共性用聚焦用例覆盖个性在模型测试目录中为每个音频处理组件添加测试。特征提取器测试的约定位置是tests/models/model_name/test_feature_extraction_model_name.py。继承 SequenceFeatureExtractionTestMixin对继承SequenceFeatureExtractor的提取器测试类应继承SequenceFeatureExtractionTestMixin它本身再继承FeatureExtractionSavingTestMixin。该 mixin 覆盖 save/load 行为、padding、truncation、tensor 转换与通用属性。文档要求的骨架from ...test_sequence_feature_extraction_common import SequenceFeatureExtractionTestMixin class MyModelFeatureExtractionTest(SequenceFeatureExtractionTestMixin, unittest.TestCase): feature_extraction_class MyModelFeatureExtractor def setUp(self): self.feat_extract_tester MyModelFeatureExtractionTester(self)从 mixin 源码 看它通过两个约定驱动全部用例类属性feature_extraction_class指定被测类feat_extract_tester即文档提到的 tester 对象必须提供prepare_feat_extract_dict()构造实例化参数和prepare_inputs_for_common()构建短 dummy 音频输入mixin 用它实例化提取器并组装批量输入。mixin 中具体校验包括test_feat_extract_common_properties断言提取器实例必须具有feature_size、sampling_rate、padding_value三个属性test_batch_feature与test_batch_feature_ptPyTorch 版本验证批量特征形状为(batch_size, 序列长, feature_size)。这解释了为什么骨架示例中三个参数必须显式传给super().__init__——它们是通用测试的硬性前提。补充模型专属的聚焦测试mixin 不了解你的模型特有逻辑文档建议额外补充__call__返回的特征形状检查传入错误sampling_rate必须抛错对应前文的校验规则;自定义归一化或特征计算的数值检查例如逐频段 mean/stddev 归一化是否按预期生效。如果模型还有 Processortest_processing 用例若模型还有一个包装特征提取器的ProcessorMixin组件需另建tests/models/model_name/test_processing_model_name.py并继承ProcessorTesterMixin定义于 test_processing_common.py。要点设置processor_class对无法无参构造的组件重写_setup_component()类方法。例如特征提取器常要求显式sampling_ratefrom ...test_processing_common import ProcessorTesterMixin class MyModelProcessorTest(ProcessorTesterMixin, unittest.TestCase): processor_class MyModelProcessor classmethod def _setup_feature_extractor(cls): return cls._get_component_class_from_processor(feature_extractor)(sampling_rate16000) classmethod def _setup_test_attributes(cls, processor): cls.audio_token getattr(processor, audio_token, )用_setup_test_attributes()暴露通用 processor 测试所需的占位 token如上例的audio_token。仓库中 test_processing_gemma4.py 是可直接参考的真实用例。延伸阅读Auto-generating docstrings使用auto_docstring自动生成一致的 docstringFeature extractors面向用户的预处理行为说明。适用前提本文流程基于当前仓库的目录结构与注册机制src/transformers/models/model/、auto_mappings.py集中式映射表、_LazyModule懒加载。若你面对的是其他版本映射表的具体位置可能仍在feature_extraction_auto.py内但实现 → 导出 → 映射注册 → Mixin 测试的四步主干不变。【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
