fairseq Hydra 配置集成深度指南从 argparse 到结构化 Dataclass 与 YAML 分层配置【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm本文以 kosmos-2/fairseq 内嵌的 fairseq 代码库为依托系统讲解 fairseq 的 Hydra 集成方案为什么 fairseq 要从共享args命名空间迁移到基于 Python dataclass 的结构化配置如何为任务、模型、Tokenizer 等组件编写与注册配置 dataclass以及如何使用fairseq-hydra-train入口通过命令行覆盖、外部 YAML 配置与扩展配置目录三种方式完成训练配置。读完本文你将掌握 fairseq 新一代配置体系的完整脉络并能独立将自定义组件迁移到 Hydra 配置模型下。背景为什么 fairseq 需要引入 HydraHydra 是一个开源的 Python 框架核心特性是通过配置文件的组合composition动态创建层级化配置并允许通过配置文件与命令行对配置进行覆盖override。其名称源于它像九头蛇Hydra一样能够同时运行多个相似任务——例如超参数扫描。在引入 Hydra 之前fairseq 的所有组件都通过一个在应用启动时创建的共享args命名空间来配置。每个组件声明自己的add_args方法向 argparse 解析器追加参数并寄希望于参数名不与其它组件的参数冲突。这种模式在小型应用中尚可运转但随着 fairseq 不断成长并被集成进其它应用问题逐渐暴露要搞清楚某个组件如何配置必须先查看该组件添加了哪些参数还要阅读代码弄清楚它使用了哪些在别处添加的共享参数复现一个模型往往需要分享包含几十个命令行开关的完整命令可读性与可维护性都很差。这种旧的 argparse 模型目前仍被 fairseq 支持以保持向后兼容但按官方规划将在未来某个时间点被弃用。作为替代fairseq 的新组件应创建一个封装全部配置参数的 dataclass与组件一同注册由 fairseq 负责构造配置对象并将其注入组件构造函数。参数共享仍可选地支持但必须显式指向事实来源见下文继承示例。这使得 fairseq 组件更加独立、可复用创建组件只需初始化其 dataclass 并覆盖部分默认值。配置体系全景从 Dataclass 到 YAML 的层级结构顶层配置 FairseqConfig所有 fairseq 应用都必须存在的顶层配置被集中定义在 kosmos-2/fairseq/fairseq/dataclass/configs.py 中。该文件末尾的FairseqConfig对象聚合了全部顶层命名空间dataclass class FairseqConfig(FairseqDataclass): common: CommonConfig CommonConfig() common_eval: CommonEvalConfig CommonEvalConfig() distributed_training: DistributedTrainingConfig DistributedTrainingConfig() dataset: DatasetConfig DatasetConfig() optimization: OptimizationConfig OptimizationConfig() checkpoint: CheckpointConfig CheckpointConfig() bmuf: FairseqBMUFConfig FairseqBMUFConfig() generation: GenerationConfig GenerationConfig() eval_lm: EvalLMConfig EvalLMConfig() interactive: InteractiveConfig InteractiveConfig() model: Any MISSING task: Any None criterion: Any None optimizer: Any None lr_scheduler: Any None scoring: Any None bpe: Any None tokenizer: Any None ema: EMAConfig EMAConfig()从源码可以看到FairseqConfig中一部分字段是具体 dataclass 实例如common、distributed_training、dataset、optimization、checkpoint、generation另一部分则是Any类型的注册表字段如model、task、criterion、optimizer、lr_scheduler、bpe、tokenizer。注册表字段的默认值在启动时通过add_defaults动态解析Hydra 只知道model...这样的选择项而实际 dataclass 则从对应注册表中按名称查得。配置的组装与注入Hydra 集成有两个关键辅助函数实现在 kosmos-2/fairseq/fairseq/dataclass/initialize.pyhydra_init(cfg_nameconfig)把FairseqConfig及其所有顶层字段注册到 Hydra 的ConfigStoreadd_defaults(cfg)把注册表字段如task、model根据_name从TASK_DATACLASS_REGISTRY、MODEL_DATACLASS_REGISTRY、REGISTRIES中找到对应 dataclass并通过merge_with_parent合并进配置。此外kosmos-2/fairseq/fairseq/dataclass/utils.py 提供了与旧 argparse 体系的桥接能力gen_parser_from_dataclass可以把一个 dataclass 实例转译为 argparse 参数convert_namespace_to_omegaconf能把扁平的argparse.Namespace转换为结构化的DictConfigoverride_module_args则负责将旧命令行参数转换为 Hydra 覆盖项。这正是 fairseq 在新旧两套配置体系之间平滑过渡、并最终淘汰 argparse 的技术基础。顶层 YAML 默认配置与FairseqConfig对应的是 kosmos-2/fairseq/fairseq/config/config.yaml它通过 Hydra 的defaults列表声明了各注册表字段的默认选择# package _group_ hydra: run: dir: . defaults: - _self_ - task: null - model: null - criterion: cross_entropy - optimizer: null - lr_scheduler: fixed - bpe: null - tokenizer: null - scoring: null - generation: null - common_eval: null - eval_lm: null可见默认情况下criterion使用cross_entropy、lr_scheduler使用fixed其余注册表字段默认留空null等待用户在命令行或外部配置中指定。创建或迁移组件为组件编写 Dataclass基本规则每个新增或更新的组件都应提供一个配套的 dataclass。这些 dataclass 通常与组件位于同一文件并作为参数传给register_*()函数。每个 dataclass 都是类似NamedTuple的纯数据对象用dataclass装饰器修饰通常继承自FairseqDataclass该基类为向后兼容提供了一些功能定义在 kosmos-2/fairseq/fairseq/dataclass/configs.py 中的FairseqDataclass类提供_get_default、_get_type、_get_help、_get_choices等元数据访问方法。每个字段必须有类型一般带有元数据如帮助字符串和默认值。字段的数据类型只允许基本类型或其它配置对象。以交互式推理配置InteractiveConfig为例源码中同样出现在 configs.pyfrom dataclasses import dataclass, field from fairseq.dataclass import FairseqDataclass dataclass class InteractiveConfig(FairseqDataclass): buffer_size: int field( default0, metadata{ help: read this many sentences into a buffer before processing them }, ) input: str field( default-, metadata{help: file to read from; use - for stdin}, )继承共享值Interpolation有些组件需要共享同一个值。例如学习率调度器lr scheduler和优化器optimizer可能都需要知道初始学习率。可以声明一个字段默认从同一配置层级中的另一个配置节点继承值dataclass FairseqAdamConfig(FairseqDataclass): ... lr: List[float] II(optimization.lr) ...II(optimization.lr)是${optimization.lr}的语法糖后者是你在 YAML 配置文件或命令行中表达同样效果的写法。注意这假设根配置中存在optimization配置对象且其含有lr字段。在 configs.py 中这一机制被大量使用例如DistributedTrainingConfig中的fp16: bool II(common.fp16)、DatasetConfig中的max_tokens_valid: Optional[int] II(dataset.max_tokens)、CheckpointConfig中的model_parallel_size: int II(common.model_parallel_size)等都属于跨节点共享配置值的典型应用。Tasks 与 Models创建 Task 和 Model 的方式与以前基本相同区别在于旧实现现在继承自LegacyFairseq*基类而新组件继承自FairseqTask和FairseqModel并向register_*()函数提供 dataclass。Task 示例dataclass class LanguageModelingConfig(FairseqDataclass): data: Optional[str] field( defaultNone, metadata{help: path to data directory} ) ... register_task(language_modeling, dataclassLanguageModelingConfig) class LanguageModelingTask(FairseqTask): ... classmethod def setup_task(cls, cfg: LanguageModelingConfig): ...Model 示例dataclass class TransformerLanguageModelConfig(FairseqDataclass): activation_fn: ChoiceEnum(utils.get_available_activation_fns()) field( defaultrelu, metadata{help: activation function to use} ) dropout: float field(default0.1, metadata{help: dropout probability}) ... register_model(transformer_lm, dataclassTransformerLanguageModelConfig) class TransformerLanguageModel(FairseqLanguageModel): ... classmethod def build_model(cls, cfg: TransformerLanguageModelConfig, task: FairseqTask): ...注意 Model 配置中的activation_fn使用了ChoiceEnum——这是 fairseq 在 kosmos-2/fairseq/fairseq/dataclass/constants.py 中定义的枚举工具用于把可选项限制在合法取值集合内此例中为所有可用激活函数。其它组件Tokenizer、Criterion 等其它组件的工作方式与以前相同但构造函数现在只接收一个配置 dataclass 参数dataclass class MosesTokenizerConfig(FairseqDataclass): source_lang: str field(defaulten, metadata{help: source language}) ... register_tokenizer(moses, dataclassMosesTokenizerConfig) class MosesTokenizer(object): def __init__(self, cfg: MosesTokenizerConfig): ...如果你要为一批新组件添加新的注册表registry需要把它加入到 configs.py 的FairseqConfig对象中dataclass class FairseqConfig(object): ... my_new_registry: Any None从 initialize.py 的add_defaults可以看出凡是k in REGISTRIES的字段都会通过REGISTRIES[k][dataclass_registry].get(name)自动解析——也就是说新注册表只需在fairseq.registry.REGISTRIES中登记即可自动获得 Hydra 配置解析能力。使用 fairseq-hydra-train 进行训练要充分利用 Hydra 提供的配置灵活性应使用fairseq-hydra-train入口训练新模型。旧版 CLI 工具如fairseq-train在可预见的未来仍会获得支持但最终将被弃用。该入口在 kosmos-2/fairseq/setup.py 中注册实际实现位于 kosmos-2/fairseq/fairseq_cli/hydra_train.py其核心流程是通过hydra.main(config_path..., config_nameconfig)启动Hydra 基于FairseqConfig及各组件 dataclass 的代码内默认值构造层级化配置对象调用add_defaults(cfg)把注册表字段解析为具体组件的 dataclass 并合并默认值依次被 kosmos-2/fairseq/fairseq/config 目录下的 YAML 文件当前只设置少量默认值覆盖再被命令行参数进一步覆盖最终配置经OmegaConf解析后转交给fairseq_cli.train.main完成实际训练并以cfg.checkpoint.best_checkpoint_metric对应的验证指标作为返回值供 Hydra 的 sweeper如 Ax 贝叶斯优化使用。用法一通过命令行覆盖默认值$ fairseq-hydra-train \ distributed_training.distributed_world_size1 \ dataset.batch_size2 \ task.datadata-bin \ modeltransformer_lm/transformer_lm_gpt \ tasklanguage_modeling \ optimization.max_update5000注意除了显式给出dataset.batch_size等参数值之外modeltransformer_lm/transformer_lm_gpt还告诉 Hydra 将 kosmos-2/fairseq/fairseq/config/model/transformer_lm/transformer_lm_gpt.yaml 中的配置覆盖到 dataclass 默认值之上。该 YAML 定义了 12 层 Transformer 语言模型的具体超参# package _group_ activation_fn: gelu dropout: 0.1 attention_dropout: 0.1 activation_dropout: 0.0 relu_dropout: 0.0 decoder_embed_dim: 768 decoder_output_dim: 768 decoder_input_dim: 768 decoder_ffn_embed_dim: 3072 decoder_layers: 12 decoder_attention_heads: 12 decoder_normalize_before: true no_decoder_final_norm: false adaptive_softmax_cutoff: null adaptive_softmax_dropout: 0 adaptive_softmax_factor: 4 no_token_positional_embeddings: false share_decoder_input_output_embed: false character_embeddings: false character_filters: [(1, 64), (2, 128), (3, 192), (4, 256), (5, 256), (6, 256), (7, 256)] character_embedding_dim: 4 char_embedder_highway_layers: 2 adaptive_input: false adaptive_input_factor: 4 adaptive_input_cutoff: null tie_adaptive_weights: false tie_adaptive_proj: false decoder_learned_pos: false decoder_layerdrop: 0 decoder_layers_to_keep: null layernorm_embedding: false no_scale_embedding: false quant_noise_pq: 0 quant_noise_pq_block_size: 8 quant_noise_scalar: 0如果不想指定具体架构可以直接写modeltransformer_lm仅对已完成迁移的 Task 与 Model 生效。fairseq 内置了多套可选的模型配置均位于 kosmos-2/fairseq/fairseq/config/model 目录下例如transformer_lm_gpt2_small、transformer_lm_gpt2_medium、transformer_lm_gpt2_big、transformer_lm_wiki103、transformer_lm_baevski_wiki103等以及语音领域的wav2vec、wav2vec2系列配置可按需选用或作为自定义配置的起点。用法二用外部配置文件替换内置配置$ fairseq-hydra-train \ --config-dir /path/to/external/configs \ --config-name wiki103其中/path/to/external/configs/wiki103.yaml内容如下# package _group_ model: _name: transformer_lm distributed_training: distributed_world_size: 1 dataset: batch_size: 2 task: _name: language_modeling data: /path/to/data add_bos_token: false max_target_positions: 1024 optimization: max_update: 50000 lr: [ 0.25 ] criterion: cross_entropy optimizer: adam lr_scheduler: _name: cosine此模式下fairseq/config目录中的内置配置不再参与但各 dataclass 的代码默认值仍会生效除非被外部配置覆盖。注意每个注册表字段如model、task、lr_scheduler都需要通过_name指定具体组件名称Hydra 才能把它解析到对应的组件 dataclass。此外可以把配置拆分成目录结构在主配置文件同位置创建以顶层字段命名如model、dataset的子目录把有意义的配置片段放进去例如model/small_transformer_lm.yaml、model/big_transformer_lm.yaml。随后既可以在命令行、主配置的 defaults 中指定也可以用 Hydra 的 sweep 功能一次性启动全部配置变体进行超参数扫描。用法三把外部配置目录加入 Hydra 搜索路径这种用法既保留默认配置包括使用内置配置文件又允许为部分配置项指定自己的 YAML$ fairseq-hydra-train \ distributed_training.distributed_world_size1 \ dataset.batch_size2 \ task.data/path/to/data/ \ modeltransformer_lm/2_layers \ tasklanguage_modeling \ optimization.max_update5000 \ --config-dir /path/to/external/configs其中/path/to/external/configs目录结构如下. -- model | -- transformer_lm | | -- 2_layers.yaml而2_layers.yaml是transformer_lm_gpt.yaml的副本仅把decoder_layers改为 2# package _group_ decoder_layers: 2由于--config-dir将外部目录加入搜索路径modeltransformer_lm/2_layers会优先命中外部2_layers.yaml其中未显式给出的字段仍沿用内置 dataclass 默认值。可以按同样的方式为task、criterion、optimizer、lr_scheduler等其它组件添加自定义配置片段实现内置默认 局部定制的混合配置。小结与迁移建议fairseq 的 Hydra 集成带来三层价值组件解耦每个组件以 dataclass 自描述配置注册即用可被任意其它应用复用配置可组合、可覆盖代码默认值 → 内置 YAML → 外部 YAML → 命令行形成清晰的优先级层级${...}插值支持跨组件共享值生态可扩展借助 Hydra 插件可实现超参数扫描包括基于 Ax 库的贝叶斯优化、跨平台任务分发等能力且fairseq-hydra-train会返回最佳验证指标供 sweeper 使用。对于准备把自定义组件迁移到新体系的开发者建议路径是在组件同文件定义继承FairseqDataclass的配置 dataclass → 在register_*()中绑定 dataclass → 如需新注册表则在FairseqConfig与fairseq.registry.REGISTRIES中登记 → 用fairseq-hydra-train通过model...、task...等选择项验证配置解析。旧版fairseq-train虽然仍可用但新代码应优先面向 Hydra 体系编写以适配 fairseq 未来的演进方向。【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
fairseq Hydra 配置集成深度指南：从 argparse 到结构化 Dataclass 与 YAML 分层配置
fairseq Hydra 配置集成深度指南从 argparse 到结构化 Dataclass 与 YAML 分层配置【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm本文以 kosmos-2/fairseq 内嵌的 fairseq 代码库为依托系统讲解 fairseq 的 Hydra 集成方案为什么 fairseq 要从共享args命名空间迁移到基于 Python dataclass 的结构化配置如何为任务、模型、Tokenizer 等组件编写与注册配置 dataclass以及如何使用fairseq-hydra-train入口通过命令行覆盖、外部 YAML 配置与扩展配置目录三种方式完成训练配置。读完本文你将掌握 fairseq 新一代配置体系的完整脉络并能独立将自定义组件迁移到 Hydra 配置模型下。背景为什么 fairseq 需要引入 HydraHydra 是一个开源的 Python 框架核心特性是通过配置文件的组合composition动态创建层级化配置并允许通过配置文件与命令行对配置进行覆盖override。其名称源于它像九头蛇Hydra一样能够同时运行多个相似任务——例如超参数扫描。在引入 Hydra 之前fairseq 的所有组件都通过一个在应用启动时创建的共享args命名空间来配置。每个组件声明自己的add_args方法向 argparse 解析器追加参数并寄希望于参数名不与其它组件的参数冲突。这种模式在小型应用中尚可运转但随着 fairseq 不断成长并被集成进其它应用问题逐渐暴露要搞清楚某个组件如何配置必须先查看该组件添加了哪些参数还要阅读代码弄清楚它使用了哪些在别处添加的共享参数复现一个模型往往需要分享包含几十个命令行开关的完整命令可读性与可维护性都很差。这种旧的 argparse 模型目前仍被 fairseq 支持以保持向后兼容但按官方规划将在未来某个时间点被弃用。作为替代fairseq 的新组件应创建一个封装全部配置参数的 dataclass与组件一同注册由 fairseq 负责构造配置对象并将其注入组件构造函数。参数共享仍可选地支持但必须显式指向事实来源见下文继承示例。这使得 fairseq 组件更加独立、可复用创建组件只需初始化其 dataclass 并覆盖部分默认值。配置体系全景从 Dataclass 到 YAML 的层级结构顶层配置 FairseqConfig所有 fairseq 应用都必须存在的顶层配置被集中定义在 kosmos-2/fairseq/fairseq/dataclass/configs.py 中。该文件末尾的FairseqConfig对象聚合了全部顶层命名空间dataclass class FairseqConfig(FairseqDataclass): common: CommonConfig CommonConfig() common_eval: CommonEvalConfig CommonEvalConfig() distributed_training: DistributedTrainingConfig DistributedTrainingConfig() dataset: DatasetConfig DatasetConfig() optimization: OptimizationConfig OptimizationConfig() checkpoint: CheckpointConfig CheckpointConfig() bmuf: FairseqBMUFConfig FairseqBMUFConfig() generation: GenerationConfig GenerationConfig() eval_lm: EvalLMConfig EvalLMConfig() interactive: InteractiveConfig InteractiveConfig() model: Any MISSING task: Any None criterion: Any None optimizer: Any None lr_scheduler: Any None scoring: Any None bpe: Any None tokenizer: Any None ema: EMAConfig EMAConfig()从源码可以看到FairseqConfig中一部分字段是具体 dataclass 实例如common、distributed_training、dataset、optimization、checkpoint、generation另一部分则是Any类型的注册表字段如model、task、criterion、optimizer、lr_scheduler、bpe、tokenizer。注册表字段的默认值在启动时通过add_defaults动态解析Hydra 只知道model...这样的选择项而实际 dataclass 则从对应注册表中按名称查得。配置的组装与注入Hydra 集成有两个关键辅助函数实现在 kosmos-2/fairseq/fairseq/dataclass/initialize.pyhydra_init(cfg_nameconfig)把FairseqConfig及其所有顶层字段注册到 Hydra 的ConfigStoreadd_defaults(cfg)把注册表字段如task、model根据_name从TASK_DATACLASS_REGISTRY、MODEL_DATACLASS_REGISTRY、REGISTRIES中找到对应 dataclass并通过merge_with_parent合并进配置。此外kosmos-2/fairseq/fairseq/dataclass/utils.py 提供了与旧 argparse 体系的桥接能力gen_parser_from_dataclass可以把一个 dataclass 实例转译为 argparse 参数convert_namespace_to_omegaconf能把扁平的argparse.Namespace转换为结构化的DictConfigoverride_module_args则负责将旧命令行参数转换为 Hydra 覆盖项。这正是 fairseq 在新旧两套配置体系之间平滑过渡、并最终淘汰 argparse 的技术基础。顶层 YAML 默认配置与FairseqConfig对应的是 kosmos-2/fairseq/fairseq/config/config.yaml它通过 Hydra 的defaults列表声明了各注册表字段的默认选择# package _group_ hydra: run: dir: . defaults: - _self_ - task: null - model: null - criterion: cross_entropy - optimizer: null - lr_scheduler: fixed - bpe: null - tokenizer: null - scoring: null - generation: null - common_eval: null - eval_lm: null可见默认情况下criterion使用cross_entropy、lr_scheduler使用fixed其余注册表字段默认留空null等待用户在命令行或外部配置中指定。创建或迁移组件为组件编写 Dataclass基本规则每个新增或更新的组件都应提供一个配套的 dataclass。这些 dataclass 通常与组件位于同一文件并作为参数传给register_*()函数。每个 dataclass 都是类似NamedTuple的纯数据对象用dataclass装饰器修饰通常继承自FairseqDataclass该基类为向后兼容提供了一些功能定义在 kosmos-2/fairseq/fairseq/dataclass/configs.py 中的FairseqDataclass类提供_get_default、_get_type、_get_help、_get_choices等元数据访问方法。每个字段必须有类型一般带有元数据如帮助字符串和默认值。字段的数据类型只允许基本类型或其它配置对象。以交互式推理配置InteractiveConfig为例源码中同样出现在 configs.pyfrom dataclasses import dataclass, field from fairseq.dataclass import FairseqDataclass dataclass class InteractiveConfig(FairseqDataclass): buffer_size: int field( default0, metadata{ help: read this many sentences into a buffer before processing them }, ) input: str field( default-, metadata{help: file to read from; use - for stdin}, )继承共享值Interpolation有些组件需要共享同一个值。例如学习率调度器lr scheduler和优化器optimizer可能都需要知道初始学习率。可以声明一个字段默认从同一配置层级中的另一个配置节点继承值dataclass FairseqAdamConfig(FairseqDataclass): ... lr: List[float] II(optimization.lr) ...II(optimization.lr)是${optimization.lr}的语法糖后者是你在 YAML 配置文件或命令行中表达同样效果的写法。注意这假设根配置中存在optimization配置对象且其含有lr字段。在 configs.py 中这一机制被大量使用例如DistributedTrainingConfig中的fp16: bool II(common.fp16)、DatasetConfig中的max_tokens_valid: Optional[int] II(dataset.max_tokens)、CheckpointConfig中的model_parallel_size: int II(common.model_parallel_size)等都属于跨节点共享配置值的典型应用。Tasks 与 Models创建 Task 和 Model 的方式与以前基本相同区别在于旧实现现在继承自LegacyFairseq*基类而新组件继承自FairseqTask和FairseqModel并向register_*()函数提供 dataclass。Task 示例dataclass class LanguageModelingConfig(FairseqDataclass): data: Optional[str] field( defaultNone, metadata{help: path to data directory} ) ... register_task(language_modeling, dataclassLanguageModelingConfig) class LanguageModelingTask(FairseqTask): ... classmethod def setup_task(cls, cfg: LanguageModelingConfig): ...Model 示例dataclass class TransformerLanguageModelConfig(FairseqDataclass): activation_fn: ChoiceEnum(utils.get_available_activation_fns()) field( defaultrelu, metadata{help: activation function to use} ) dropout: float field(default0.1, metadata{help: dropout probability}) ... register_model(transformer_lm, dataclassTransformerLanguageModelConfig) class TransformerLanguageModel(FairseqLanguageModel): ... classmethod def build_model(cls, cfg: TransformerLanguageModelConfig, task: FairseqTask): ...注意 Model 配置中的activation_fn使用了ChoiceEnum——这是 fairseq 在 kosmos-2/fairseq/fairseq/dataclass/constants.py 中定义的枚举工具用于把可选项限制在合法取值集合内此例中为所有可用激活函数。其它组件Tokenizer、Criterion 等其它组件的工作方式与以前相同但构造函数现在只接收一个配置 dataclass 参数dataclass class MosesTokenizerConfig(FairseqDataclass): source_lang: str field(defaulten, metadata{help: source language}) ... register_tokenizer(moses, dataclassMosesTokenizerConfig) class MosesTokenizer(object): def __init__(self, cfg: MosesTokenizerConfig): ...如果你要为一批新组件添加新的注册表registry需要把它加入到 configs.py 的FairseqConfig对象中dataclass class FairseqConfig(object): ... my_new_registry: Any None从 initialize.py 的add_defaults可以看出凡是k in REGISTRIES的字段都会通过REGISTRIES[k][dataclass_registry].get(name)自动解析——也就是说新注册表只需在fairseq.registry.REGISTRIES中登记即可自动获得 Hydra 配置解析能力。使用 fairseq-hydra-train 进行训练要充分利用 Hydra 提供的配置灵活性应使用fairseq-hydra-train入口训练新模型。旧版 CLI 工具如fairseq-train在可预见的未来仍会获得支持但最终将被弃用。该入口在 kosmos-2/fairseq/setup.py 中注册实际实现位于 kosmos-2/fairseq/fairseq_cli/hydra_train.py其核心流程是通过hydra.main(config_path..., config_nameconfig)启动Hydra 基于FairseqConfig及各组件 dataclass 的代码内默认值构造层级化配置对象调用add_defaults(cfg)把注册表字段解析为具体组件的 dataclass 并合并默认值依次被 kosmos-2/fairseq/fairseq/config 目录下的 YAML 文件当前只设置少量默认值覆盖再被命令行参数进一步覆盖最终配置经OmegaConf解析后转交给fairseq_cli.train.main完成实际训练并以cfg.checkpoint.best_checkpoint_metric对应的验证指标作为返回值供 Hydra 的 sweeper如 Ax 贝叶斯优化使用。用法一通过命令行覆盖默认值$ fairseq-hydra-train \ distributed_training.distributed_world_size1 \ dataset.batch_size2 \ task.datadata-bin \ modeltransformer_lm/transformer_lm_gpt \ tasklanguage_modeling \ optimization.max_update5000注意除了显式给出dataset.batch_size等参数值之外modeltransformer_lm/transformer_lm_gpt还告诉 Hydra 将 kosmos-2/fairseq/fairseq/config/model/transformer_lm/transformer_lm_gpt.yaml 中的配置覆盖到 dataclass 默认值之上。该 YAML 定义了 12 层 Transformer 语言模型的具体超参# package _group_ activation_fn: gelu dropout: 0.1 attention_dropout: 0.1 activation_dropout: 0.0 relu_dropout: 0.0 decoder_embed_dim: 768 decoder_output_dim: 768 decoder_input_dim: 768 decoder_ffn_embed_dim: 3072 decoder_layers: 12 decoder_attention_heads: 12 decoder_normalize_before: true no_decoder_final_norm: false adaptive_softmax_cutoff: null adaptive_softmax_dropout: 0 adaptive_softmax_factor: 4 no_token_positional_embeddings: false share_decoder_input_output_embed: false character_embeddings: false character_filters: [(1, 64), (2, 128), (3, 192), (4, 256), (5, 256), (6, 256), (7, 256)] character_embedding_dim: 4 char_embedder_highway_layers: 2 adaptive_input: false adaptive_input_factor: 4 adaptive_input_cutoff: null tie_adaptive_weights: false tie_adaptive_proj: false decoder_learned_pos: false decoder_layerdrop: 0 decoder_layers_to_keep: null layernorm_embedding: false no_scale_embedding: false quant_noise_pq: 0 quant_noise_pq_block_size: 8 quant_noise_scalar: 0如果不想指定具体架构可以直接写modeltransformer_lm仅对已完成迁移的 Task 与 Model 生效。fairseq 内置了多套可选的模型配置均位于 kosmos-2/fairseq/fairseq/config/model 目录下例如transformer_lm_gpt2_small、transformer_lm_gpt2_medium、transformer_lm_gpt2_big、transformer_lm_wiki103、transformer_lm_baevski_wiki103等以及语音领域的wav2vec、wav2vec2系列配置可按需选用或作为自定义配置的起点。用法二用外部配置文件替换内置配置$ fairseq-hydra-train \ --config-dir /path/to/external/configs \ --config-name wiki103其中/path/to/external/configs/wiki103.yaml内容如下# package _group_ model: _name: transformer_lm distributed_training: distributed_world_size: 1 dataset: batch_size: 2 task: _name: language_modeling data: /path/to/data add_bos_token: false max_target_positions: 1024 optimization: max_update: 50000 lr: [ 0.25 ] criterion: cross_entropy optimizer: adam lr_scheduler: _name: cosine此模式下fairseq/config目录中的内置配置不再参与但各 dataclass 的代码默认值仍会生效除非被外部配置覆盖。注意每个注册表字段如model、task、lr_scheduler都需要通过_name指定具体组件名称Hydra 才能把它解析到对应的组件 dataclass。此外可以把配置拆分成目录结构在主配置文件同位置创建以顶层字段命名如model、dataset的子目录把有意义的配置片段放进去例如model/small_transformer_lm.yaml、model/big_transformer_lm.yaml。随后既可以在命令行、主配置的 defaults 中指定也可以用 Hydra 的 sweep 功能一次性启动全部配置变体进行超参数扫描。用法三把外部配置目录加入 Hydra 搜索路径这种用法既保留默认配置包括使用内置配置文件又允许为部分配置项指定自己的 YAML$ fairseq-hydra-train \ distributed_training.distributed_world_size1 \ dataset.batch_size2 \ task.data/path/to/data/ \ modeltransformer_lm/2_layers \ tasklanguage_modeling \ optimization.max_update5000 \ --config-dir /path/to/external/configs其中/path/to/external/configs目录结构如下. -- model | -- transformer_lm | | -- 2_layers.yaml而2_layers.yaml是transformer_lm_gpt.yaml的副本仅把decoder_layers改为 2# package _group_ decoder_layers: 2由于--config-dir将外部目录加入搜索路径modeltransformer_lm/2_layers会优先命中外部2_layers.yaml其中未显式给出的字段仍沿用内置 dataclass 默认值。可以按同样的方式为task、criterion、optimizer、lr_scheduler等其它组件添加自定义配置片段实现内置默认 局部定制的混合配置。小结与迁移建议fairseq 的 Hydra 集成带来三层价值组件解耦每个组件以 dataclass 自描述配置注册即用可被任意其它应用复用配置可组合、可覆盖代码默认值 → 内置 YAML → 外部 YAML → 命令行形成清晰的优先级层级${...}插值支持跨组件共享值生态可扩展借助 Hydra 插件可实现超参数扫描包括基于 Ax 库的贝叶斯优化、跨平台任务分发等能力且fairseq-hydra-train会返回最佳验证指标供 sweeper 使用。对于准备把自定义组件迁移到新体系的开发者建议路径是在组件同文件定义继承FairseqDataclass的配置 dataclass → 在register_*()中绑定 dataclass → 如需新注册表则在FairseqConfig与fairseq.registry.REGISTRIES中登记 → 用fairseq-hydra-train通过model...、task...等选择项验证配置解析。旧版fairseq-train虽然仍可用但新代码应优先面向 Hydra 体系编写以适配 fairseq 未来的演进方向。【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
` 原理及 curr-domain 配置实战)
