Horovod on TonY：如何在Hadoop集群上实现高效分布式训练

【免费下载链接】TonYTonY is a framework to natively run deep learning frameworks on Apache Hadoop.项目地址: https://gitcode.com/gh_mirrors/to/TonY

什么是TonY与Horovod？

TonY是一个能让深度学习框架原生运行在Apache Hadoop上的框架，而Horovod则是一款旨在简化单机训练脚本扩展到多GPU并行训练的工具。将Horovod与TonY结合，可以充分利用Hadoop集群资源进行大规模分布式训练，解决传统SSH机制在Yarn环境下的局限性。

TonY架构与分布式训练原理

TonY的架构设计为分布式训练提供了坚实基础。其核心组件包括TonyClient、Resource Manager、TonyAM（Application Master）和多个Task Executor。TonyAM负责组装集群规范并管理Task Executor的生命周期，而Task Executor则负责启动实际的训练任务。

图：TonY架构展示了从客户端提交到任务执行的完整流程，支持参数服务器（PS）和Worker节点的协同工作

为什么选择Horovod on TonY？

1. 无缝集成Hadoop生态：直接利用YARN资源管理器，无需额外配置独立集群
2. 高效通信机制：通过Gloo控制器替代SSH，解决YARN环境下的通信难题
3. 简化扩展流程：保留Horovod的易用性，单GPU脚本无需大幅修改即可分布式运行
4. 资源弹性调度：借助Hadoop的资源管理能力，实现动态资源分配

快速上手：Horovod on TonY部署步骤

环境准备

• Hadoop 3.1.1+集群（仅需YARN，HDFS可选）
• 包含TF2.x和Horovod 0.21.3+的Docker镜像
• TonY源码环境（tony-examples/horovod-on-tony/）

构建Docker镜像

FROM ${YOUR_BASIC_HADOOP_CONTAINER_IMAGE} RUN pip3 install tensorflow==2.4.1 \ && HOROVOD_WITH_GLOO=1 HOROVOD_WITH_TENSORFLOW=1 pip3 install horovod[tensorflow]

构建并推送镜像：

docker build -t docker.io/bigdata/horovod-test-1:v1 . docker push docker.io/bigdata/horovod-test-1:v1

配置TonY作业文件

创建tony-test.xml配置文件，指定框架类型、资源需求和Docker镜像：

图：典型的TonY作业配置文件示例，包含容器资源、Python命令和HDFS路径设置

核心配置项：

<configuration> <property> <name>tony.worker.instances</name> <value>4</value> </property> <property> <name>tony.worker.memory</name> <value>3g</value> </property> <property> <name>tony.docker.enabled</name> <value>true</value> </property> <property> <name>tony.docker.containers.image</name> <value>docker.io/bigdata/horovod-test-1:v1</value> </property> <property> <name>tony.application.framework</name> <value>horovod</value> </property> </configuration>

提交训练作业

# 构建TonY CLI gradlew :tony-cli:build # 提交作业 java -cp `hadoop classpath`:/path/to/TonY/tony-cli/build/libs/tony-cli-x.x.x-all.jar com.linkedin.tony.cli.ClusterSubmitter \ --src_dir=/path/to/TonY/tony-examples/horovod-on-tony \ --executes=tensorflow2_mnist.py \ --conf_file=/path/to/tony-test.xml \ --python_binary_path=python3

高级配置：Horovod驱动调试模式

对于需要自定义驱动行为或调试的场景，可以启用Horovod驱动调试模式：

<property> <name>tony.horovod.driver.mode.debug</name> <value>true</value> </property> <property> <name>tony.driver.command</name> <value>python horovod_debug_driver.py -t -p 9999</value> </property>

此模式允许指定自定义驱动脚本（如horovod_debug_driver.py），实现更灵活的集群配置和日志收集。

常见问题解决

• 资源分配不足：调整tony.worker.memory和tony.worker.instances参数
• 镜像拉取失败：确保Docker镜像可被所有NodeManager访问
• 版本兼容性：使用Horovod 0.21.3+版本以支持Gloo控制器
• 网络超时：通过HOROVOD_GLOO_TIMEOUT_SECONDS环境变量延长超时时间

总结

Horovod on TonY为企业级深度学习训练提供了强大的解决方案，通过将Horovod的分布式训练能力与Hadoop的资源管理优势相结合，实现了简单高效的大规模模型训练。无论是初学者还是资深用户，都能通过本文介绍的方法快速部署和使用这一强大工具。

想要了解更多细节，可以参考官方文档：docs/proposals/horovod-on-tony.md 和示例代码：tony-examples/horovod-on-tony/。

通过Horovod on TonY，让您的Hadoop集群焕发新的活力，轻松应对深度学习时代的计算挑战！🚀

【免费下载链接】TonYTonY is a framework to natively run deep learning frameworks on Apache Hadoop.项目地址: https://gitcode.com/gh_mirrors/to/TonY