单机多GPU利用率最大化Distributed-TensorFlow-Guide中Worker的GPU分配实战教程【免费下载链接】Distributed-TensorFlow-GuideDistributed TensorFlow basics and examples of training algorithms项目地址: https://gitcode.com/gh_mirrors/di/Distributed-TensorFlow-GuideDistributed-TensorFlow-Guide 是一个 TensorFlow 分布式训练实战示例合集。本文以其中的「单机多GPU」示例为切入点用 3 步带你把每块 GPU 精确分配给各自的 Worker最大化 GPU 利用率快速吃透 TensorFlow 分布式训练中的数据并行between-graph replication核心机制。 为什么单机多GPU是分布式训练的最佳入口TensorFlow 分布式集群通常分为两种角色参数服务器Parameter Server保存全局模型参数接收各 Worker 的梯度并负责更新Worker在本地执行计算图只算前向/反向把梯度推给参数服务器这种架构即「数据并行」多个 Worker 各领一块数据并行计算再与参数服务器同步。在单机多卡上让每个 Worker 独占一块 GPU——物理拓扑不变、代码与多机集群完全一致是体验分布式训练成本最低的路径。 先认识项目中的关键路径资料路径说明单机多GPU示例Multiple-GPUs-Single-Machine/本文主角主训练脚本dist_mult_gpu_sing_mach.py定义 1 PS 2 Worker 集群启动脚本dist_mult_gpu_sing_mach.shGPU 分配全靠它单卡分布式入门Distributed-Setup/1 PS 1 Worker 基础版概念教程Basics-Tutorial/Server、参数服务器等 Notebook 三步快速上手第一步安装环境并获取项目项目要求Python 2.7与TensorFlow 1.2TF1 风格 API安装完成后克隆git clone https://gitcode.com/gh_mirrors/di/Distributed-TensorFlow-Guide第二步理解 GPU 分配的核心技巧很多人以为「让 Worker 用指定 GPU」需要大改代码其实只需环境变量CUDA_VISIBLE_DEVICESexport CUDA_VISIBLE_DEVICES-1 # 参数服务器屏蔽所有GPU跑在CPU export CUDA_VISIBLE_DEVICES0 # Worker 0只看得见物理GPU 0 export CUDA_VISIBLE_DEVICES1 # Worker 1只看得见物理GPU 1每个进程只「看见」自己那块 GPU且进程内统一编号为gpu:0所以模型代码里始终写with tf.device(/gpu:0)即可Worker 与 GPU 自然一一绑定。完整的启动脚本 dist_mult_gpu_sing_mach.sh 总共就这几行#!/bin/bash export CUDA_VISIBLE_DEVICES-1 python dist_mult_gpu_sing_mach.py --job_name ps --task_index 0 export CUDA_VISIBLE_DEVICES0 python dist_mult_gpu_sing_mach.py --job_name worker --task_index 0 export CUDA_VISIBLE_DEVICES1 python dist_mult_gpu_sing_mach.py --job_name worker --task_index 1 三个关键细节--task_index必须与 GPU 编号对应Worker 0 配 GPU 0、Worker 1 配 GPU 1配错会让多个 Worker 挤在同一块卡上集群定义在 dist_mult_gpu_sing_mach.py1 个 PS2222 端口 2 个 Worker2223/2224 端口全部跑在 localhost参数服务器被固定到/cpu:0避免抢占显存第三步一键启动与停止cd Multiple-GPUs-Single-Machine/ bash dist_mult_gpu_sing_mach.sh训练期间用nvidia-smi可看到两块 GPU 上各有一个 python 进程。注意Worker 结束后参数服务器进程仍会继续运行需手动清理sudo pkill python⚙️ 最大化GPU利用率的4个关键配置示例的 dist_mult_gpu_sing_mach.py 在会话配置中还有一层「双保险」gpu_options tf.GPUOptions(allow_growthTrue, allocator_typeBFC, visible_device_list%d % FLAGS.task_index) config tf.ConfigProto(gpu_optionsgpu_options, allow_soft_placementTrue)四个配置各有分工配置作用allow_growthTrue按需申请显存不再一次性占满整块卡allocator_typeBFC使用 BFC 内存块分配器减少显存碎片visible_device_list在 TF 层面按task_index再限一次可见 GPUallow_soft_placement设备缺失时静默改放其他设备避免直接崩溃⚠️ Worker GPU 分配的常见坑与最佳实践别让 PS 跑在 GPU 上参数存储以内存为主PS 固定在 CPU 能把显存全部留给 Workertask_index是分配的唯一事实来源环境变量与visible_device_list都必须和它一致这是最容易配错的一步端口冲突时示例固定使用 2222~2224 端口被占用就同步修改集群定义先跑通基础版不熟悉 PS/Worker 模型时先运行 Distributed-Setup/dist_setup.pyCPU 版或阅读 Basics-Tutorial/ 里的 Notebook 建立直观认识 进阶从单机走向多机跑通本示例后项目内还有更多分布式算法可直接迁移只需把 localhost 端口换成真实机器 IPHogWild/异步 SGD经典 HogWild 算法DOWNPOUR/本地周期性更新 AdagradSynchronous-SGD/同步 SGD还演示了不同学习率小结单机多GPU训练的核心就一句话用CUDA_VISIBLE_DEVICES按进程隔离物理 GPU统一编号为gpu:0再与task_index精确绑定。配合allow_growth与 BFC 分配器几行 shell 脚本即可让每块 GPU 的利用率最大化并完整体验 TensorFlow 分布式训练的工作流。【免费下载链接】Distributed-TensorFlow-GuideDistributed TensorFlow basics and examples of training algorithms项目地址: https://gitcode.com/gh_mirrors/di/Distributed-TensorFlow-Guide创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考