当前位置: 首页 > news >正文

【Azure Batch】使用Start Task来挂载Storage Blob

问题描述

本文将介绍如何使用开始任务(Start Task)为Batch Account Node配置Storage Account Blob挂载

 

问题解答

第一步:准备 blobfuse2 mount的配置文件

这里参考的是文档How to configure settings for BlobFuse2 (https://learn.microsoft.com/en-us/azure/storage/blobs/blobfuse2-configuration)中介绍的最简单的配置模板。

 

简单模板如下:

logging:type: sysloglevel: log_debugcomponents:- libfuse- file_cache- attr_cache- azstoragelibfuse:attribute-expiration-sec: 120entry-expiration-sec: 120negative-entry-expiration-sec: 240file_cache:path: /mycontainertimeout-sec: 120max-size-mb: 4096attr_cache:timeout-sec: 7200azstorage:type: blockaccount-name: <your storage account name>account-key: <your storage account access key>mode: keycontainer: forbatchendpoint: https://<your storage account name>.blob.core.chinacloudapi.cn

PS:关于模板中参数的意义,可以参考文档中的详细介绍。

 

第二步:准备Batch Account Node的Start Task 脚本

脚本内容

/bin/bash -c "apt-get update && apt-get install -y blobfuse2 &&  cd /mnt/batch/tasks/fsmounts  &&  mkdir /mnt/batch/tasks/fsmounts/mycontainerblob  &&  sudo blobfuse2 mount  /mnt/batch/tasks/fsmounts/mycontainerblob  --config-file=$AZ_BATCH_NODE_STARTUP_DIR/wd/mountconfig.yaml

脚本介绍

1) 因为Batch Account的节点为Linux系统,所以第一步更新系统apt-get,确保最新版本

2) apt-get install -y blobfuse2 : 自动安装 blobfuse2,这是azure提供的工具,用于将blob挂载为本地系统文件

3) cd /mnt/batch/tasks/fsmounts : 切换到 Azure Batch 的挂载目录。

4) mkdir /mnt/batch/tasks/fsmounts/mycontainerblob 创建一个用于挂载 Blob 容器的本地目录。 mycontainerblob 是挂载点的名称,可以根据实际容器名称修改。

5) sudo blobfuse2 mount /mnt/batch/tasks/fsmounts/mycontainerblob --config-file=$AZ_BATCH_NODE_STARTUP_DIR/wd/mountconfig.yaml : 使用 BlobFuse2 挂载 Azure Blob 容器到刚创建的目录。 --config-file 指定了一个 YAML 配置文件,包含连接字符串、容器名称、缓存设置等。 $AZ_BATCH_NODE_STARTUP_DIR/wd/ 是 Azure Batch 节点启动任务的工作目录,mountconfig.yaml 是第一步时准备好的配置文件。

6)  &&  : 用于连接前后两个命令。特别注意,两个命令之间必须使用 && 连接字符

 

第三步:把启动命令和配置文件填入Node Start Task页面

因命令中有安装/创建操作,所以需要提升权限为 Pool autouser, Admin权限。

此外,第二步中的config-file的文件路径就是下图中的 Resource Files。需要特别注意的就是,正确的工作目录为 $AZ_BATCH_NODE_STARTUP_DIR/wd/ , 需要多加一级 /wd/

image

 保存,等待节点创建完成后就可以正常使用挂载目录,把文件直接写入到Storage Blob中。

 

参考资料

How to configure settings for BlobFuse2 : https://learn.microsoft.com/en-us/azure/storage/blobs/blobfuse2-configuration

在 Batch 池上装载虚拟文件系统: https://docs.azure.cn/zh-cn/batch/virtual-file-mount?tabs=windows

http://www.zskr.cn/news/9885.html

相关文章:

  • HP notebook set your key to action key /multimedia key
  • newDay01
  • 2025.9.22总结 - A
  • 实用指南:GESP三级考纲+三级考试知识点详解
  • 2025年华为杯C题|围岩裂隙精准识别与三维模型重构|思路、代码、论文|持续更新中.... - 实践
  • 下载了idea
  • hbase学习——创建springboot+hbase项目
  • 2025.9.19 总结
  • [PaperReading] Mind Search: Mimicking Human Minds Elicits Deep AI Searcher
  • 01 Tasking IDE软件安装及新建工程
  • 能碳园区 / 工厂系统 - 智慧园区
  • 代码随想录算法训练营第五天 |242.有效的字母异位词、349. 两个数组的交集、第202题. 快乐数、1. 两数之和
  • 无意中在应用层瞥见了一个微内核的操作系统调度器
  • 9.22模拟赛总结
  • 莫队 n的序列,多次查询一段区间内的数字的个数
  • 2- 不知道自己现在做的对不对,有没有浪费掉自己的才华 也许自己是一个天才马术 但是没有资源只能 这样
  • k8s系列--容器生命周期
  • 学生管理系统案例初步分析报告
  • 9月22号
  • 题解:AT_agc052_c [AGC052C] Nondivisible Prefix Sums
  • 2025年9月22日 - 20243867孙堃2405
  • 二进制 - 20243867孙堃2405
  • 如何让AI生成多页面APP原型图?AI原型设计实用指南
  • 代码随想录算法训练营第五天 | leetcode 242 349 202 1
  • 原码补码反码与位操作
  • 特殊句式
  • RAG系统嵌入模型怎么选?选型策略和踩坑指南
  • (应该写的比较清晰)D2. Max Sum OR (Hard Version)
  • Linux运维
  • day001