当前位置: 首页 > news >正文

HDFS文件系统

HDFS文件系统是hadoop生态系统的核心,主要用于分布式文件存储,它具备高可用,流式读取,文件结构简单,跨平台的特点,它的集群采用的是主从结构,分为命名节点和数据节点,命名节点主要用于元数据管理(例如对目录,文件的创建,数据块与数据节点的关系维护管理)及数据节点管理(例如数据节点之间数据的复制,节点状态的维护,节点间数据的均衡),该文件系统最基本的存储单位是block即数据块,默认大小是64M,这样干有什么好处呢,通过对大数据文件进行块状拆解有利于大化小,进行快速存储,及移动复制。

HDFS由名称节点和数据节点构成,一个集群只有一个名称节点,可以有多个数据节点

名称节点主要用于元数据维护和数据节点管理,它由FsImage(元数据镜像)和EditLog(操作日志)两部分组成。

数据节点主要用于数据的存储和读取,会根据名称节点规划好的位置进行数据的存储,并且定期向名称节点发送自己所存储的块的列表

hdfs存取基本过程:

存:hdfs客户端向命名节点发送写请求,命名节点进行写权限校验(对于同一个hdfs文件,同一个时间只能有一个写入),进行元数据创建,返回FSdata outputstream对象,hdfs客户端接到该对象后,与数据节点交互进行数据写入

读:hdfs客户端向命名节点发送读请求,在目录中查询hdfs文件,返回FSdata inputputstream对象,hdfs客户端接到该对象后,与数据节点交互进行数据读取

hdfs采用传统的目录文件结构,它的操作命令也与Linux的目录文件操作命令相似,例如创建目录:hadoop fs -mkdir /mulu 复制: hadoop fs -cp 查看: hadoop fs ls

上传文件:hadoop fs -put 下载:hadoop fs -get

hdfs也提供了简单易用的java api接口,可以实现上述的命令功能

http://www.zskr.cn/news/30750.html

相关文章:

  • Java 类加载器
  • JAVA RMI编程
  • 大资料毕业设计选题推荐-基于大数据的全球产品库存数据分析与可视化系统-大材料-Spark-Hadoop-Bigdata
  • 字符与Java国际化编程
  • 013的加密世界权威指南_第二部分
  • Redis 持久化 内存模型 - 指南
  • 详细介绍:在不同开发语言与场景下设计模式的使用
  • zr模拟赛day8T2
  • Android下加载libUnreal.so文件
  • 2025 年 10 月不锈钢厨房设备厂家最新推荐,产能、专利、环保三维数据透视
  • DINO版本进化
  • 2025 年 10 月餐饮厨房设备厂家最新推荐,实力品牌深度解析采购无忧之选!
  • 欧拉定理
  • 手把手在 Linux 上安装 Docker 与 Docker Compose(包含 Ubuntu、CentOS 等 11 个发行版)
  • 2025年10月长白山亲子酒店推荐榜:四季主题与温泉度假对比排行
  • 2025年10月工装设计公司推荐榜:全国服务力对比评测
  • 2025年10月法律咨询律所推荐榜:盈科多领域权威排名一览
  • 2025 年 10 月仿石漆厂家最新推荐,专业制造与品牌保障口碑之选
  • 2025年10月防脱生发产品排名榜:术后修复与日常防脱对比
  • Level 0~8 WP
  • 详细介绍:[特殊字符]️ Spring Cloud Eureka 三步通:搭建注册中心 + 服务注册 + 服务发现,通俗易懂!
  • 2025年10月中国办公家具定制公司推荐:口碑排行榜与权威解析
  • 2025年10月中国办公家具定制公司推荐:主流口碑排行榜与避坑指南
  • 芯片落地之道
  • 107.计组--四章
  • 2025 年 10 月铝合金切削液厂家最新推荐,高性能与可靠性兼具的优质品牌
  • 2025 年 10 月硬质合金切削液厂家最新推荐,精准检测与稳定性能深度解析
  • 读AI赋能10助手
  • 深入解析:GESP25年9月编程题解析
  • Anthropic Agent Skills 技术解析与实践