Ubuntu 16.04 环境下 Apache Hive 2.3.9 从零安装与MySQL元数据配置实战-尧图网络科技

1. 项目概述与核心需求解析

最近在整理一个老项目的离线数据仓库，需要在一个相对稳定的Linux环境中部署Hive。考虑到兼容性和社区支持，我选择了Ubuntu 16.04 LTS（代号Xenial Xerus）作为基础系统。虽然现在Ubuntu 24.04都出来了，但16.04 LTS的长期支持要到2026年，对于企业内部一些对稳定性要求极高、且依赖特定老版本Java或Hadoop生态的项目来说，它依然是一个可靠的选择。这次安装Hive，不仅仅是执行几条apt-get命令那么简单，它涉及到Java环境、Hadoop集成、元数据库配置以及一系列路径和权限的细节。如果你也在为大数据分析平台搭建基础环境，或者需要在隔离的测试环境中复现一个经典的Hive服务，那么这篇从零开始的实战记录应该能给你提供一份清晰的“避坑指南”。

整个部署的核心目标是：在一台纯净的Ubuntu 16.04系统上，成功安装并配置一个单机模式（Local Mode）或伪分布式模式的Apache Hive，使其能够正常执行HQL查询，并将元数据存储在外部的MySQL数据库中，而非默认的不稳定的Derby。这样做的目的是为了后续可能的服务化扩展以及元数据的高可用管理打下基础。这个过程会清晰地展示从系统准备、依赖安装、组件配置到服务验证的完整链条。

2. 基础环境准备与关键依赖安装

在开始安装Hive之前，我们必须确保操作系统环境是干净且符合要求的。Ubuntu 16.04默认的软件源可能比较旧，我们首先需要更新系统并安装一些必要的工具。

2.1 系统更新与基础工具安装

首先，通过SSH连接到你的Ubuntu 16.04服务器或虚拟机。建议使用一个具有sudo权限的普通用户进行操作，而非root用户，这更符合生产环境的安全规范。

打开终端，执行系统更新并安装一些后续步骤中不可或缺的工具，如Vim编辑器、网络工具和Java开发工具包。

sudo apt-get update sudo apt-get upgrade -y sudo apt-get install -y vim net-tools curl wget software-properties-common ssh pdsh

这里安装pdsh是为了后续如果需要与Hadoop集群交互时方便进行并行分布式shell操作，即使当前是单机模式，先装上也无妨。software-properties-common则提供了管理软件源仓库的便捷工具。

2.2 Java环境部署：版本选择与配置

Hive的运行强依赖于Java环境。Hive 2.x 和 3.x 通常需要 Java 8。虽然Java 11在某些新版本中也得到了支持，但为了最大程度的兼容性，特别是与老版本的Hadoop配合，我们选择安装OpenJDK 8。

sudo apt-get install -y openjdk-8-jdk

安装完成后，需要配置JAVA_HOME环境变量。这是很多大数据组件寻找Java运行时的基础。

首先，找到Java的安装路径：
```
update-alternatives --config java
```
记下输出结果中的路径，例如/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java。那么JAVA_HOME就应该是其上级目录的上级目录：/usr/lib/jvm/java-8-openjdk-amd64。
编辑全局环境变量配置文件：
```
sudo vim /etc/profile
```
在文件末尾添加以下内容（请根据你实际的路径修改）：
```
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATH
```
使配置立即生效，并验证：
```
source /etc/profile java -version echo $JAVA_HOME
```
如果正确显示Java版本和JAVA_HOME路径，说明配置成功。

注意：很多教程会建议修改~/.bashrc文件，但这只对当前用户生效。修改/etc/profile是对所有用户生效的全局配置，对于服务软件来说更为合适。如果遇到服务启动时找不到Java的情况，检查一下启动脚本的环境变量来源。

2.3 Hadoop的安装与伪分布式配置（可选但推荐）

Hive本质上是一个将SQL转换为MapReduce/Tez/Spark作业的工具。因此，它需要一个计算引擎。对于学习和测试，我们可以使用Hive的“本地模式”，它使用本地文件系统和本地作业运行器，无需完整的Hadoop。但为了更贴近生产环境（即使是在单机上模拟），我强烈建议先搭建一个Hadoop伪分布式环境。

这里我们安装Hadoop 2.7.x或3.2.x，它们与Hive 2.x和3.x都有较好的兼容性。以Hadoop 2.7.7为例：

下载与解压：

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -xzvf hadoop-2.7.7.tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-2.7.7 /usr/local/hadoop

配置环境变量：同样在/etc/profile文件中追加：

export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

执行source /etc/profile。

核心配置：进入$HADOOP_HOME/etc/hadoop目录，需要修改以下几个文件：

core-site.xml: 配置HDFS的默认地址和临时目录。

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>

hdfs-site.xml: 配置HDFS的副本数（伪分布式设为1）。

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file://${hadoop.tmp.dir}/dfs/data</value> </property> </configuration>

mapred-site.xml和yarn-site.xml：如果你打算使用YARN作为资源管理器，也需要配置。对于初步的Hive测试，仅配置HDFS即可。

格式化HDFS并启动：

hdfs namenode -format # 注意：此操作会清空原有HDFS数据，仅在首次搭建时执行 start-dfs.sh

使用jps命令查看，应该能看到NameNode,DataNode,SecondaryNameNode进程。

完成这一步，我们就有了一个可用的HDFS文件系统，Hive可以将数据表存储在HDFS上，这比本地模式更接近真实场景。

3. MySQL元数据库的安装与配置

Hive默认使用Derby作为元数据库，但Derby只支持单连接，不适合多用户或生产环境。将元数据存储在MySQL等关系型数据库中是最佳实践。

3.1 MySQL Server安装与安全初始化

Ubuntu 16.04的默认源中包含MySQL 5.7，这是一个稳定且广泛使用的版本。

sudo apt-get install -y mysql-server

安装过程中可能会提示你设置root密码，请务必记住。如果没有提示，安装后MySQL的root用户可能默认使用auth_socket插件认证，我们需要将其改为密码认证。

执行安全初始化脚本：

sudo mysql_secure_installation

这个脚本会引导你完成一系列安全设置，包括设置root密码、移除匿名用户、禁止root远程登录、删除测试数据库等。对于本地测试环境，你可以根据情况选择，但设置一个强密码是必须的。

3.2 创建Hive元数据库与专属用户

接下来，我们需要为Hive创建一个专用的数据库和用户，遵循最小权限原则。

登录MySQL：
```
sudo mysql -u root -p
```

执行以下SQL语句：

-- 创建名为`hive_meta`的数据库，字符集推荐使用latin1或utf8，根据Hive版本建议 CREATE DATABASE hive_meta CHARACTER SET latin1 COLLATE latin1_general_ci; -- 创建一个新用户`hiveuser`，并设置密码，这里示例密码为`HivePassword123!` CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'HivePassword123!'; -- 授予`hiveuser`用户对`hive_meta`数据库的所有权限 GRANT ALL PRIVILEGES ON hive_meta.* TO 'hiveuser'@'%'; -- 授予`hiveuser`用户授予权限的权限（某些Hive初始化脚本需要） GRANT GRANT OPTION ON hive_meta.* TO 'hiveuser'@'%'; -- 刷新权限使设置生效 FLUSH PRIVILEGES; -- 退出MySQL EXIT;

实操心得：用户主机名设置为'%'允许从任何主机连接，这在单机测试时很方便。但在生产环境中，应该限制为Hive Metastore服务所在的主机IP，例如'hiveuser'@'192.168.1.100'，以增强安全性。另外，密码复杂度要足够，避免使用示例中的简单密码。

3.3 安装MySQL JDBC驱动

Hive需要通过JDBC驱动连接MySQL。我们需要下载对应的驱动jar包，并将其放置到Hive和Hadoop的类路径下。

# 下载MySQL Connector/J，版本建议5.1.x以上，与MySQL 5.7兼容 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.49.tar.gz tar -xzvf mysql-connector-java-5.1.49.tar.gz # 将jar包复制到Hive即将安装的lib目录（假设Hive安装在/usr/local/hive）和Hadoop的共享lib目录 sudo cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar /usr/local/hive/lib/ sudo cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar $HADOOP_HOME/share/hadoop/common/lib/

如果Hive目录尚未创建，可以先复制到临时位置，待Hive安装后再移动。将驱动放到Hadoop的公共lib下，可以确保运行MapReduce任务时也能找到这个驱动。

4. Apache Hive的安装与核心配置

万事俱备，现在可以安装Hive了。我们选择Hive 2.3.9版本，这是一个在2.x系列中比较稳定且功能完善的版本。

4.1 Hive软件包下载与解压

cd /usr/local sudo wget https://archive.apache.org/dist/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz sudo tar -xzvf apache-hive-2.3.9-bin.tar.gz sudo mv apache-hive-2.3.9-bin hive sudo chown -R $(whoami):$(whoami) hive/ # 将目录权限改为当前用户，方便操作

4.2 环境变量配置

编辑/etc/profile，添加Hive的环境变量：

export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$PATH export HADOOP_USER_CLASSPATH_FIRST=true # 避免Hive与Hadoop的jar包冲突

执行source /etc/profile使配置生效。

4.3 Hive配置文件详解与定制

Hive的配置文件位于$HIVE_HOME/conf目录。我们需要将模板文件复制为正式配置文件并进行修改。

cd $HIVE_HOME/conf cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp hive-log4j2.properties.template hive-log4j2.properties cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

1. 配置hive-env.sh这个文件主要设置Hive运行所需的环境变量。找到以下行并取消注释或修改：

# 设置Hadoop的安装路径 export HADOOP_HOME=/usr/local/hadoop # 设置Hive配置文件的目录 export HIVE_CONF_DIR=/usr/local/hive/conf # 设置Hive的依赖库目录 export HIVE_AUX_JARS_PATH=/usr/local/hive/lib

2. 配置hive-site.xml(核心)这是Hive的主配置文件，我们需要用MySQL连接信息覆盖默认的Derby配置。由于原始模板文件非常庞大，我们不应该直接编辑它，而是创建一个新的hive-site.xml文件，Hive会优先读取我们自定义的配置。

mv hive-site.xml hive-site.xml.template.backup # 备份原模板 vim hive-site.xml

将以下内容写入新的hive-site.xml。请务必将javax.jdo.option.ConnectionPassword的值替换为你为hiveuser设置的密码。

<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 连接元数据库的JDBC驱动 --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- 连接元数据库的URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive_meta?createDatabaseIfNotExist=true&amp;useSSL=false&amp;characterEncoding=UTF-8</value> <!-- 注意：useSSL=false仅用于测试环境，生产环境应启用SSL --> </property> <!-- 连接元数据库的用户名 --> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property> <!-- 连接元数据库的密码 --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>HivePassword123!</value> <!-- 请修改为你的实际密码 --> </property> <!-- Hive数据在HDFS上的存储路径 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <!-- 在命令行中显示当前数据库名 --> <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <!-- 在命令行中显示表头信息 --> <property> <name>hive.cli.print.header</name> <value>true</value> </property> <!-- 本地模式配置（如果未启动Hadoop，或想快速测试） --> <!-- <property> <name>hive.exec.mode.local.auto</name> <value>true</value> </property> <property> <name>hive.exec.mode.local.auto.inputbytes.max</name> <value>134217728</value> </property> --> </configuration>

关键点解析：

createDatabaseIfNotExist=true：确保连接时如果数据库不存在则自动创建（需要用户有CREATE权限）。
useSSL=false：禁用SSL连接。在本地内网测试时可以简化配置，生产环境必须启用SSL并配置证书。
characterEncoding=UTF-8：指定连接字符集，避免中文乱码。
hive.metastore.warehouse.dir：指定了Hive中创建的数据库和表在HDFS上的默认存储位置。Hive本身不会自动创建这个HDFS目录，需要我们在初始化前手动创建。

4.4 初始化Hive元数据库

这是将Hive的元数据表结构写入我们刚才创建的MySQL数据库hive_meta中的关键一步。

# 首先，确保HDFS上存在warehouse目录，并赋予写权限 hdfs dfs -mkdir -p /user/hive/warehouse hdfs dfs -chmod g+w /user/hive/warehouse # 你也可以创建一个专门的Hive用户，这里为了方便，直接使用当前用户 # 执行元数据库初始化脚本 schematool -initSchema -dbType mysql

如果一切配置正确，你会看到一系列OK和SUCCESS的日志输出，最后提示Initialization script completed和schemaTool completed。此时，登录MySQL查看hive_meta数据库，应该已经生成了数十张以TBLS、DBS、COLUMNS_V2等命名的表。

常见问题与排查：
错误：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/commons/cli/ParseException这通常是jar包冲突或缺失。检查$HIVE_HOME/lib下是否有commons-cli-*.jar。可以尝试从Hadoop的$HADOOP_HOME/share/hadoop/common/lib目录下复制一个兼容版本过来。
错误：Failed to get schema version.或JDBC Connection Error这通常是MySQL连接问题。请逐一检查：
MySQL服务是否启动：sudo systemctl status mysql
hive-site.xml中的连接URL、用户名、密码是否正确。
MySQL的hiveuser用户是否具有从本地主机(localhost)连接的权限。如果使用%通配符，可能需要检查MySQL的bind-address配置（默认是127.0.0.1，只允许本地连接）。
MySQL JDBC驱动jar包是否已正确放置在$HIVE_HOME/lib下。

5. Hive服务启动验证与基础操作

完成初始化后，我们就可以启动Hive命令行界面（CLI）进行测试了。

5.1 启动Hive CLI并验证基础功能

直接在终端输入hive命令：

hive

如果成功，你会看到提示符变为hive>，并且前面会显示当前数据库（默认为default）。

执行几个基础命令验证安装：

-- 1. 显示所有数据库 hive> show databases; -- 预期输出： default -- 2. 创建一个测试表 hive> CREATE TABLE test_hive_install (id INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; -- 预期输出： OK -- 3. 查看创建的表 hive> show tables; -- 预期输出： test_hive_install -- 4. 向表中加载一些本地数据（先准备一个本地文件 /tmp/test.data，内容如 `1,Alice` 和 `2,Bob`，每行一条） hive> LOAD DATA LOCAL INPATH '/tmp/test.data' INTO TABLE test_hive_install; -- 预期输出： Loading data to table default.test_hive_install OK -- 5. 执行一个简单的查询 hive> SELECT * FROM test_hive_install; -- 预期输出： -- OK -- 1 Alice -- 2 Bob

如果以上步骤都能成功执行，那么恭喜你，Hive已经成功安装并可以正常工作了！数据被存储在HDFS的/user/hive/warehouse/test_hive_install目录下，元数据（表名、列信息、存储位置等）则记录在MySQL的hive_meta数据库中。

5.2 配置Hive Metastore服务（为远程连接做准备）

目前我们使用的是嵌入式的Metastore（CLI内置）。如果你希望让Hive Server2（提供JDBC/ODBC接口）或其他远程客户端连接，需要将Metastore作为独立服务运行。

修改hive-site.xml，添加Metastore服务配置：

<property> <name>hive.metastore.uris</name> <value>thrift://localhost:9083</value> </property>

启动Metastore服务（后台运行）：
```
hive --service metastore &
```
使用netstat -tlnp | grep 9083检查端口是否监听。
此时，启动Hive CLI时需要指定远程Metastore：
```
hive --hiveconf hive.metastore.uris=thrift://localhost:9083
```
或者将上述配置永久写入hive-site.xml。

5.3 日志查看与问题诊断

Hive的运行日志对于排查问题至关重要。日志文件默认位于/tmp/${user.name}目录下（例如/tmp/root或/tmp/你的用户名）。

hive.log：Hive CLI的主要运行日志。
hive-metastore.log：独立Metastore服务的日志。

当遇到错误时，首先查看这些日志文件末尾的ERROR信息，通常能快速定位问题根源，比如类找不到、配置项错误、数据库连接失败等。

6. 进阶配置与性能调优初探

安装完成只是第一步，要让Hive更好地工作，还需要根据实际情况进行一些调优。

6.1 内存与JVM调优

Hive的运行，特别是执行引擎（如MapReduce）对内存非常敏感。可以通过设置Hadoop和Hive的环境变量来调整。

在$HIVE_HOME/conf/hive-env.sh中，可以设置Hive客户端和Metastore的堆内存：

export HADOOP_HEAPSIZE=2048 # 设置Hadoop进程的堆大小，单位MB export HADOOP_CLIENT_OPTS="-Xmx2g -Xms512m" # 设置Hive客户端的JVM参数 export HIVE_METASTORE_HEAPSIZE=1024 # Metastore服务堆内存

对于MapReduce任务，需要在Hadoop的mapred-site.xml中调整mapreduce.map.memory.mb和mapreduce.reduce.memory.mb等参数。

6.2 启用压缩以提高I/O效率

在HDFS上存储数据和MapReduce的中间过程启用压缩，可以显著减少磁盘空间和网络传输开销。在hive-site.xml中配置：

<property> <name>hive.exec.compress.intermediate</name> <value>true</value> </property> <property> <name>hive.exec.compress.output</name> <value>true</value> </property> <property> <name>mapreduce.map.output.compress.codec</name> <value>org.apache.hadoop.io.compress.SnappyCodec</value> </property> <property> <name>mapreduce.output.fileoutputformat.compress.codec</name> <value>org.apache.hadoop.io.compress.GzipCodec</value> </property>

需要确保Hadoop集群已经安装了Snappy或Gzip等压缩编解码器。

6.3 动态分区与严格模式

对于分区表，动态分区非常方便，但容易因误操作产生大量分区。生产环境建议结合严格模式使用。

<property> <name>hive.exec.dynamic.partition</name> <value>true</value> </property> <property> <name>hive.exec.dynamic.partition.mode</name> <value>nonstrict</value> <!-- 初学者可设为nonstrict，生产环境建议strict --> </property> <property> <name>hive.exec.max.dynamic.partitions</name> <value>1000</value> </property>

在严格模式(strict)下，必须至少指定一个静态分区字段，防止全表扫描产生过多分区拖垮Metastore。

7. 安装后维护与日常问题速查

即使安装成功，在日常使用中也可能遇到各种问题。这里记录几个我踩过的坑和对应的解决方法。

问题现象	可能原因	排查步骤与解决方案
`FAILED: SemanticException [Error 10001]: Line 1:13 Table not found 'table_name'`	1. 表确实不存在。 2. Metastore服务未启动或连接失败。 3. 当前数据库不是表所在的数据库。	1.`SHOW TABLES;`确认。 2. 检查Metastore进程(`jps \| grep -i metastore`)和端口(`netstat`)。 3.`USE database_name;`切换数据库，或使用`database_name.table_name`全限定名。
`LOAD DATA`命令执行成功，但`SELECT`无数据	1. 数据文件格式与表定义的分隔符不匹配。 2. 文件路径错误，数据未加载到正确位置。 3. 文件编码问题（如UTF-8带BOM）。	1. 检查建表语句的`ROW FORMAT`和`FIELDS TERMINATED BY`。 2. 使用`DESCRIBE FORMATTED table_name;`查看表的HDFS位置，用`hdfs dfs -ls`确认文件是否存在。 3. 使用`cat -A`查看文件中的不可见字符。
Hive CLI启动非常慢	1. 主机名解析问题。 2. Hadoop服务（如NameNode）连接超时。 3. Metastore初始化慢。	1. 检查`/etc/hosts`，确保`127.0.1.1`对应正确的主机名。 2. 检查Hadoop服务状态，`hdfs dfsadmin -report`。 3. 查看Metastore日志，检查MySQL连接和查询性能。
中文数据查询显示为乱码	1. 表存储格式编码问题。 2. MySQL元数据库字符集设置问题。	1. 建表时指定`ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ STORED AS TEXTFILE`，并确保数据文件是UTF-8无BOM。 2. 确认MySQL的`hive_meta`数据库和表字符集为`utf8`或`latin1`（需与Hive配置一致）。在`hive-site.xml`的JDBC URL中添加`&characterEncoding=UTF-8`。

最后一点个人体会：在Ubuntu 16.04上安装Hive，更像是一次对经典大数据技术栈的梳理。每一步的依赖关系都非常清晰：系统 -> Java -> Hadoop (存储与计算) -> MySQL (元数据) -> Hive (接口)。任何一个环节的配置错误，都会导致后续步骤失败。因此，最有效的调试方法就是看日志，从最后报错的地方往前追溯，十有八九是环境变量、文件权限、网络连接或配置文件格式这类基础问题。把这次安装过程记录下来，不仅是为了下次部署时快速复制，更是为了理解每个组件扮演的角色，这样在遇到更复杂的问题时，你才能知道该从哪里入手。