安装前提

本教程基于《Apache Hadoop 完全分布式集群搭建》下进行搭建

软件版本

• Hadoop 2.10.1
• Mysql 8.0.26
• Hive 2.3.9

1. 安装 Mysql(8.0.26)
   
2. 下载 Mysql JDBC JAR 包
   https://downloads.mysql.com/archives/c-j/
   
   解压后将 JAR 包上传至服务器

# Mysql 创建并授权 Hive 账户

slave2
不满足策略则需要按上面方法修改密码策略

create user 'hive'@'%' identified by '0000';
# 将所有权限授权给 Hive 账户
grant all on *.* to 'hive'@'%';
# 刷新权限
flush privileges;

测试是否能成功登录 mysql -uhive -p0000

配置 Hive

slave2
下载 Hive(2.3.9) 并解压缩

cd /opt/software
wget https://dlcdn.apache.org/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz

tar -zxvf apache-hive-2.3.9-bin.tar.gz -C ../servers/
cd ../servers                                        
mv apache-hive-2.3.9-bin hive-2.3.9

配置环境变量

vim /etc/profile 

# HIVE
export HIVE_HOME=/opt/servers/hive-2.3.9
export PATH=$PATH:$HIVE_HOME/bin

# 使其生效
source /etc/profile

配置 Hive

创建 hive-site.xml 文件

cd $HIVE_HOME/conf
# 新建 hive-site.xml 文件增加以下内容：
vim hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


    
    
        javax.jdo.option.ConnectionURL
        jdbc:mysql://slave2:3306/hivemetadata?createDatabaseIfNotExist=true&allowPublicKeyRetrieval=true&useSSL=false
        JDBC connect String for a JDBC metastore
    

    
    
        javax.jdo.option.ConnectionDriverName
        com.mysql.cj.jdbc.Driver
        Driver class name for a JDBC metastore
    

    
    
        javax.jdo.option.ConnectionUserName
        hive
        username to use against metastore database
    

    
    
        javax.jdo.option.ConnectionPassword
        0000
        password to use against metastore database
    

移动 JDBC 文件至 lib 目录

cp mysql-connector-java-8.0.26.jar /opt/servers/hive-2.3.9/lib

初始化元数据库

schematool -dbType mysql -initSchema

查看数据库是否创建成功

启动 Hive

hive

• 启动成功后如果出现 Log4j 版本冲突警告（可忽略）
  
  我们保留 Hadoop 的 Log4j，删除 Hive 中的 Log4j

rm /opt/servers/hive-2.3.9/lib/log4j-slf4j-impl-2.6.2.jar

• 如果出现下面异常是因为HDFS、服务未启动
  

• 如出现以下异常则是进入了安全模式，需要等待
  

到这里一个基本可用的 Hive 环境已经搭建好了！

Hive 常用属性配置

可以在 hive-site.xml 中增加以下常用配置，方便使用

数据存储位置

    
    hive.metastore.warehouse.dir
    /user/hive/warehouse
 

显示当前操作的 Database 库

    hive.cli.print.current.db
    true

显示表头属性

    
    hive.cli.print.header
    true

本地模式

    
    hive.exec.mode.local.auto
    true

备注：当 Hive 的输入数据量非常小时，Hive 通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间会明显被缩短。当一个 job 满足如下条件才能真正使用本地模式：

• job 的输入数据量必须小于参数：hive.exec.mode.local.auto.inputbytes.max (默认128MB)
• job 的 map 数必须小于参数：hive.exec.mode.local.auto.tasks.ma x(默认4)
• job 的 reduce 数必须为 0 或者 1

Hive Log4j 配置

cd /opt/servers/hive-2.3.9/conf
cp hive-log4j2.properties.template hive-log4j2.properties
vim hive-log4j2.properties

可以使用默认配置