【大数据】 Hive安装 【学习笔记】

导读:本篇文章讲解 【大数据】 Hive安装 【学习笔记】,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com

8、Hive – 介绍

Hive – 介绍 – Hive教程 | 编程字典 (codingdict.com)

8.1 Hive – 介绍

  • Hive: 它是一个用来开发SQL类型脚本来执行MapReduce操作的平台。

  • Hive查询语言(HiveQL或HQL)用于MapReduce使用Hive处理结构化数据。

什么是Hive

​ Hive是一个数据仓库基础设施工具,用于处理Hadoop中的结构化数据。它位于Hadoop的顶部,用于汇总大数据,并使查询和分析变得轻松。

最初,Hive是由Facebook开发的,随后Apache软件基金会接手并开发了Apache Hive名下的开源软件。它被不同的公司使用。例如,Amazon在Amazon Elastic MapReduce中使用它。

Hive

  • 不是关系数据库
  • 不是OnLine事务处理(OLTP)的设计
  • 不是用于实时查询和行级更新的语言

Hive的特点

  • 它将模式存储在数据库中并将数据处理成HDFS。
  • 它是为OLAP设计的。
  • 它提供用于查询的SQL类型语言,称为HiveQL或HQL。
  • 它是熟悉的,快速的,可扩展的和可扩展的。

8.2 Hive安装

添加:Hive的安装(超详细)_不秃头小陈同学的博客-CSDN博客_hive安装模式教程

Hive安装教程 – 简书 (jianshu.com)

8.2.1 Hive安装

1、验证JAVA安装

在安装Hive之前,必须在您的系统上安装Java。让我们使用以下命令验证java安装:

$ java -version

2、验证Hadoop安装

在安装Hive之前,Hadoop必须安装在您的系统上。让我们使用以下命令验证Hadoop安装:

$ hadoop version

3、下载 hive-2.3.9 安装包

Index of /dist/hive (apache.org)

Index of /dist/hive/hive-2.1.0 (apache.org)

推荐: Index of /hive/hive-2.3.9 (apache.org)

4、上传后解压

$ tar -zxvf apache-hive-2.3.9-bin.tar.gz -C /opt/module/
$ cd /opt/module/
$ mv apache-hive-2.3.9-bin  hive

5、编写环境变量

[root@hadoop102 apache-hive-2.3.9-bin]$ vim /etc/profile.d/my_env.sh 
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbi

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin
  • 使生效
$ source /etc/profile.d/my_env.sh 

6、启动hadoop

[root@hadoop102 lib]$ myhadoop.sh start

7、启动hive

$ hive
# 或
$ cd $HIVE_HOME
$ bin/hive

启动报错 java.lang.NoSuchMethodError: com.google.common.base…

  • 删除hive中低版本的guava-14.0.1.jar包,将hadoop中的guava-27.0-jre.jar复制到hive的lib目录下即可。
$ cp /opt/module/hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar  /opt/module/hive/lib
$ mv guava-14.0.1.jar /opt/tmp
[root@hadoop102 lib]$ find guava*
guava-27.0-jre.jar
[root@hadoop102 software]$ tar -zxvf apache-hive-1.2.2-bin.tar.gz  -C /opt/module/
[root@hadoop102 module]$ mv apache-hive-1.2.2-bin/ hive-1.2.2

6、配置Hive

为了用Hadoop配置Hive,你需要编辑 hive-env.sh 文件,该文件被放置在 $ HIVE_HOME/conf 目录。以下命令将重定向到Hive config 文件夹并复制模板文件:

$ cd $HIVE_HOME/conf
$ cp hive-env.sh.template hive-env.sh
$ vim hive-env.sh

通过追加以下行来编辑 hive-env.sh 文件:

export HADOOP_HOME=/opt/module/hadoop-3.1.3

Hive安装已成功完成。现在您需要一个外部数据库服务器来配置Metastore。

配置hive-site.xml

cd /opt/module/hive/conf/
[root@hadoop102 conf]$ vim hive-site.xml
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
                <description>MySQL连接协议 </description>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
                <description>JDBC连接驱动</description>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
                <description>用户名</description>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
                <description>密码</description>
        </property>
</configuration>

添加 mysql-connector-java-5.1.48.jar

1、解压

$ cd /opt/software/
$ tar -zxvf mysql-connector-java-5.1.48.tar.gz -C /opt/tmp

2、移动jar包

$ cd /opt/tmp/mysql-connector-java-5.1.48
$ mv mysql-connector-java-5.1.48-bin.jar mysql-connector-java-5.1.48.jar
$ cp mysql-connector-java-5.1.48.jar  /opt/module/hive/lib/

8.2.2 准备Mysql 环境

(41条消息) Linux安装MySQL图文教程(详细)_一个考虑转行送外卖的程序员的博客-CSDN博客_linux安装mysql详细教程

MySQL :: Download MySQL Connector/J (Archived Versions)

MySQL :: Download MySQL Community Server (Archived Versions)

第一步:解压到usr/local/mysql

mkdir /usr/local/mysql
tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /usr/local/mysql

第二步:首先检查当前服务器上是否已经安装有mysql:

rpm -qa|grep -i mysql*

​ 第三步:卸载centos7自带的数据库,因为centOS自带一个老版本的mariadb-libs与当前mysql包的冲突,故需要先卸载,再安装。

yum remove mariadb-libs
cd /usr/local/mysql

[root@hadoop102 mysql]$ ls
mysql-community-client-5.7.28-1.el7.x86_64.rpm           mysql-community-embedded-devel-5.7.28-1.el7.x86_64.rpm
mysql-community-common-5.7.28-1.el7.x86_64.rpm           mysql-community-libs-5.7.28-1.el7.x86_64.rpm
mysql-community-devel-5.7.28-1.el7.x86_64.rpm            mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
mysql-community-embedded-5.7.28-1.el7.x86_64.rpm         mysql-community-server-5.7.28-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.28-1.el7.x86_64.rpm  mysql-community-test-5.7.28-1.el7.x86_64.rpm

第四步:安装mysql-community-common-5.7.28-1.el7.x86_64.rpm (解压的目录)

第五步:安装 mysql-community-libs-5.7.28-1.el7.x86_64.rpm

第六步:安装 mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

安装perl

第七步:安装mysql-community-client-5.7.28-1.el7.x86_64.rpm

第八步:安装mysql-community-server-5.7.28-1.el7.x86_64.rpm

# 第四步
rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm   
# 第五步
rpm -ivh  mysql-community-libs-5.7.28-1.el7.x86_64.rpm
# 第六步
rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
# 注:此处最好使用该命令安装perl,perl依赖其他26个包,单个下载、 安装很麻烦.
yum install perl
# 第七步
rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm  

# 第八步
yum install net-tools
rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

第九步:启动mysql服务器才能正常使用

service mysqld restart

第十步:找到root用户的初始密码( U28dguBGG9*T),需要使用如下命令

[root@hadoop102 ~]$ cat /var/log/mysqld.log|grep temp
2022-04-05T05:11:52.507233Z 1 [Note] A temporary password is generated for root@localhost: U28dguBGG9*T
2022-04-05T05:11:54.945284Z 0 [Note] InnoDB: Creating shared tablespace for temporary tables

第十一步:使用root、密码链接到mysql

mysql -hlocalhost -uroot -pU28dguBGG9*T

其他

# 第十二步:降低密码复杂度限制:
mysql> set global validate_password_policy=0;

# 第十三步:降低密码长度限制
mysql> set global validate_password_length=4;

# 第十四步: 修改root用户的初始密码:
mysql> alter user 'root'@'localhost' identified by '123456';

# 第十五步:授权远程连接
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' identified by '123456';

# 第十六步: 刷新权限
mysql> flush privileges;

# 第十七步:打开navicate,新建连接
  • 成功
mysql> exit;
Bye
# 启动MySQL服务:
service mysqld restart

# 停止MySQL服务:
$ systemctl stop mysqld.service

# 设置mysql服务开机自启动:
$ systemctl enable mysqld.service

# 停止mysql服务开机自启动:
$ systemctl disable mysqld.service

8.2.3 初始化元数据库

  • 初始化元数据库准备操作:防止出现Exception in thread “main” java.lang.NoSuchMethodError报错的措施
[root@hadoop102 hive]$ cd /opt/module/hive/lib/
[server@hadoop102 lib]$ mv guava-27.0-jre.jar guava-27.0-jre.bak
[server@hadoop102 lib]$ cd /opt/module/hadoop-3.1.3/share/hadoop/common/lib
[server@hadoop102 lib]$ cp guava-27.0-jre.jar  /opt/module/apache-hive-2.3.9-bin/lib/
  • 初始化元数据库
$ cd /opt/module/hive/lib/
$ schematool -initSchema -dbType mysql -verbose

8.2.4 启动hive

$ hive
hive> show databases;
2021-10-03T20:37:38,543 INFO [main] org.apache.hadoop.hive.conf.HiveConf - Using the default value passed in for log id: c55d738d-5d46-41bf-b069-c0cb0c4c0b08
2021-10-03T20:37:38,544 INFO [main] org.apache.hadoop.hive.ql.session.SessionState - Updating thread name to c55d738d-5d46-41bf-b069-c0cb0c4c0b08 main
OK
default
hive> create table test(id string);
hive> insert into test values ('stu01');
hive> select * from test;
hive> quit;

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由半码博客整理,本文链接:https://www.bmabk.com/index.php/post/92644.html

(0)

相关推荐

半码博客——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!