博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive部署
阅读量:6241 次
发布时间:2019-06-22

本文共 1913 字,大约阅读时间需要 6 分钟。

什么是 Hive

        Hive 是一个翻译器,它可以将SQL语句翻译成一个 MapReduce 程序
        
        常见的数据分析引擎: Hive, Pig,  Impala,  Spark SQL
        Hive 是一个基于Hadoop 之上的数据分析引擎(数据仓库)
        Hives               HDFS
         表      --------> 目录
        数据    --------> 文件
        分区    --------> 目录

环境部署:

    部署前准备:

    环境变量:vi ~/.bash_profile

        HIVE_HOME=/root/training/apache-hive-2.3.0-bin
        export HIVE_HOME
        PATH=$HIVE_HOME/bin:$PATH
        export PATH

     嵌入式部署:

        (1)使用Hive自带的Derby数据库来存储元信息
        (2)Hive只支持一个连接
             创建 conf/hive-site.xml
                <?xml version="1.0" encoding="UTF-8" standalone="no"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                <configuration>             
                    <property>
                      <name>javax.jdo.option.ConnectionURL</name>
                      <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
                    </property>    
                    <property>
                      <name>javax.jdo.option.ConnectionDriverName</name>
                      <value>org.apache.derby.jdbc.EmbeddedDriver</value>
                    </property>    
                    <property>
                      <name>hive.metastore.local</name>
                      <value>true</value>
                    </property>    
                    <property>
                      <name>hive.metastore.warehouse.dir</name>
                      <value>file:///root/training/apache-hive-2.3.0-bin/warehouse</value>
                    </property>        
                </configuration>    
            初始化MetaStore:
            schematool -dbType derby -initSchema

     远程模式(需要MySQL数据库):

            1. 安装 MySQL数据库(此处省略)

            2. 配置 hive-site.xml  (JDBC的参数)

                <?xml version="1.0" encoding="UTF-8" standalone="no"?>

                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                <configuration>             
                    <property>
                      <name>javax.jdo.option.ConnectionURL</name>
                      <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
                    </property>    
                    <property>
                      <name>javax.jdo.option.ConnectionDriverName</name>
                      <value>com.mysql.jdbc.Driver</value>
                    </property>    
                    
                    <property>
                      <name>javax.jdo.option.ConnectionUserName</name>
                      <value>hiveowner</value>
                    </property>    
                    
                    <property>
                      <name>javax.jdo.option.ConnectionPassword</name>
                      <value>Welcome_1</value>
                    </property>    
                    
                </configuration>

            3. 把MySQL 数据库的驱动放到: Hive/lib 下

            4. 初始化 MySQL数据库

                老版本的hive 在第一次运行时自动初始化 MySQL数据库

                新版本的hive 需要执行命令:

                    schematool   -dbType  mysql  -initSchema

本文转自   tianshuai369   51CTO博客,原文链接:http://blog.51cto.com/songqinglong/2055914

转载地址:http://nycia.baihongyu.com/

你可能感兴趣的文章
UVA 12118 Inspector's Dilemma(连通性,欧拉路径,构造)
查看>>
一台电脑同时运行多个tomcat配置方法
查看>>
让文本框只能输入数字
查看>>
pwnable.kr 之 passcode write up
查看>>
多任务之协程浅谈
查看>>
Qt Creator快捷键
查看>>
idea中lombok的使用
查看>>
网站集成支付宝在线支付
查看>>
mac下安装appium
查看>>
js ---- 函数防抖
查看>>
js call 和 apply
查看>>
CentOS 6.5下Percona Xtrabackup的安装错误解决方案
查看>>
VCS双机+oracle 11gR2+ASM主机名修改
查看>>
转:// LINUX下为ORACLE数据库设置大页--hugepage
查看>>
Linux文件权限与属性详解 之 chattr & lsattr
查看>>
负载均衡集群之LVS配置命令
查看>>
PHP使用文件流下载文件方法(附:解决下载文件内容乱码问题)
查看>>
多线程编程
查看>>
再谈谈数学
查看>>
Scheme来实现八皇后问题(1)
查看>>