小知识:Docker安装Presto连接Hive的详细过程

1、简介

Presto 是一个开源分布式 SQL 查询引擎,用于针对从千兆字节到 PB 级的各种规模的数据源运行交互式分析查询。Presto 允许查询数据所在的位置,包括 Hive、Cassandra、关系数据库甚至专有数据存储。单个 Presto 查询可以组合来自多个来源的数据,从而允许对整个组织进行分析。

2、下载安装

1)下载镜像

?
1
docker pull starburstdata/presto

2)下载客户端jar

因为pull下来的镜像是server,是没有presto-cli命令的,所以需要下载presto-cli-0.260.1-executable.jar,然后将下载好的jar包拉入Linux系统中。

下载完成后,run容器:

?
1
2
#端口号为8080,请自行修改,名字为presto
docker run -d -p 8080:8080  –name presto starburstdata/presto

将客户端jar包拷贝到容器中的bin目录下:

?
1
docker cp [客户端jar包所在的linux路径] [容器名]:/bin

进入到hadoop配置文件目录,将core-site.xml和hdfs-site.xml复制到容器中

?
1
2
3
cd ${HADOOP_HOME}/etc/hadoop
docker cp core-site.xml presto:/usr/lib/presto/etc/
docker cp core-site.xml presto:/usr/lib/presto/etc/

进入容器(以下不标注都是在容器中进行的操作):

?
1
2
#以root用户进入容器,防止没有权限操作文件
docker exec –user=root -it presto /bin/bash

将客户端jar包改名并赋予可执行权限:

?
1
2
3
cd bin
mv presto-cli-0.260.1-executable.jar presto-cli
chmod a+x presto-cli

3、配置文件

进入配置文件目录,创建hive配置文件:

?
1
2
cd /usr/lib/presto/etc/catalog
vi hive.properties

hive.properties:

?
1
2
3
4
5
6
#连接名,固定
connector.name=hive-hadoop2
#hive元数据uri,在hive-site.xml里能够找到,请自行修改ip和端口
hive.metastore.uri=thrift://192.168.10.51:9083
#hive配置的资源 core-site.xml和hdfs-site.xml,请根据自己集群中的配置文件路径进行修改,中间用逗号隔开
hive.config.resources=/usr/lib/presto/etc/core-site.xml,/usr/lib/presto/etc/hdfs-site.xml

wq保存退出

重启容器(在linux命令行下):

?
1
docker restart presto

4、测试连接

进入容器:

?
1
2
3
4
5
6
7
#以root用户进入容器,防止没有权限操作文件
docker exec –user=root -it presto /bin/bash
#进入bin目录
cd bin
#执行命令行脚本并测试hive连接,连接到hive配置文件,数据库是default
./presto-cli –server localhost:8080 –catalog hive –schema default
presto>show tables;

到此这篇关于Docker安装Presto连接Hive的详细过程的文章就介绍到这了,更多相关Docker安装Presto内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://www.cnblogs.com/leilcoding/p/15232778.html

声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:docker部署lnmp-wordpress的实现步骤

2023-3-18 17:15:39

建站知识

小知识:常用的Docker命令及示例汇总分析

2023-3-18 17:30:23

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索