小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境

linux

info:

ubuntu 16.10 x64

docker 本身就是基于 linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。

连接服务器

使用 ssh 命令连接远程服务器。

?
1
ssh root@[your ip address]

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-猿站网-插图

更新软件列表

apt-get update

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-1猿站网-插图

更新完成。

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-2猿站网-插图

安装 docker

?
1
sudo apt-get install docker.io

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-3猿站网-插图

当遇到输入是否继续时,输入「y/y」继续。

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-4猿站网-插图

安装完成

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-4猿站网-插图

输入「docker」测试是否安装成功。

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-5猿站网-插图

拉取镜像

镜像,是 docker 的核心,可以通过从远程拉取镜像即可配置好我们所需要的环境,我们这次需要的是 hadoop 集群的镜像。

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-6猿站网-插图

在本文中,我们将使用 kiwenlau 的 hadoop 集群镜像以及其配置。由于我的服务器本身即在国外,因此拉取镜像的速度较快,国内由于众所周知的原因,可以替换为相应的国内源,以加快拉取速度。

?
1
sudo docker pull kiwenlau/hadoop:1.0

拉取镜像完成。

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-7猿站网-插图

克隆仓库

克隆仓库到当前文件夹(可以自行创建并切换到相应文件夹)。

?
1
git clone https://github.com/kiwenlau/hadoop-cluster-docker

克隆仓库完成

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-8猿站网-插图

桥接网络

?
1
sudo docker network create –driver=bridge hadoop

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-9猿站网-插图

运行容器

?
1
2
cd hadoop-cluster-docker
./start-container.sh

默认是 1 个主节点,2 个从节点,当然也可以根据性能调整为 n 节点,详见文末参考链接。

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-10猿站网-插图

启动 hadoop

?
1
./start-hadoop.sh

在上一步,我们已经运行容器,即可直接运行 hadoop。启动时长与机器性能有关,也是难为了我这一台 512 mb 内存的服务器。

%小知识:详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境-11猿站网-插图

测试 word count

?
1
./run-wordcount.sh

word count 是一个测试 hadoop 的 shell 脚本,即计算文本中的单词个数。不过由于我的服务器内存不够分配无法完成,所以后续以本机进行测试。

网页管理

我们可以通过网页远程管理 hadoop:

name node: [your ip address]:50070/

resource manager: [your ip address]:8088/

macos

info:

macos 10.12.4 beta (16e191a)

下载

声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:Docker 入门快速上手指南

2023-4-18 12:14:31

建站知识

小知识:详解Docker源码编译安装

2023-4-18 12:29:12

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索