linux
info:
ubuntu 16.10 x64
docker 本身就是基于 linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。
连接服务器
使用 ssh 命令连接远程服务器。
更新软件列表
apt-get update
更新完成。
安装 docker
当遇到输入是否继续时,输入「y/y」继续。
安装完成
输入「docker」测试是否安装成功。
拉取镜像
镜像,是 docker 的核心,可以通过从远程拉取镜像即可配置好我们所需要的环境,我们这次需要的是 hadoop 集群的镜像。
在本文中,我们将使用 kiwenlau 的 hadoop 集群镜像以及其配置。由于我的服务器本身即在国外,因此拉取镜像的速度较快,国内由于众所周知的原因,可以替换为相应的国内源,以加快拉取速度。
拉取镜像完成。
克隆仓库
克隆仓库到当前文件夹(可以自行创建并切换到相应文件夹)。
克隆仓库完成
桥接网络
运行容器
默认是 1 个主节点,2 个从节点,当然也可以根据性能调整为 n 节点,详见文末参考链接。
启动 hadoop
在上一步,我们已经运行容器,即可直接运行 hadoop。启动时长与机器性能有关,也是难为了我这一台 512 mb 内存的服务器。
测试 word count
word count 是一个测试 hadoop 的 shell 脚本,即计算文本中的单词个数。不过由于我的服务器内存不够分配无法完成,所以后续以本机进行测试。
网页管理
我们可以通过网页远程管理 hadoop:
name node: [your ip address]:50070/
resource manager: [your ip address]:8088/
macos
info:
macos 10.12.4 beta (16e191a)
下载