前置
Hive 的使用需要依赖MySQL, 这里使用了mariadb来作为MySQL, 它是兼容MySQL的.
镜像拉取
docker pull mariadb
大约 8 分钟
在之前的hadoop配置基础上, 现在来做一个上传文件到hadoop系统的java程序
大约 1 分钟
前言
本文记录了hadoop集群安装的相应细节, 需要您具备一定的Linux命令常识, 同时, 本文的运行环境为docker centos7, 基于docker-install-centos7
安装java
# 将java的压缩包从宿主机上挂载的目录上复制过来
cp ~/package/jdk-8u161-linux-x64.tar.gz ~/
# 解压
# [-x] 解压
# [-z] 有gzip属性的
# [-v] 显示过程
# [-f] 最后一个参数, 后接档案
# [-C] 指定目标目录
tar -xzvf ~/jdk-8u161-linux-x64.tar.gz ~C ~/
# 重命名解压目录
mv ~/jdk1.8.0_161 ~/java
# 为java的bin目录和java包所在目录追加到环境变量
echo 'export PATH=$PATH:~/java/bin'>>~/.bashrc
echo 'export JAVA_HOME=~/java'>>~/.bashrc
# 刷新环境变量
source ~/.bashrc
# 使用java的命令查看是否配置成功
jps
大约 3 分钟
Hadoop相关命令的使用
hadoop系统可继承一定的Linux系统命令, 以命令 ls 为例, 在hadoop系统中则需使用 hadoop dfs -ls.
特别的, hadoop有一对专门用于上传下载的命令, hadoop dfs -put 和 hadoop dfs -get.
创建一个 speech.txt 文件, 其内容为
There is no mountain we cannot climb
There is no summit we cannot reach
There is no challenge we cannot meet
There is no victory we cannot have
We will not bend
We will not break
We will not yield
We will never give in
We will never give up
And we will never ever back down
小于 1 分钟