安装虚拟机，Hadoop和Hive

2020-09-02 10:03:19 阅读：275 来源： 互联网

标签：java tar 虚拟机 Hadoop Hive hadoop HOME 安装

由于想自学下Hive，所以前段时间在个人电脑上安装了虚拟机，并安装上Hadoop和Hive。接下我就分享下我如何安装Hive的。步骤如下：

安装虚拟机
安装Hadoop
安装Java
安装Hive

我这里是在window10系统上安装的用Linux的同学可以直接跳过‘安装虚拟机’这一步，直接参考后续的安装步骤。

一、安装虚拟机

首先，下载VMware并在虚拟机里加入Ubuntu 16.04的镜像文件：

VMware下载链接：https://download3.vmware.com/software/wkst/file/VMware-workstation-full-12.1.0-3272444.exe
Ubuntu 16.04 iso镜像文件安装地址：http://releases.ubuntu.com/xenial/

虚拟机安装及加入操作系统镜像文件的具体步骤可参考：https://blog.csdn.net/qq1326702940/article/details/82322079

接下来，我们需要安装VMware Tools以帮我们进行虚拟机和本地环境之间的沟通（简单来说：你可以拖拽本地文件到虚拟机上，也能复制本地的文本粘贴到虚拟机上）。可以到VMware菜单栏‘虚拟机’选项下‘安装VMware Tools’。

# 由于VMware Tools在光盘里，要复制到进来才能进行安装
cd /media/VMware Tools
tar xvzf VMwareTools-9.6.0-1294478.tar.gz -C /root
cd /root/vmware-tools-distrib
./vmware-install.pl

# 开启VMware Tools
cd --
/usr/bin/vmware-user

二、安装Java

Java1.8.0安装地址: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

若安装查询java -version时报错 "-bash: /usr/local/java/jdk1.8.0_261/bin/java: cannot execute binary file: 可执行文件格式错误"，则是java与Linux系统不匹配，重新下载正确版本的java(32位：x86, 64位：x64)即可。

sudo mkdir /usr/local/java/
sudo cp 桌面/jdk-8u261-linux-i586.tar.gz /usr/local/java/
cd /usr/local/java/
sudo tar -xvzf jdk-8u261-linux-i586.tar.gz
sudo echo "export JAVA_HOME=/usr/local/java/jdk1.8.0_261">/etc/profile.d/java.sh
sudo echo "export PATH=$PATH:$JAVA_HOME/bin">>/etc/profile.d/java.sh
. /etc/profile
echo $JAVA_HOME

# 查看java版本
java -version

三、安装Hadoop

# 下载并解压Hadoop 2.7.7
cd --
wget http://www.us.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
tar -xzf hadoop-2.7.7.tar.gz

# 将Hadoop加入环境变量
# 若下面两条命令没有权限，可以sudo gedit 进sh脚本($HOME/.bashrc)里手动加入路径
echo "export HADOOP_HOME=/home/alvinai/hadoop-2.7.7" >> $HOME/.bashrc
echo "export PATH=$PATH:$HADOOP_HOME/bin" >> $HOME/.bashrc
. $HOME/.bashrc

# 测试Hadoop
# 查看目录
hadoop dfs -ls

让我们来运行下Hadoop提供的wordcount样例看看：

# 先自定义准备个文本样例数据
mkdir wc-in
echo "bla bla" > wc-in/a.txt
echo "bla wa wa" > wc-in/b.txt

# 运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中
hadoop jar /home/alvinai/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wc-in wc-out

# 查看wordcount的输出结果
ls wc-out/*
cat wc-out/*
# 也可以等价用dfs命令查看
hadoop dfs -cat wc-out/*

wordcount输出结果如下：

四、安装Hive

# 下载并解压Hive 0.9.0
wget http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz
tar -xzf hive-0.9.0.tar.gz
mkdir -p /hive/warehouse
chmod a+rwx /hive/warehouse

# 加入环境变量
# 若下面两条命令没有权限，可以sudo gedit 进sh脚本($HOME/.bashrc)里手动加入路径
sudo echo "export HIVE_HOME=/home/alvinai/hive-0.9.0" >> $HOME/.bashrc
sudo echo "export PATH=$PATH:$HIVE_HOME/bin" >>  $HOME/.bashrc

现在可以开始使用了Hive了：

以上内容部分摘自于《Hive编程指南》

标签：java,tar,虚拟机,Hadoop,Hive,hadoop,HOME,安装
来源： https://www.cnblogs.com/alvinai/p/13598548.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

安装虚拟机，Hadoop和Hive