Hadoop入门第一篇——环境配置


声明:本文转载自https://my.oschina.net/u/3085190/blog/1590048,转载目的在于传递更多信息,仅供学习交流之用。如有侵权行为,请联系我,我会及时删除。

一、准备工作

    1. 所需软件

            1)    jdk-linux.rpm

            2)    Hadoop2.8.1.tar.gz

            3)    CentOS.iso

            4)    VirtualBox.exe

            5)    XShell(下载地址:http://www.netsarang.com/download/free_license.html)

            6)    Xftp

    2. 配置windows虚拟网卡

            打开网络连接,找到VirtualBox Host-Only Network,右键属性,选择IPv4双击,配置固定Ip地址。

图 1.2.1

    3. 新建Linux虚拟机

            打开已经安装好的VirtualBox管理器,新建虚拟机,选择操作系统为Linux版本,然后一直选择“下一步”创建完成名为”hd_master“的虚拟机。

图 1.3.1

            在创建好的hd_master机器上右键->设置,选择“网络”,连接方式改为:仅主机(Host-Only)网络。

图 1.3.2

            在上一步中的设置页面中选择“存储”,在控制器:IDE光驱中选择提前下载好的CentOS系统盘,点击“OK”。

图 1.3.3

            启动hd_master虚拟机,等待安装CentOS操作系统。

图 1.3.4

            如果对自己的英文功底不太自信,安装的时候可以选择中文,点击“继续”。

图 1.3.5

            在安装信息摘要页面选择”软件选择“,在进入页面中选择”基础设置服务器“选项(当然这里可以根据自己的需要选择不同环境),点击”安装位置(D)“,选择本地标准磁盘。以上两点操作完成后,点击”开始安装”。

图 1.3.6

            进入安装配置页面,当前页面ROOT密码是没设置的,选择”ROOT密码“设置自己的密码(如果设置密码过于简单,需要点击两次”完成“按钮),然后等待系统安装完成。

图 1.3.7

二、配置环境

    1. 修改主机名

hostnamectl set-hostname hd_master

    2. 配置网络

        在命令行输入:vim /etc/sysconfig/network-scripts/ifcfg-enp0s3,回车,进入配置文件,修改文件内容为:

#默认内容 TYPE=Ethernet #IP地址 IPADDR=192.168.56.110 #子网掩码 NETMASK=255.255.255.0

        在命令行输入:vim /etc/sysconfig/network,回车,进入配置文件修改网关,修改为windows虚拟网卡IP地址。

NETWORKING=yes GATEWAY=192.168.56.1 

        重启网卡,并检查是否配置完成,如果ping 192.168.56.1(windows虚拟网卡IP地址)是通的,说明配置成功,重启hd_master。

//重启网卡 systemctl restart network //检查当前网卡信息 ifconfig

图 2.2.1

    3. 通过XShell访问hd_master

        打开XShell,新建会话,输入hd_master虚拟机的IP信息,点击确定。

图 2.3.1

        在弹出回话页面,点击“连接”

        

图 2.3.2

        在弹出提示页面,选择“接受并保持(S)”,输入用户名和密码(为了方便可以选择记住密码)。

图 2.3.3

图 2.3.4

        在XShell中登录成功后,选择Xftp(文件传输)插件。

图 2.3.5

        在弹出页面中,把Windows上提前下载好的hadoop和jdk安装文件传到hd_master中的/usr/local目录中(注意:这里会提示输入hd_master的登录密码),在左侧的windows目录中双击需要传入hd_master中的文件,等待传输完毕后,文件即可在右侧的hd_master中查看到。

图 2.3.6

    4. 配置hadoop和jdk环境       

        在XShell中输入命令查看hd_master中是否已经传入hadoop和jdk文件。

ls /usr/local

图 2.4.1

       进入local目录,执行jdk文件,安装java环境,安装完成后,输入“java -version”命令,显示jdk版本,说明安装成功。

rpm -ivh jdk-8u151-linux-x64.rpm

图 2.4.2

        进入local目录,解压hadoop文件到当前目录。

tar -zxf hadoop-2.8.1.tar.gz

        配置JAVA_HOME环境变量。

            1)修改hadoop-env.sh配置文件

//进入hadoop-env.sh文件所在目录 cd /usr/local/hadoop-2.8.1/etc/hadoop/  //进入hadoop-env.sh文件 vim hadoop-env.sh  //修改JAVA_HOME值 export JAVA_HOME=/usr/java/default

            2)修改profile配置文件

//进入profile文件 vim /etc/profile  //导入PATH变量 export PATH=$PATH:/usr/local/hadoop-2.8.1/bin:/usr/local/hadoop-2.8.1/sbin 

            3)重新加载profile文件

source /etc/profile

            4)输入"hadoop version",回车,显示hadoop版本信息说明配置成功。

图 2.4.3

 

本文发表于2017年12月15日 10:33
(c)注:本文转载自https://my.oschina.net/u/3085190/blog/1590048,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 2134 讨论 0 喜欢 0

抢先体验

扫码体验
趣味小程序
文字表情生成器

闪念胶囊

你要过得好哇,这样我才能恨你啊,你要是过得不好,我都不知道该恨你还是拥抱你啊。

直抵黄龙府,与诸君痛饮尔。

那时陪伴我的人啊,你们如今在何方。

不出意外的话,我们再也不会见了,祝你前程似锦。

这世界真好,吃野东西也要留出这条命来看看

快捷链接
网站地图
提交友链
Copyright © 2016 - 2021 Cion.
All Rights Reserved.
京ICP备2021004668号-1