实验2 hadoop环境搭建 实验目的: 1. 让学生熟悉常用 linux 环境下的 hadoop 环境的搭建,为以后其它内容的学习打下坚实的基础。 2. 进一步熟悉虚拟机、 ubuntu 使用环境。 实验步骤: 1. 复制镜像文件到电脑,若提示 U 盘无法复制超过 4GB 的文件,可将 U 盘中文件备份到电脑中,然后将 U 盘格式化成 exFAT 格式,就可复制了(别忘记将原来 U 盘上文件再拷贝回来哟)。 2. 在你的 Windows 系统中,安装虚拟机软件(比如 VirtualBox 或 VMVare )。(截图) 3. 打开虚拟机软件 VirtualBox ,在左上角的菜单中,选择“管理”,再选择“导入虚拟电脑”,在弹出的界面中,找到已经下载到本地的镜像文件 UbuntuWithAllBigdataSoftware-XMU-linziyu-2017-11-06.ova ,把镜像导入。(截图) 4. 生成 Ubuntu 虚拟机。进入 Ubuntu 系统时,系统登录用户名是 hadoop ,密码是 hadoop ,里面安装的 MySQL 数据库的 root 用户对应的密码也是 hadoop 。(截图) 5. 打开 VirtualBox ,选定当前虚拟机,点击设置,查看虚拟机参数配置,记下:所分配的内存、硬盘,以及网络设置,要求网络配置成 桥接网卡 模式。保存,启动虚拟机。(截图) 6. 选择 hadoop 用户,输入密码,进入 ubuntu 系统桌面,并打开一个终端窗口。 7. 使用 ifconfig –a 查看网络参数,记下物理网卡名称,如 enp0s3 。 8. 配置虚拟机网络参数,包括 IP 地址,子网掩码,网关地址(参照上次实验内容完成)(截图) 9. 使用 ping 网关,检测网络的连通性。(截图) 10. 试着配置 DNS 信息(通过百度自己查找获取相关配置方法),使 ping baidu.com 能够正常返回信息。即实现能使用域名访问网络。(截图)(若能访问互联网,此) 11. 在 ubuntu 下打开火狐浏览器,访问 https://hadoop.apache.org/releases.html 下载 hadoop 镜像文件 hadoop-2.7.7-src.tar.gz, $ sudo tar -zxf ~/ 下载 /hadoop-2.6.0.tar.gz -C /usr/local # 解压到 /usr/local 中 $cd /usr/local/ $sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为 hadoop $sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限 $ cd /usr/local/hadoop $./bin/hadoop version 应能看到提示: hadoop-2.7.1 ... ... 12. 熟悉常用的 hadoop 操作 ( 1 )使用 hadoop 用户登录 Linux 系统,启动 Hadoop ( Hadoop 的安装目录为 /usr/local/hadoop ),为 hadoop 用户在 HDFS 中创建用户目录 /user/hadoop 。 (你的截图。。) ( 2 )接着在 HDFS 的目录 /user/hadoop 下,创建 test 文件夹,并查看文件列表。 (截图) ( 3 )将 Linux 系统本地的 ~/.bashrc 文件上传到 HDFS 的 test 文件夹中,并查看 test 。 (截图) ( 4 )将 HDFS 文件夹 test 复制到 Linux 系统本地系统的 /usr/local/hadoop 目录下。 (截图) 实验总结 :(实验心得体会、遇到的问题及解决过程)