博客
关于我
hadoop学习(四)----windows环境下安装hadoop
阅读量:440 次
发布时间:2019-03-06

本文共 1662 字,大约阅读时间需要 5 分钟。

因为我们不能在线上环境进行调试hadoop,这样就只能在本地先调试好了再放到线上去啦。我本地是windows环境,今天先记下windows下搭建hadoop2.7的步骤。

1 本地环境

  1. windows7 64位
  2. hadoop-2.7.3.tar.gz

hadoop在apache下载,看别的教程都说是需要搭建Cygwin,但是后来在国外论坛上看到已经有大神给出了windows下搭建hadoop环境的依赖库,所以我们省下了甚多麻烦哈。。将解压的bin目录和etc目录替换掉你的本地hadoop里面的bin和etc即可,etc目录最好还是你自己配置。

替换完成之后我们别忘了检查你的环境变量,我本地hadoop文件夹在E盘根目录,配置到环境变量:

新建 HADOOP_HOME 变量:

HADOOP_HOMEE:\hadoop

在path里面加上:

%HADOOP_HOME%\bin;

然后还有把刚才替换的hadoop/bin里面的 hadoop.dll库文件复制一份放到c:/windows/System32里面。

然后配置etc/hadoop里面的4个文件:

core-site.xml

fs.defaultFS
hdfs://localhost:9000

hdfs-site.xml

dfs.replication
1
dfs.namenode.name.dir
file:/hadoop/data/dfs/namenode
dfs.datanode.data.dir
file:/hadoop/data/dfs/datanode

mapred-site.xml

mapreduce.framework.name
yarn

yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

以上四个文件都是按照最小配置来写的如果你还有别的需求请参考官网的配置。

接下来我们需要格式化namenode,进入hadoop/bin目录执行:

hadoop namenode -format

执行完毕再进入sbin目录执行启动命令:

start-all.cmd

接着会启动四个窗口,分别启动本地的namenode,datanode,你可以使用jps命令查看是否启动完成:

如上便是成功启动啦,接着我们可以启动浏览器查看datanode控制台和mapreduce控制台:

这样我们的本地开发环境就搭建好了。

停止服务使用如下命令:

sbin目录下执行: stop-all.cmd

转载地址:http://xodfz.baihongyu.com/

你可能感兴趣的文章
微信小程序开发技巧总结 (一)-- 数据传递和存储
查看>>
dock基本使用
查看>>
ASP查询数据RS转换成COMMAND
查看>>
getDomain(url)-我的JavaScript函数库-mazey.js
查看>>
CSS:text-decoration参数说明
查看>>
ES6通过Set数组去重
查看>>
春风下也有落叶
查看>>
[IDEA] IntelliJ IDEA 安装教程
查看>>
XNA实现骨骼动画 归纳总结
查看>>
Java读书笔记06 继承
查看>>
Android中的Interpolator
查看>>
Java虚拟机JVM学习07 类的卸载机制
查看>>
Mockito Hello World
查看>>
Material Design Animation
查看>>
缓冲区溢出实例(一)--Windows
查看>>
Moonraker 靶机渗透
查看>>
使用 EW 作Socks5代理内网穿透
查看>>
免杀工具汇总
查看>>
免杀工具汇总
查看>>
缓冲区溢出实例(一)–Windows
查看>>