博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop环境配置
阅读量:6258 次
发布时间:2019-06-22

本文共 3133 字,大约阅读时间需要 10 分钟。

hot3.png

    Hadoop环境安装完之后需要进行相应的配置

    Hadoop组件通过XML来配置,core-site.xml用于配置Common组件的属性,hdfs-site.xml文件用于配置HDFS属性,mapred-site.xml文件用于配置MapReduce属性,hdoop支持独立模式、伪分布模式、全分布模式,在不同模式下,各属性的配置:

组件 属性 独立模式 伪分布模式 全分布模式
common fs.default.name file:///(默认) hdfs://localhost/ hdfs://namenode
hdfs dfs.replication N/A 1 3
mapreduce mapred.job.tracker(hadoop2不用配置) local(默认) localhost:8021

jobtracker:8021    

    hadoop日志配置:在hadoop-env.sh中添加export HADOOP_LOG_DIR=/usr/lib/hadoop/logs

    我hadoop2的配置如下:

    core-site.xml

    

        
                
fs.default.name
                
hdfs://localhost/
        
        
                
hadoop.tmp.dir
                
/usr/lib/hadoop/tmp/
        

    hdfs-site.xml:

    

        
                
dfs.default.name
                
/usr/lib/hadoop/logs/
        
        
                
dfs.replication
                
1
        
        
                
dfs.permissions
                
false
        

    mapred-site.xml:

    

        
                
mapreduce.framework.name
                
Yarn
        

    yarn-site.xml:

    

        
                
yarn.resourcemanager.resource-tracker.address
                
localhost:8990
        
        
                
yarn.resourcemanager.scheduler.address
                
localhost:8991
        
        
                
yarn.resourcemanager.scheduler.class
                
org.apache.hadoop.yarn.server.resourcemanage.scheduler.capacity.CapacityScheduler
        
        
                
yarn.resourcemanager.address
                
localhost:8993
        
        
                
yarn.nodemanager.local-dirs
                
/usr/lib/hadoop/tmp/node
        
        
                
yarn.nodemanager.address
                
localhost:8994
        
        
                
yarn.nodemanager.resource.memory-mb
                
102040
        
        
                
yarn.nodemanager.remote-app-log-dir
                
/usr/lib/hadoop/tmp/app-logs
        
        
                
yarn.nodemanager.log-dirs
                
/usr/lib/hadoop/tmp/node
        
        
                
yarn.nodemanager.aux-services
                
mapreduce_shuffle
        

    slaves:

localhost

    完事之后执行hadoop namenode -fromat 格式化hdfs文件系统。

    

转载于:https://my.oschina.net/u/1404252/blog/191197

你可能感兴趣的文章
zabbix主动被动模式说明/区别
查看>>
神奇的AC
查看>>
数据库防火墙——实现数据库的访问行为控制、危险操作阻断、可疑行为审计...
查看>>
PCIE_DMA实例一:xapp1052详细使用说明
查看>>
MySQL也有潜规则 – Select 语句不加 Order By 如何排序?
查看>>
Struts(二十八):自定义拦截器
查看>>
安装Jenkins getting started卡住
查看>>
金软PDF转换(x-PDFConper)
查看>>
喵哈哈村的魔法考试 Round #15 (Div.2) 题解
查看>>
使用架构(XSD)验证XML文件
查看>>
Android开发之httpclient文件上传实现
查看>>
极客头条使用心得
查看>>
CSS解决无空格太长的字母,数字不会自己主动换行的问题
查看>>
日志打印longging模块(控制台和文件同时输出)
查看>>
这些年我们一起搞过的持续集成~Jenkins+Perl and Shell script
查看>>
php新版本号废弃 preg_replace /e 修饰符
查看>>
Android:Unable to resolve target ‘android-8’问题解决
查看>>
cocos2D(七)---- CCScene
查看>>
【DeepLearning】汉字手写体识别
查看>>
2017年中国大学生程序设计竞赛-中南地区赛暨第八届湘潭市大学生计算机程序设计大赛题解&源码(A.高斯消元,D,模拟,E,前缀和,F,LCS,H,Prim算法,I,胡搞,J,树状数组)...
查看>>