Hadoop脚本――Hadoop实战初级部分学习笔记

2014-11-24 00:59:47 · 作者: · 浏览: 9
Hadoop脚本——Hadoop实战初级部分学习笔记
4、Hadoop脚本
1、bin目录
hadoop:hadoop shell
hadoop-config.sh  给hadoop的一些变量赋值 HADOOP_HOME、HADOOP_CONF等

hadoop-deamon.sh

call salves.sh

start-all.sh
start-dfs sh
start-balancer sh
start-jobhistoryserver sh
start-mapred.sh

hadoop namenode –format 格式化 类似于格式化磁盘

hadoop fsck

hadoop diskcp  “hdfs://localhost:9000/tmp/test” “hdfs://localhost:9000/tmp/test2”  (会启动mapreduce) 
虚拟机
比较慢。。 集群直接复制,hadoop版本必须一致。 hadoop classpath 查看依赖的jar包 hadoop deamonlog -getlevel localhost:50070 namenode 看日志级别 hadoop deamonlog -setlevel localhost:50070 namenode info 设置日志级别