版本:hadoop-2.7.7

1.介绍

Hadoop是一个能够对海量数据进行分布式处理的系统架构。
Hadoop框架的核心是:HDFS和MapReduce。
hdfs默认分块大小(Block Size)是128MB

2.Hadoop安装

配置环境变量

JAVA_HOME=/app/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/app/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

设定本机的无密码ssh登陆

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改配置文件etc/hadoop/core-site.xml

  <configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/app/hadoop-2.7.7/tmp</value>
     </property>
 </configuration> 

修改配置文件etc/hadoop/hdfs-site.xml

 <configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
 </configuration> 

格式化文件系统

hdfs namenode -format

启动NameNode和DataNode节点进程

sbin/start-dfs.sh

使用jps查看进程

 hechaojiedeMacBook-Pro:hadoop hecj$ jps
 14192 Launcher
 17186 DataNode
 17109 NameNode
 17405 Jps
 1134 
 17279 SecondaryNameNode 

访问NameNode的Web界面

http://localhost:50070/

3.hdfs简单使用

创建目录
hdfs dfs -mkdir /data
hdfs dfs -mkdir /data/demo
查看目录
hadoop fs -ls /data
上传本地文件到hdfs目录 
hadoop fs -put /app/hadoop-2.7.7/etc/hadoop/core-site.xml /data/demo 

发表评论

电子邮件地址不会被公开。 必填项已用*标注