百度360必应搜狗淘宝本站头条
materialthememybatisselectonesystempropertieseasyexcel导出图片css圆形进度条
当前位置：网站首页 > 技术教程 > 正文

Centos7环境Hadoop3集群搭建（centos7配置hadoop）

toqiye 2024-09-04 20:04 11 浏览 0 评论

由于项目需要存储历史业务数据，经过评估数据量会达到100亿以上，在原有mongodb集群和ES集群基础上，需要搭建Hbase集群进行调研，所以首先总结一下Hadoop集群的搭建过程。

一、三个节点的集群规划：


二、安装java1.8

请官网下载jdk1.8安装包,参考链接：

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

tar -zxvf jdk-8u191-linux-x64.tar.gz
mv jdk1.8.0_191 jdk1.8

配置/etc/profile，追加如下内容：

export JAVA_HOME=/opt/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar

配置生效

source /etc/profile

三、配置hosts文件

三台机器分别执行下列命令

vim /etc/hosts

#添加如下内容
10.10.26.21 node21
10.10.26.245 node245
10.10.26.255 node255

四、设置3台机器之间无密码访问

三台机器分别执行下列命令

#生成公钥
#一直回车，设置为默认值即可
ssh-keygen -t rsa  

生成公钥后，分发到3台机器上
ssh-copy-id node21
ssh-copy-id node245
ssh-copy-id node255

五、下载Hadoop安装包并进行配置

1、下载包地址：

mkdir -p /opt/hadoop
cd /opt/hadoop/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

tar -zxvf hadoop-3.2.1.tar.gz

2、修改Hadoop环境变量

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

##追加内容
export JAVA_HOME=/opt/jdk1.8
 
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
 
export HADOOP_PID_DIR=/var/hadoopdata/pids
export HADOOP_LOG_DIR=/var/hadoopdata/logs

3、修改core-site.xml

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml

<configuration>
 
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node21:8020</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoopdata/tmp</value>
</property>
 
</configuration>

3、修改HDFS的配置文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml

<configuration>
   <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>node255:50090</value>
   </property>
   <property>
             <name>dfs.replication</name>
             <value>2</value>
   </property>
   <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/var/data/hadoop/hdfs/name</value>
   </property>
   <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/var/data/hadoop/hdfs/data</value>
   </property>
 
<property>
  <name>dfs.namenode.http-address</name>
  <value>node21:8084</value>
</property>
 
</configuration>

注意这里的8084 即是HDFS web 页面的监听端口

4、配置worker文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/workers

##追加内容
node21
node245
node255

5、配置yarn-site.xml

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.localizer.address</name>
      <value>0.0.0.0:8140</value>
   </property>
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>node21</value>
   </property>
   <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
   </property>
   <property>
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>604800</value>
   </property>
   <property>
       <name>yarn.log.server.url</name>
       <value>http://node255:19888/jobhistory/logs</value>
   </property>
 
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>node21:3206</value>
  </property>
 
 
</configuration>

注意这里3296就是hadoop yarn的web访问端口。

6、配置mapred-site.xml文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
 
   <property>
       <name>yarn.app.mapreduce.am.env</name>
       <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1</value>
   </property>
   <property>
       <name>mapreduce.map.env</name>
       <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1</value>
   </property>
   <property>
       <name>mapreduce.reduce.env</name>
       <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1</value>
   </property>
 
   <property>
       <name>mapreduce.jobhistory.address</name>
       <value>node255:10020</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>node255:19888</value>
   </property>

</configuration>

7、把以上配置完的Hadoop文件夹copy到另两个节点 在node21上执行：

scp -r hadoop-3.2.1 root@node245:/opt/

scp -r hadoop-3.2.1 root@node255:/opt/

9、格式化HDFS的namenode节点 因为node21节点是namenode服务所在服务器，所以在node21上执行：

[root@node21 hadoop]# hdfs namenode -format

六、启动Hadoop集群

在三台机器上分别执行

vim /etc/profile

添加以下内容

#Hadoop config
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

启动命令

[root@node21 hadoop]# start-all.sh

七、查看节点进程情况，验证是否启动成功

3个节点进程如下： node21节点包括yarn的NodeManager和ResourceManager两个进程，hdfs的NameNode和DataNode两个进程。

[root@node21 logs]# jps -l
18470 org.apache.hadoop.hdfs.server.datanode.DataNode
19144 org.apache.hadoop.yarn.server.nodemanager.NodeManager
18940 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
18269 org.apache.hadoop.hdfs.server.namenode.NameNode
19629 sun.tools.jps.Jps

node245节点包括yarn的NodeManager进程，hdfs的DataNode进程。

[root@node245 opt]# jps -l
10689 org.apache.hadoop.hdfs.server.datanode.DataNode
10947 sun.tools.jps.Jps
10810 org.apache.hadoop.yarn.server.nodemanager.NodeManager

node255节点包括yarn的NodeManager进程，hdfs的DataNode和SecondaryNameNode两个进程。

[root@node255 hadoop-3.2.1]# jps -l
20151 sun.tools.jps.Jps
19768 org.apache.hadoop.hdfs.server.datanode.DataNode
19976 org.apache.hadoop.yarn.server.nodemanager.NodeManager
19886 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
[root@node255 hadoop-3.2.1]#

说明Hadoop已经正常启动了。

访问位置：

1、HDFS访问位置：http://10.10.26.21:8084/

可查看数据节点的信息：我的3个节点的硬盘每个都是160G。



HDFS空间：473G



2、Yarn页面访问位置：http://10.10.26.21:3206/cluster


以上完成了Hadoop安装，主要是HDFS和YARN相关的多个服务进程。

下一篇将继续基于Hadoop集群，来继续完成Hbase集群的搭建工作。

相关推荐

Star 17.3k!给它一张屏幕截图，即可一键克隆网页!

本文为大家分享一款本周爆火的GPT开源项目。前言你敢信，只凭借着一张屏幕截图即可转换生成HTML/TailwindCSS代码。可以算得上是前端工程师的福音。它就是screenshot-to-...

AI从截图直接生成代码、前端程序员的福利!

简介项目可以将任何屏幕截图或设计转换为干净的代码（支持大多数框架）。来自领先公司的开发人员和设计师使用的排名第一的工具。完全开源，在GitHub上拥有超过35,000颗星。非常受欢迎。各位小伙...

一款高颜值、跨平台、自托管的免费开源CRM项目——Twenty

前言大家好，这里是可爱的Cherry。作为一个“甲方”，Cherry其实挺知道客户管理的重要的。但是对于客户管理怎么做，以及CRM的作用，我却是一无所知。之前有朋友在评论区留言，说有没有开源的CRM系...

解放双手，前端界面再也不用自己写了?

随着AI技术的发展，现在有越来越多的尝试将AI应用于UI设计和开发中，以期提高效率和降低成本。今天就给大家介绍一个开源的AI网页生成工具：OpenUIOpenUIOpenUI是一个创...

代码调试，教给你（代码调试是什么意思）

昨天我和一些朋友一起调试代码，他们做程序员这一行都不太久，我向他们展示了一些代码调试技巧。今天早上我在想，我应该如何教授他们学习代码调试？我在Twitter上发了一条推文说，我从来没有见过任何好的调试...

Screenshot-to-code:用屏幕截图生成代码

Screenshot-to-code是一个简单的工具，可使用AI将屏幕截图、模型和Figma设计转换为干净、实用的代码。现在支持ClaudeSonnet3.5和GPT-4o！Scre...

next实现原理（next method）

Next.js是一个基于React的服务器端渲染（SSR）和静态生成（SSG）框架，它的实现原理涉及多个关键技术点，包括服务端渲染（SSR）、静态生成（SSG）、客户端渲染（CSR）、...

可逐步操作的具体流程（可逐步操作的具体流程包括）

假设你是一个单人开发者，使用主流技术栈（React+Node.js+MySQL），以下是详细步骤：---###**一、需求分析与原型设计**1.**核心功能清单**-用户能添加、删除、...

截图转代码只需1步!你离高效开发只差这款神器

引言在现代前端开发中，将设计稿转换为代码是一个既重要又耗时的环节。手动编写HTML结构、调试CSS样式、调整布局对齐，不仅耗费时间，还容易出错。而Screenshot-to-Code这款革...

web开发 前端 后端（web开发前端后端）

区别：1、前端是指用户可见的界面，而后端是指用户看不到的东西，考虑底层业务逻辑的实现，平台的稳定性、性能等。2、前端开发用到的技术有HTML5、CSS3、JS、jQuery、Bootstrap、Nod...

手把手教你Dify私有化部署，打造专属AI平台

一、Dify是什么？Dify是一款极具创新性的开源LLM应用开发平台，它就像是一把万能钥匙，为开发者们打开了通往生成式AI应用开发新世界的大门。其融合了后端即服务（BackendasS...

前后端分离架构设计:提升开发效率与业务支撑力的密钥

前后端分离架构设计解析一、定义与核心思想前后端分离是一种将用户界面（前端）与业务逻辑（后端）解耦的架构模式，通过RESTfulAPI或GraphQL实现数据交互。前端专注于视图渲染与交互逻辑...

Kubernetes最小部署单元Pod（kubernetes最小部署单元）

一、Kubernetes与Pod简介在当今云计算和容器化技术盛行的时代，Kubernetes已然成为容器编排领域的中流砥柱。它是一个开源的容器编排平台，由Google基于其内部使用的Bo...

【程序员必藏!零基础本地部署DeepSeek大模型保姆级教程】

为什么选择本地部署？数据安全：敏感代码/业务数据永不外传闪电响应：局域网推理延迟<100ms，告别云端排队深度定制：自由修改模型代码，打造专属AI助手准备工具（5分钟搞定）1核心工具下载...

【Python程序开发系列】使用Flask实现前后端分离(案例)

这是我的第398篇原创文章。一、引言随着web开发的不断发展，前后端分离已成为越来越流行的架构设计。Flask是一个轻量级的Pythonweb框架，非常适合用于构建API，然后配合前端框...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表