hadoop介绍讲解（大数据 hadoop 三种运行模式的区别、及详细配置讲解）
本文目录
大数据 hadoop 三种运行模式的区别、及详细配置讲解
基于Hadoop进行开发时，有时候会被Hadoop的运行模式弄得晕头转向，傻傻分不清各种运行模式的区别，给日常开发带来很多困惑，不同集群配置文件也各不相不同。弄明白Hadoop的运行模式和对配置文件的作用要做到心中明了，在工作中才能得手顺心。
hadoop的配置文件均以XML文件进行配置，它有四个最常见的配置文件，分别为：
core-site.xml文件主要用于配置通用属性。
hdfs-site.xml文件用于配置Hdfs的属性。
mapred-site.xml文件用于配置Mapreduce的属性。
yarn-site.xml文件用于配置Yarn的属性。
一般来说，这四种配置文件都存储在hadoop默认的安装目录etc/hadoop子目录中。 不过我们也可以在搭建集群时根据实际需求，把etc/hadoop目录和其下的文件复制到另外一个位置。这样可以把配置文件和安装文件分离开来，方便管理。
注意：如果把etc/hadoop目录和其下的文件复制到另外一个位置。
我们需要在环境变量中将hadoop_conf_dir设置成指向新目录。
1、本地运行模式
无需任何守护进程 ，所有的程序都运行在同一个JVM上执行。在本地模式下调试MR程序非常高效方便，一般该模式主要是在学习或者开发阶段调试使用 。
2、伪分布式模式
Hadoop守护进程运行在本地机器上 ，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群，伪分布式是完全分布式的一个特例。
3、完全分布式模式
Hadoop守护进程运行在一个集群上 。这种运行模式也就是我们常见的各种云，主要用于大规模的生产环境中。
注意：分布式要启动守护进程 ，是指在使用分布式hadoop时，要先启动一些准备程序进程，然后才能使用。 比如start-dfs.sh start-yarn.sh，而本地模式不需要启动这些守护进程。
注意：在本地模式下，将使用本地文件系统和本地MapReduce运行器。在分布式模式下，将启动HDFS和YARN守护进程。
hadoop为什么要格式化
hadoop可以看成是独立的文件系统（准确说是hadoop中的hdfs），类似fat32、ntfs，就像空硬盘需要格式化一样的道理，让存储空间明白该按什么方式组织存款数据
更多文章：
全球新冠肺炎疫情背景下航运发展（盐田港复苏日志：半年历劫从“低谷”到“爆仓” 疫情之后巨轮如何越洋航行）
2026年9月7日 17:10
matlab求解带字母参数方程组（我想matlab求一个关于x，y的方程组 ab c d f e h m n 都是参数）
2026年9月7日 16:30
oracle中的循环语句（下面哪个不是oracle程序设计中的循环语句 a for）
2026年9月7日 15:30
2026年9月7日 15:10
2026年9月7日 14:10
电脑里2个系统怎么删除一个（电脑开机显示有两个系统，如何删除一个）
2026年9月7日 12:20
2026年9月7日 10:20
scrollthrough意思（“scroll”是什么意思）
2026年9月7日 08:00
怎么激活keygen（注册机如何激活cad2008一个简单激活cad2008的方法）
2026年9月7日 06:30
vba编写excel插件（excel vba中能否动态创建控件）
2026年9月7日 04:40
