努力学习啊啊
核心错误日志是这一句:
Caused by: java.net.UnknownHostException: hadoop100
表示不认识hadoop100这个主机名,需要配置hostname以及/etc/hosts
fz放逐
应该是防火墙没关导致的
qq_慕码人8451087
9870端口无法打开
https://blog.csdn.net/weixin_45094136/article/details/115349017
另外要查看防火墙是否真的关闭了
我安装的时候9870,8088这2个端口都打不开就是这2个问题造成的
weidong_伟东
使用这个国内源下载会快
qq_慕码人8451087
一样的效果,你在/etc/profile里面设置也是可以的
/etc/profile里面是设置的全局的环境变量,在执行那4个脚本的时候就可以识别到那些配置了
慕后端4477088
这里面提示的是你设置的adress设置的有问题,应该是主机名有问题
你的主机名中有没有用下划线之类的特殊字符?
北冥有鱼其名为昆
你现在的情况是hdfs的服务都起来了,所以访问192.168.100.10:9870是可以的
而NodeManager 和 ResourceManager进程没起来,说明YARN服务没有起来,应该是YARN的相关配置文件修改的有问题
你在启动的时候控制台有没有显示错误问题?
如果没有的话到hadoop的logs目录下(/data/hadoop_repo/logs/hadoop这个目录下)看一下这个日志hadoop-root-resourcemanager-bigdata01.log,这里面会显示ResourceManager进程启动时打印的信息,这里面会有具体的报错信息,你看看能不能解决,解决不了的话把错误信息贴出来我看下
renqqq
我确认了一下,这两个版本的目录结构没有变化,本身这两个版本就属于一个大版本3.2.x,不会有特别大的改动的
你是不是下载成源码包了 源码包里面都是以Hadoop开头的目录
例如:
hadoop-3.2.1.tar.gz 可以直接使用的安装包
hadoop-3.2.1-src.tar.gz 这个是源码包
qq_慕码人1205817
如果搭建集群的那几台云服务器是在一个内网网段的话 建议使用内网ip,如果他们的内网不通的话就只能使用外网了
慕后端0557735
可以的,使用mac就不用使用linux虚拟机了,直接在mac上安装hadoop即可,可能个别操作命令会有区别,大部分命令都是一样的
例如:关闭防火墙的操作和linux中不一样
刘润森
在实际开发中可以使用root,当然创建一个独立的新用户,例如:hadoop用户会更好,主要是基于权限控制方面的考虑
qq_慕容2355427
????厉害了
0CJJ0
?,哈哈,这块一定要细心,特别要注意 ip 还有端口
小草1434
执行ssh-keygen是为了做免密码登录的,因为hadoop在启动的时候默认会使用ssh 命令免密码登录到对应的机器启动集群的相关服务,不管是单机还是集群都是这个流程