yarn

  1. yarn
    1. yarn架构
    2. yarn辅助角色
    3. yarn容器
    4. 常见命令
    5. 提交mapreduce示例程序到yarn运行
      1. mapreduce示例程序

yarn

管控整个集群的资源进行调度

yarn架构

主从结构:

主角色(master):resourcemanager

从角色(slave):nodemanager

yarn辅助角色

搭配两个辅助角色使得yarn更加稳定

代理服务器(proxyserver):web application proxy web应用程序代理,使用代理的原因是为了减少通过yarn进行基于网络的攻击的可能性

历史服务器(jobhistoryserver):应用程序历史信息记录服务

yarn容器

image-20230912100208820

image-20230912100236664

常见命令

start-yarn.sh
stop-yarn.sh

yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
mapred --damon start|stop historyserver

提交mapreduce示例程序到yarn运行

yarn作为资源调度管理框架,其自身提供资源供许多程序运行,常见的有:

mapreduce程序

spark程序

flink程序

mapreduce示例程序

内置示例代码在:

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-xxx.jar

通过hadoop jar运行

hadoop jar 程序文件 java类名 [程序参数] ...

转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。