数仓培训第十三天

1.Container

关于Yarn的调优 就是调container
首先明确一个container容器的概念，这是一个虚拟的概念，其实是一组memory+cpu vcore资源的组合,
是用来运行task任务的

2.

bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.16.2.jar
grep /wordcount/input /wordcount/output2 ‘dfs[a-z.]+’

日志通过web界面查看

点击对应任务，查看logs

一般看stderr

生产上应该快速解决问题，着重于快速让生产恢复
而不是揪着不放，研究透彻

3.调度器

FIFO Scheduler 先进先出
Capacity Scheduler 计算
FairScheduler 公平 生产一般用这个

三种调度器