yarn参数调优

情景描述：总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive面临问题：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启了JVM宠用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。解决办法NodeManager默认使用内存为8G，默认使用CPU核数为8核，如果不修改该参数，NodeManager在生产环境下最多只能使用8核8G内存，造成服务器资源浪费，需要做出适当的调整yarn.nodemanager.resource.memory-mb Nodemanager使用内存数yarn.nodemanaer.resource.cpu-vcores NodeManager使用CPU核数

yarn参数调优最先出现在Python成神之路。