项目场景：
用Hadoop编写map阶段，并将结果输出到mysql，本地测试通过，没问题
问题描述：
将项目打包到集群上
就会出现卡死
原因分析：
查看日志
可能是
内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求
解决方案：
在yarn-site.xml添加如下配置
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
在mapred-site.xml修改配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
改为
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://192.168.1.120:8001</value>
<final>true</final>
</property>
ip为master上ip
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之家整理，本文链接：https://www.bmabk.com/index.php/post/133828.html
