[原创] JAVA map-reduce job的counter页面无法显示的问题(error 500)

这个问题已经不是第一次遇到了,只不过今天痛下决心花费不少时间把它写成文章,给遇到同样问题的朋友一些参考。
我们知道,一个JAVA M-R job跑完后,无论是在命令行,还是在job的信息展示网页上,都会看到输出job counter的信息。在网页上,通过点击job信息页中的"counter"链接就能看到。

hadoop job info page

本来嘛,点进这个页面,会看到正常的counter数据,但是,出问题的情况下,点进去看到的是这种情况:
hadoop counter info error
同时,在shell命令行你也会发现,该job没有任何counter信息输出。
从错误信息页上,你得不到关于错误的任何有效信息,那个"Error Details"里也没有。
虽然counter无法显示,但M-R job是可以正常跑完、正常输出数据的。
文章来源:https://www.codelast.com/
经过测试,我这个case的的问题是:在程序中添加了数量比较多的Hadoop counter造成的。
什么算多?我不知道。我的程序里有240多个counter就出问题了,当我把counter缩减了一半,最终只有120多个counter的时候,counter信息统计就正常了。
如果你遇到了类似问题,可以首先检查一下job中的counter数量是否太多。
文章来源:https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处:codelast.com 
感谢关注我的微信公众号(微信扫一扫):
wechat qrcode of codelast
以及我的微信视频号:

发表评论