「[原创]Apache Pig中文教程合集」的评论 https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/ 最优化之路 Sat, 18 Nov 2023 15:11:20 +0000 hourly 1 https://wordpress.org/?v=6.9.4 评论者：placebo https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-1543 Mon, 23 Sep 2013 09:55:22 +0000 http://www.codelast.com/?p=4550#comment-1543 回复给 龙山飞俊。

pig -x mapreduce filename > log 2>&1

]]> 评论者：龙山飞俊 https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-1472 Tue, 06 Aug 2013 01:46:55 +0000 http://www.codelast.com/?p=4550#comment-1472 回复给 learnhard。

我问的其实是执行脚本的时候屏幕会输出
successed read xxx records ...

这些数据怎么才能重定向输出到某个文件上， 作为程序执行日志。

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-1429 Tue, 23 Jul 2013 06:58:06 +0000 http://www.codelast.com/?p=4550#comment-1429 回复给 龙山飞俊。

在不借助其他PigStorage的情况下，Pig只能把数据输出到HDFS上，因此，在shell脚本中执行Pig脚本，然后把Pig脚本输出到HDFS上的数据hadoop fs -get到local fs再处理。

]]> 评论者：龙山飞俊 https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-1409 Fri, 19 Jul 2013 05:10:51 +0000 http://www.codelast.com/?p=4550#comment-1409 我想搞一个自动运行的SHELL脚本， 让系统每天一个Pig脚本， 请问如何能够让Pig运行一次脚本输出到日志上。 因为要对输入行数和输出行数进行归档。

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-1007 Wed, 30 Jan 2013 09:51:55 +0000 http://www.codelast.com/?p=4550#comment-1007 回复给 chali。

早就有了很多年了：
http://pig.apache.org/docs/r0.8.1/api/org/apache/pig/piggybank/storage/DBStorage.html
http://stackoverflow.com/questions/4648814/a-way-to-export-the-results-from-pig-to-a-database
不过不建议那样做，可能在特定的MySQL环境下会有陷阱，具体一两句说不清，我不打算在这里叙述。
结果数据量不大的话，还是建议用shell script来插入MySQL。

]]> 评论者：chali https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-1006 Wed, 30 Jan 2013 08:36:48 +0000 http://www.codelast.com/?p=4550#comment-1006 最近正在考虑如何将pig在mapreduce模式下的操作结果保存入关系型数据库，像mysql之类的，请问该如何操作？这样的想法可以实现不能？

]]> 评论者：senchen https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-790 Thu, 22 Nov 2012 13:39:45 +0000 http://www.codelast.com/?p=4550#comment-790 回复给 learnhard。

很感谢楼主答复，大概问题我找到了，是人为设置并发执行的时候导致的，面对少数据量，而设置高并发会出现这样的问题，不知道这个是不是个bug ：）

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-722 Mon, 12 Nov 2012 04:36:27 +0000 http://www.codelast.com/?p=4550#comment-722 回复给 senchen。

没遇到过这种问题。
如果不是local job，那么应该就跟提交jog的机器无关，帮不了你。
如果是local job，建议换一台机器试跑一下看看是否出问题。

]]> 评论者：senchen https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-711 Fri, 09 Nov 2012 16:31:29 +0000 http://www.codelast.com/?p=4550#comment-711 楼主，求助您问题：
java.lang.RuntimeException: java.io.FileNotFoundException: File does not exist: /pig_tmp/temp434410245/tmp1466749759/part-r-00113

我用小数据量跑pig脚本的时候，经常会出现这样的错误，
但是脚本平时在大数量中跑是正常的

查看了日志，初步发现的问题是：相关联的上一步job写的中间数据被删掉了，不知道什么原因？

]]> 评论者：june_1201 https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-421 Sun, 13 May 2012 18:18:07 +0000 http://www.codelast.com/?p=4550#comment-421 good~ 支持楼主~
感谢楼主的分享精神~

]]> 评论者：Perfect Ryan https://www.codelast.com/%e5%8e%9f%e5%88%9bapache-pig%e4%b8%ad%e6%96%87%e6%95%99%e7%a8%8b%e9%9b%86%e5%90%88/comment-page-1/#comment-395 Tue, 10 Apr 2012 10:47:03 +0000 http://www.codelast.com/?p=4550#comment-395 一直在关注，从学PIG就一直看你写的文章。期待更多的更新。

]]>