「[原创]Apache Pig的一些基础概念及用法总结（1）」的评论 https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/ 最优化之路 Tue, 10 May 2022 10:06:25 +0000 hourly 1 https://wordpress.org/?v=6.9.4 评论者：brianlan https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-2095 Wed, 03 Sep 2014 00:14:01 +0000 http://www.codelast.com/?p=3621#comment-2095 非常感谢你的分享，写得很好，已向朋友们推荐

]]> 评论者：wendy https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1734 Wed, 05 Mar 2014 06:48:16 +0000 http://www.codelast.com/?p=3621#comment-1734 回复给 chali。

同求啊 ～ 不知道怎么解决这个错误！！！ 我是parquet文件，可是把jar包弄进去也不行 ！！ 请问楼上解决这个问题了蛮？

]]> 评论者：olive https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1688 Sun, 12 Jan 2014 19:10:29 +0000 http://www.codelast.com/?p=3621#comment-1688 回复给 learnhard。

谢谢楼主，问题解决的，还有一个问题pig_classpath是怎么配置的，引入第三方包，总是不行，比如chukwa的pig支持，以及hcatalog的支持等，执行的时候外部的方法总是不好使，关键是该如何调试。

]]> 评论者：rujingyu https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1680 Thu, 02 Jan 2014 07:53:07 +0000 http://www.codelast.com/?p=3621#comment-1680 非常受教，感谢楼主的分享

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1678 Mon, 30 Dec 2013 14:41:24 +0000 http://www.codelast.com/?p=3621#comment-1678 回复给 olive。

请参考：
http://stackoverflow.com/questions/2423949/storing-data-to-sequencefile-from-apache-pig

]]> 评论者：olive https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1677 Mon, 30 Dec 2013 07:18:03 +0000 http://www.codelast.com/?p=3621#comment-1677 您好
pig怎么处理SequenceFile。

]]> 评论者：yiliyas https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1527 Wed, 11 Sep 2013 06:47:31 +0000 http://www.codelast.com/?p=3621#comment-1527 好东东，多谢分享，收藏学习。
补充一点，如果需要多个输入参数，用多个-param即可，测试通过。

]]> 评论者：rongzheyi https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1440 Mon, 29 Jul 2013 09:48:04 +0000 http://www.codelast.com/?p=3621#comment-1440 写得非常明白，例子很详细。
谢谢。

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1356 Tue, 25 Jun 2013 15:27:52 +0000 http://www.codelast.com/?p=3621#comment-1356 回复给 cj。

请描述清楚问题

]]> 评论者：cj https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1355 Tue, 25 Jun 2013 09:17:37 +0000 http://www.codelast.com/?p=3621#comment-1355 date类型的filter没找到详细的哎 楼主能详细点说下么

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1341 Fri, 07 Jun 2013 02:39:43 +0000 http://www.codelast.com/?p=3621#comment-1341 回复给 litoyao。

(1)IsEmpty的官方解释：
Checks if a bag or map is empty.
所以，你不能把IsEmpty用在category上，它既不是bag也不是map。
(2)经Pig 0.8试验，你所说的第二个错误并不存在。
用你给的数据：
[root@localhost ~]$ cat a.txt
7987421 ypc Dollar Tree 517
7987422 ypc Snappps Pit Barbque 227
7987422 ypc Snappps Pit Barbque 232
8152437 ypc Smokestack Production Inc
8152438 ypc 931 Massachusetts Ave Assoc
8318697 ypc Houck' Wrecker Svc 71
来运行如下Pig脚本毫无问题：
poi2 = LOAD 'a.txt' AS (vendorPoiId: chararray,vendorName: chararray,poi_name: chararray,category: chararray);
category_group = GROUP poi2 BY category;
DUMP category_group;

输出：
(227,{(7987422,ypc,Snappps Pit Barbque,227)})
(232,{(7987422,ypc,Snappps Pit Barbque,232)})
(517,{(7987421,ypc,Dollar Tree,517)})
(,{(8152437,ypc,Smokestack Production Inc,),(8152438,ypc,931 Massachusetts Ave Assoc,),(8318697,ypc,Houck' Wrecker Svc 71,)})

所以，一定是你哪里弄错了。

]]> 评论者：litoyao https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1339 Wed, 05 Jun 2013 08:54:42 +0000 http://www.codelast.com/?p=3621#comment-1339 LZ, 非常感谢回答呀，我不家一个非常奇怪的问题
首先category_id是一个string, 证据如下：
caSchema.add(new Schema.FieldSchema("category_id", DataType.CHARARRAY));

Describe poi2;
poi2: {vendorPoiId: chararray,vendorName: chararray,poi_name: chararray,category: chararray}

dump poi2，列出几条
(7987421,ypc,Dollar Tree,517)
(7987422,ypc,Snappps Pit Barbque,227)
(7987422,ypc,Snappps Pit Barbque,232)
(8152437,ypc,Smokestack Production Inc,)
(8152438,ypc,931 Massachusetts Ave Assoc,)
(8318697,ypc,Houck's Wrecker Svc,71)

但是我在IsEmpty（category）的时候，报错 ERROR 2102: Cannot test a int for emptiness.

以及 category_group = group poi2 by category;
也报错，ClassCastException: java.lang.Integer cannot be cast to java.lang.String

怎么pig 把category当成Integer呢？？？？？？

]]> 评论者：litoyao https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1338 Wed, 05 Jun 2013 08:44:02 +0000 http://www.codelast.com/?p=3621#comment-1338 回复给 learnhard。

是的，不过我也刚好在网上找到答案了。
flatten(TOBAG(*))

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1337 Wed, 05 Jun 2013 02:52:05 +0000 http://www.codelast.com/?p=3621#comment-1337 回复给 litoyao。

你的意思是不是：
把一个tuple变成一个bag，然后再FLATTEN？

]]> 评论者：litoyao https://www.codelast.com/%e5%8e%9f%e5%88%9bpig%e4%b8%ad%e7%9a%84%e4%b8%80%e4%ba%9b%e5%9f%ba%e7%a1%80%e6%a6%82%e5%bf%b5%e6%80%bb%e7%bb%93/comment-page-1/#comment-1333 Mon, 03 Jun 2013 06:38:18 +0000 http://www.codelast.com/?p=3621#comment-1333 LZ ，请教一个问题。

怎么把
(1,2,3) 变成
1
2
3
???

]]>