[
    {
        "sku": "ABC",
        "num": 3
    },
    {
        "sku": "DEF",
        "num": 2
    }
]

由中括号可知，这个JSON字符串映射成JAVA对象是一个List，而它里面又包含了两个JAVA对象（每个大括号对应一个）。

假设JSON字符串 { "sku": "ABC", "num": 3 } 映射成的POJO为：

public class SkuInfo {
  private String sku;
  private int num;
}

那么，应该怎么用Jackson库来解析原JSON？
文章来源：https://www.codelast.com/
由于JSON字符串 { "sku": "ABC", "num": 3 } 是无名（匿名）的，所以要用这样的方法来解析它：

final ObjectMapper mapper = new ObjectMapper();
SkuInfo[] skuInfos = mapper.readValue(FileUtils.readFileToString(new File("1.json"), Charsets.UTF_8), SkuInfo[].class);

或者你不想把JSON解析成一个JAVA数组，而是一个List的话，可以这么做：

List<SkuInfo> skuInfos = MAPPER.readValue(FileUtils.readFileToString(new File("1.json"), Charsets.UTF_8),
      new TypeReference<List<SkuInfo>>() {});

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

查看更多Apache Pig的教程请点击这里。

在大数据处理领域，JSON格式的数据非常常见，然而用Apache Pig读取JSON并正确取出其中的字段我觉得并不算方便（在某些情况下很容易写错），所以总结一下几个常见的JSON loader/UDF的用法。

假设有数据文件 1.txt，内容是一行JSON（为了简单，这里以一行为例）：

{"items":[{"id":"111","name":"aaa","extra":{"k":"ttt","v":"uuu"}},{"id":"222","name":"bbb","extra":{"k":"rrr","v":"sss"}}]}

为了便于观看，这里把它格式化如下（注意，Pig是按行读取数据，这里格式化只是为了写这篇文章便于展示，实际存储在文件里仍然是一行）：

{
    "items": [
        {
            "id": "111",
            "name": "aaa",
            "extra": {
                "k": "ttt",
                "v": "uuu"
            }
        },
        {
            "id": "222",
            "name": "bbb",
            "extra": {
                "k": "rrr",
                "v": "sss"
            }
        }
    ]
}

我们的目的是正确解析这个JSON。

➤ 来自于Elephant Bird的 com.twitter.elephantbird.pig.piggybank.JsonStringToMap()
其实它不是一个JSON loader而是一个UDF，它的作用是把JSON字符串转成一个map。由于JSON结构中都是key:value形式的数据，所以把JSON字符串转成map之后就可以取出指定字段的内容。
这个UDF对于只有“一层”的JSON非常好用，例如（格式化后）长下面这个样子的JSON：

{
    "id": "111",
    "name": "aaa"
}

此时，可以像下面这样取到字段 id 及 name 的值：

DEFINE Json2Map com.twitter.elephantbird.pig.piggybank.JsonStringToMap();

A = LOAD '1.txt' AS (jsonStr: chararray);
B = FOREACH A GENERATE Json2Map(jsonStr) AS jsonObj;
C = FOREACH B GENERATE (chararray) jsonObj#'id' AS id, (chararray) jsonObj#'name' AS name;
DUMP C;

在这里，JSON被转成了一个map对象，用 #'id' 的方式可以取出名为 id 的key对应的value。
可见这个UDF在某些场合下用起来很方便，但对本文一开始举例的那种嵌套有多层的JSON就不好处理了。
文章来源：https://www.codelast.com/
➤ Pig内置的 JsonLoader
对付本文开头的那种JSON，我们可以使用Pig内置的 JsonLoader 来加载数据，使用它唯一的坏处就是需要定义JSON的结构：

A = LOAD '1.txt' USING JsonLoader('items: {(id:chararray, name:chararray, extra:(k:chararray, v:chararray))}');
B = FOREACH A GENERATE FLATTEN(items);
C = FOREACH B GENERATE id, name, FLATTEN(extra) AS (k, v);
D = FOREACH C GENERATE id, name, k, v;
DUMP D;

我们仔细看一下本文开头的JSON，它的 items 是一个数组，对应到Pig里就是一个bag（bag里的每个元素是一个tuple），因此用JsonLoader定义JSON的结构时，items 是 items: {()} 这样一种结构。
而JSON中的 extra 字段对应的并不是一个数组，所以它对应到Pig里就是一个tuple，因此在JsonLoader中定义结构时 extra 是 extra:(k:chararray, v:chararray) 这样的形式。
文章来源：https://www.codelast.com/
注意：JsonLoader看似好用，然而这里有一个巨坑——JsonLoader中定义的字段名和JSON字符串中的字段名并不对应，它只跟顺序相关！
例如，你代码这样写：

A = LOAD '1.txt' USING JsonLoader('items: {(id:chararray, invalidField:chararray, extra:(k:chararray, v:chararray))}');
B = FOREACH A GENERATE FLATTEN(items);
C = FOREACH B GENERATE id, invalidField, FLATTEN(extra) AS (k, v);
D = FOREACH C GENERATE id, invalidField, k, v;
DUMP D;

竟然能正确输出：

(111,aaa,ttt,uuu)

(222,bbb,rrr,sss)

在上面的代码中，invalidField 是一个在JSON字符串中根本不存在的字段名，然而它却能被JsonLoader正确识别，那是因为JsonLoader是按字段的顺序来识别的，JSON字符串中的第2个字段 name，被JsonLoader映射到了 invalidField 这个字段上。
也正是因为这个原因，如果你的JSON字符串的各个字段顺序是不恒定的，就不能用这种方法来读取！
并且，在JsonLoader中定义JSON的结构时要非常小心，如果不小心写错了顺序，那么肯定会得到错误的值，例如，你这样写：

A = LOAD '1.txt' USING JsonLoader('items: {(name:chararray, id:chararray, extra:(k:chararray, v:chararray))}');

你以为JsonLoader会自动把JSON字符串中的 id 字段映射到你定义的第二个字段（id:chararray）上吗？根本不会！它会把它映射到 name:chararray 上，因为在JSON字符串中，id 字段是排在第1位的字段，而在JsonLoader中，name:chararray 也是排第1位的字段，因此它俩就映射上了。
所以，如果你有JSON数据的控制权，我建议在生成JSON数据的时候，固定生成字段的顺序。例如，如果是使用 Jackson的ObjectMapper生成JSON，那么可以通过 @JsonPropertyOrder 标注来控制JSON字段的顺序。
另外，如果你定义的结构中漏了一个字段，很可能会造成解析不成功，导致程序逻辑不能按设想的执行！

最后，这仅仅是一个嵌套层数非常少的JSON，如果层数非常多的话，会导致你代码很难写，这个时候还是用JAVA写Map-Reduce job去处理吧。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

{"aaa":"{\"ccc\":\"ccc\",\"ddd\":\"ddd\"}","bbb":{"ccc":"ccc","ddd":"ddd"}}

现在要用Jackson解析它为一个Java对象，怎么做？

我们先把这个JSON格式化，便于观察它的结构：

{
    "aaa": "{\"ccc\":\"ccc\",\"ddd\":\"ddd\"}", 
    "bbb": {
        "ccc": "ccc", 
        "ddd": "ddd"
    }
}

所以按照Jackson的套路，我们似乎很容易就可以写出对应的JSON解析代码，先定义几个POJO：
A.java 的主要代码：

public class A {
  private AAA aaa;
  private BBB bbb;

  public AAA getAaa() {
    return aaa;
  }

  public void setAaa(AAA aaa) {
    this.aaa = aaa;
  }

  public BBB getBbb() {
    return bbb;
  }

  public void setBbb(BBB bbb) {
    this.bbb = bbb;
  }
}

文章来源：https://www.codelast.com/
AAA.java 的主要代码：

public class AAA {
  private String ccc;
  private String ddd;

  public String getCcc() {
    return ccc;
  }

  public void setCcc(String ccc) {
    this.ccc = ccc;
  }

  public String getDdd() {
    return ddd;
  }

  public void setDdd(String ddd) {
    this.ddd = ddd;
  }
}

文章来源：https://www.codelast.com/
BBB.java 的主要代码：

public class BBB {
  private String ccc;
  private String ddd;

  public String getCcc() {
    return ccc;
  }

  public void setCcc(String ccc) {
    this.ccc = ccc;
  }

  public String getDdd() {
    return ddd;
  }

  public void setDdd(String ddd) {
    this.ddd = ddd;
  }
}

文章来源：https://www.codelast.com/
然后就是解析的逻辑：

String json = FileUtils.readFileToString(new File("/home/codelast/codelast.json"));
ObjectMapper mapper = new ObjectMapper();
A data = mapper.readValue(json, A.class);

我们的目的是把codelast.json这个文件里保存的JSON字符串解析成类A的一个对象data。

这不是很简单嘛？要不运行一下试试看？
马上报错：

com.fasterxml.jackson.databind.exc.MismatchedInputException: Cannot construct instance of `com.codelast.AAA` (although at least one Creator exists): no String-argument constructor/factory method to deserialize from String value ('{"ccc":"ccc","ddd":"ddd"}')
 at [Source: (String)"{"aaa":"{\"ccc\":\"ccc\",\"ddd\":\"ddd\"}","bbb":{"ccc":"ccc","ddd":"ddd"}}
"; line: 1, column: 8] (through reference chain: com.codelast.A["aaa"])

at com.fasterxml.jackson.databind.exc.MismatchedInputException.from(MismatchedInputException.java:63)
at com.fasterxml.jackson.databind.DeserializationContext.reportInputMismatch(DeserializationContext.java:1342)
at com.fasterxml.jackson.databind.DeserializationContext.handleMissingInstantiator(DeserializationContext.java:1031)
at com.fasterxml.jackson.databind.deser.ValueInstantiator._createFromStringFallbacks(ValueInstantiator.java:371)
at com.fasterxml.jackson.databind.deser.std.StdValueInstantiator.createFromString(StdValueInstantiator.java:323)
at com.fasterxml.jackson.databind.deser.BeanDeserializerBase.deserializeFromString(BeanDeserializerBase.java:1366)
at com.fasterxml.jackson.databind.deser.BeanDeserializer._deserializeOther(BeanDeserializer.java:171)
at com.fasterxml.jackson.databind.deser.BeanDeserializer.deserialize(BeanDeserializer.java:161)
at com.fasterxml.jackson.databind.deser.impl.MethodProperty.deserializeAndSet(MethodProperty.java:127)
at com.fasterxml.jackson.databind.deser.BeanDeserializer.vanillaDeserialize(BeanDeserializer.java:288)
at com.fasterxml.jackson.databind.deser.BeanDeserializer.deserialize(BeanDeserializer.java:151)
at com.fasterxml.jackson.databind.ObjectMapper._readMapAndClose(ObjectMapper.java:4001)
at com.fasterxml.jackson.databind.ObjectMapper.readValue(ObjectMapper.java:2992)

这是什么情况？事实上，这就是由于JSON的“aaa”这个字段里面包含转义字符造成的，如果你Google一下，可能会找到这个知乎帖子，它告诉我们，要为Jackson的 ObjectMapper 设置一个属性为true：Feature.ALLOW_UNQUOTED_CONTROL_CHARS
所以我们可以试试：

String json = FileUtils.readFileToString(new File("/home/codelast/codelast.json"));
ObjectMapper mapper = new ObjectMapper();
mapper.configure(JsonParser.Feature.ALLOW_UNQUOTED_CONTROL_CHARS, true);
A data = mapper.readValue(json, A.class);

再执行代码，会发现报一样的错。
所以上面的解决方案是无效的。
文章来源：https://www.codelast.com/
正确解决这个问题的办法，是参考 Stack Overflow的这个帖子。里面说到，应该创建一个 JsonDeserializer 来搞定这个问题。下面，我就把正确的代码依次贴上来：
A.java 的主要代码（和之前不一样，这里使用了一个自定义的 AAADeserializer）：

public class A {
  @JsonDeserialize(using = AAADeserializer.class)
  private AAA aaa;

  private BBB bbb;

  public AAA getAaa() {
    return aaa;
  }

  public void setAaa(AAA aaa) {
    this.aaa = aaa;
  }

  public BBB getBbb() {
    return bbb;
  }

  public void setBbb(BBB bbb) {
    this.bbb = bbb;
  }
}

文章来源：https://www.codelast.com/
AAA.java、BBB.java 和之前完全一样，不重复贴代码上来。
下面就是关键的 AAADeserializer.java 的主要代码：

public class AAADeserializer extends JsonDeserializer<AAA> {
  private static final ObjectMapper mapper = new ObjectMapper();

  @Override
  public AAA deserialize(JsonParser jsonParser, DeserializationContext deserializationContext) throws IOException {
    return mapper.readValue(jsonParser.getText(), AAA.class);
  }
}

文章来源：https://www.codelast.com/
然后就可以解析JSON了：

String json = FileUtils.readFileToString(new File("/home/codelast/codelast.json"));
ObjectMapper mapper = new ObjectMapper();
A data = mapper.readValue(json, A.class);

你这时候再运行一下这段代码，就会发现不再报错，JSON已经成功解析到对象 data 中，问题解决！

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：