hadoop fs -cp /path/to/your/hive/table/hdfs/dir/date=2026-03-20 /path/to/your/hive/table/hdfs/dir/date=2026-03-21

（2）光复制目录没用，数据仍然是查询不到的，需要用在Hive命令行交互模式下，执行以下命令让复制出来的数据"生效"

msck repair table 表名;

该命令用于修复表的元数据。
直接在 HDFS 上创建了分区目录，但未通过 ALTER TABLE ADD PARTITION 命令注册到 Hive 元数据中，运行msck命令后，这些分区会被自动发现并添加到元数据。

这个效果是怎么实现的呢？按如下步骤操作——
以MacOS为例，安装：

brew install git-delta

全局配置到git，修改 ~/.gitconfig 文件，添加如下内容：

[core]

    pager = delta

[interactive]

    diffFilter = delta --color-only

[delta]

    syntax-theme = Monokai Extended

    line-numbers = true

    side-by-side = true

本来嘛，点进这个页面，会看到正常的counter数据，但是，出问题的情况下，点进去看到的是这种情况：

同时，在shell命令行你也会发现，该job没有任何counter信息输出。
从错误信息页上，你得不到关于错误的任何有效信息，那个"Error Details"里也没有。
虽然counter无法显示，但M-R job是可以正常跑完、正常输出数据的。
文章来源：https://www.codelast.com/
经过测试，我这个case的的问题是：在程序中添加了数量比较多的Hadoop counter造成的。
什么算多？我不知道。我的程序里有240多个counter就出问题了，当我把counter缩减了一半，最终只有120多个counter的时候，counter信息统计就正常了。
如果你遇到了类似问题，可以首先检查一下job中的counter数量是否太多。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

有时候，一个用了好久、一直好用的方法突然失灵，并且还折腾了几天，真的会逼疯人。
前几天我就遇到了这种破事：在Ubuntu开发机上自己升级IntelliJ idea到最新版之后，就无法再启动它。
启动时永远会崩溃，无论是重启系统、删除IntelliJ idea的本地缓存，或者使用回旧版，都无法再启动它（仿佛什么文件被"污染"了，再也回不去了），十分烦人。经过几天各种方法的尝试，终于解决了问题，我的解决办法不具有普适性，但如果你遇到了此类问题，或许可以为你提供一些解决思路。

OS：Ubuntu 20.04.6 LTS
JDK：1.8.0_382
原来安装的IntelliJ idea版本：idea-IC-232.8660.185
从JetBrains官网上下载的新版IntelliJ idea版本：idea-IC-233.14808.21
我当时不是利用IDE里的升级功能来升级的，而是自己下载了新版的压缩包，解压出来一个 idea-IC-233.14808.21 目录，直接进入 bin 目录下执行 idea.sh 来跑的新版。众所周知，这样跑起来之后，新版会自动把旧版里的配置引入进来，只要没有问题，是可以无缝切换到新版不需要重新配置的。
文章来源：https://www.codelast.com/
然而，启动新版的时候挂了，最后看到命令行报错：

[error occurred during error reporting (), id 0x6, SIGABRT (0x6) at pc=0x00007fed3c5cf00b]

Aborted (core dumped)

进不了IDE主界面。同时在/home目录下生成了一个内容超长的错误报告文件 java_error_in_idea_xxx.log
我一开始并没有看这个log文件，而是按网上搜到的方法，分别尝试了：
1、重启系统
2、删除IntelliJ idea的缓存
3、使用回旧版IntelliJ idea
4、仿照这个类似的问题，卸载了snap又重新安装
以上方法都没用。
实在没辙了，只能硬着头皮看崩溃产生的日志文件 java_error_in_idea_xxx.log，没想到一看就发现了端倪。
开头有一段内容是：

# Problematic frame:

# C  [x86_64-linux-gnu-tree-sitter-cpp.so+0x38ec09]  tree_sitter_cpp_external_scanner_deserialize+0x179

虽然我不知道它是什么确切的意思，但是这里写的是"问题帧"，说明崩溃和它有关。
文章来源：https://www.codelast.com/

再往下看日志，会看到：

---------------  T H R E A D  ---------------

 

Current thread (0x00007fec7c02b370):  JavaThread "AWT-EventQueue-0" [_thread_in_native, id=352672, stack(0x00007feb95ae5000,0x00007feb95be6000)]

 

Stack: [0x00007feb95ae5000,0x00007feb95be6000],  sp=0x00007feb95be0310,  free space=1004k

Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)

C  [x86_64-linux-gnu-tree-sitter-cpp.so+0x38ec09]  tree_sitter_cpp_external_scanner_deserialize+0x179

C  [x86_64-linux-gnu-tree-sitter.so+0x30b3e]  ts_parser_reset+0x30e

C  [x86_64-linux-gnu-tree-sitter.so+0x2e329]  ts_parser_set_language+0x399

C  [x86_64-linux-gnu-tree-sitter.so+0xb4875]  Java_org_treesitter_TSParser_ts_1parser_1set_1language+0x25

j  org.treesitter.TSParser.ts_parser_set_language(JJ)Z+0

j  org.treesitter.TSParser.setLanguage(Lorg/treesitter/TSLanguage;)Z+10

j  ai.codegeex.plugin.lang.agent.d.a()V+64

j  ai.codegeex.plugin.lang.agent.d.<init>()V+365

j  ai.codegeex.plugin.lang.agent.d.a()Lai/codegeex/plugin/lang/agent/d;+10

j  ai.codegeex.plugin.lang.agent.CodegeexAgentCompletionService.e()V+0

j  ai.codegeex.plugin.lang.agent.CodegeexAgentCompletionService.<init>()V+266

可见，和出问题的"x86_64-linux-gnu-tree-sitter-cpp.so+0x38ec09"有关系的插件，第一个出现的就是"ai.codegeex.plugin"，这个对应的就是我安装的CodeGeeX插件。

所以我怀疑，删除这个插件可以解决IntelliJ idea启动崩溃的问题。

在Ubuntu系统上，插件安装在这个目录下：~/.local/share/JetBrains/IdeaIC2023.3

其中，IdeaIC2023.3是IntelliJ idea的版本号，每升级一个版本，~/.local/share/JetBrains 目录下都会生成一个新的目录。

在这个目录下，会看到有一个名为"CodeGeeX"的目录，这个目录就是CodeGeeX插件的安装目录，删除它即可。

然后再次尝试启动IntelliJ idea，发现已经可以正常启动了。
虽然我现在还不知道为什么CodeGeeX插件会引起这个问题，但是如果你像我一样，实在找不到IDE崩溃的原因时，删除可能有问题的插件或许是解决问题的一个办法。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

用Apache Pig处理大数据时，经常会有这种需求：把输入数据按指定的字段group，并且每个group内只输出时间最新的一条记录。

举个例子。有数据文件 input.txt ：

10      a       1,2,3
9       b       1,2
8       a       2,3,4
13      a       1,2,3,4
6       b       1

该数据的三个字段分别代表：time（时间戳），userId（用户id），userInterest（用户兴趣id）
现在，要找出每个用户时间最新的userInterest，应该怎么做？
即：对用户 a，最新的时间戳是13，userInterest是1,2,3,4；对用户 b，最新的时间戳是9，userInterest是1,2。
直接上代码：

A = LOAD 'input.txt' AS (time: long, userId: chararray, userInterest: chararray);
A = FOREACH A GENERATE time, userId, userInterest;
B = GROUP A BY userId;
-- 每个userId取时间最新的一条记录
C = FOREACH B {
    SORTED = ORDER A BY time DESC;
    ONE_RECORD = LIMIT SORTED 1;
    GENERATE FLATTEN(ONE_RECORD);
};
DUMP C;

在嵌套的FOREACH语句中，首先用ORDER BY对同一个group内的数据进行了降序排序，再用LIMIT取一条记录，由于是按time降序排序，因此LIMIT 1取到的就是时间戳最大的那条记录，即时间最新的记录。
输出：

(13,a,1,2,3,4)

(9,b,1,2)

可见这个结果和我们前面人工判断出来的正确结果一致。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

在Apache Pig中，怎样把 2023-10-11_10:57:56 这种格式的时间字符串，转成整型的时间戳？
话不多说，直接上代码。
假设输入数据文件 1.txt，其格式是一行一个时间字符串。

A = LOAD '1.txt' AS (dt: chararray);
A = FOREACH A GENERATE ToDate(dt, 'yyyy-MM-dd_HH:mm:ss') AS date;
B = FOREACH A GENERATE ToUnixTime(date) AS ts;
DUMP B;

输出结果形如：

1696993076

可见，这样得到的时间戳单位是“秒”。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

static class QuerySegmentResultFromKVReducer extends Reducer<Text, NullWritable, NullWritable, NullWritable> {

  @Override
  protected void setup(Reducer.Context context) throws IOException, InterruptedException {
  }

  @Override
  protected void cleanup(Reducer.Context context) throws IOException, InterruptedException {
  }

  @Override
  protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
    //TODO:
  }
}

在这里，reducer输出的key、value类型都是NullWritable，我们不用关心，这不是本文的关注点。

如果reduce()方法漏掉了 @Override 注解，并且把  Reducer<Text, NullWritable, NullWritable, NullWritable> 错误地写成了 Reducer<Text, Text, NullWritable, NullWritable>，会发现编译并不报错。
但是，当你跑这个job的时候，诡异的事情就来了。你会发现，你在“TODO:”那里写的reduce逻辑并没有执行，即使没有用 context.write() 方法把任何数据输出到HDFS上，Hadoop counter仍然显示该job输出了和reducer输入一样多的数据。
从现象上看，就像是执行了一个默认的Reducer，把reducer的输入数据原样输出。
文章来源：https://www.codelast.com/
所以这里不得不强调，一定不要漏写 @Override 注解！有这个注解的时候，IDE就会提示错误，编译就会失败！

在本文的例子中，如果reduce()方法没有写 @Override 注解，那么当reducer类错误地定义成了extends Reducer<Text, Text, NullWritable, NullWritable>的时候，IDE并不会发现reduce()方法有错，从而让你误以为一切正常。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

  -D "mapreduce.map.memory.mb=8192" \
  -D "mapreduce.reduce.memory.mb=8192" \
  -D "mapreduce.map.java.opts=-Xmx6144m" \
  -D "mapreduce.reduce.java.opts=-Xmx6144m" \

对Apache Pig M-R job，在Pig代码中添加如下语句：

SET mapreduce.map.memory.mb 8192;
SET mapreduce.reduce.memory.mb 8192;
SET mapreduce.map.java.opts -Xmx6144m;
SET mapreduce.reduce.java.opts -Xmx6144m;

其中，第1、2个参数需要你根据Hadoop集群的情况自行调整，第3、4个参数设置成第1、2个参数的70%～80%

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

通过设置适当的配额，管理员可以确保每个目录不会超出其可承受的容量范围，防止集群资源被长时间占用或滥用。同时也可以通过监视使用情况来优化系统性能并减少故障风险。

使用 hadoop fs -count -q <your_hdfs_dir> 命令可以查看指定目录的配额，该命令输出有八列，以下是每列的含义：

• QUOTA：文件和目录的总数限制
• REMAINING_QUOTA：该用户可以创建的剩余文件和目录总数
• SPACE_QUOTA：授予该用户的空间配额
• REMAINING_SPACE_QUOTA：该用户剩余的空间配额
• DIR_COUNT：当前目录总数
• FILE_COUNT：当前文件总数
• CONTENT_SIZE：当前文件大小
• PATH_NAME：目录路径

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

在大数据处理流程中，TFRecord文件通常是由map-reduce job生成的，数据量通常很大。有时为了验证文件内容正确，我们需要取少量数据来检查，例如，我们可以拿map-reduce job生成的N个TFRecord文件中的一个，在本地解析出来，打印出其中的内容看是否正确。
下面就是一个用JAVA程序读取TFRecord文件并打印出其中一个Example的例子：

    String localTfRecordFile = "/path/to/your/tfrecord/file";
    InputStream inputStream = Files.newInputStream(Paths.get(localTfRecordFile));
    DataInput dataInput = new DataInputStream(inputStream);
    TFRecordReader reader = new TFRecordReader(dataInput, true);

    byte[] recordBytes = reader.read();
    while (recordBytes != null) {
      Example example = Example.parseFrom(recordBytes);
      System.out.println(example.toString());
      break;  // 只打印一个Example
    }
    inputStream.close();

唯一需要注意的就是一个引入：import java.nio.file.Paths;
文章来源：https://www.codelast.com/
再详细说明一下：

话不多说，直接上代码：

    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.getLocal(conf);
    Path seqFilePath = new Path("/path/to/your/sequence-file");

    {
      // 打印出sequence file的key和value的类型
      SequenceFile.Reader reader = new SequenceFile.Reader(fs, seqFilePath, conf);
      Writable key = (Writable) reader.getKeyClass().newInstance();
      Writable value = (Writable) reader.getValueClass().newInstance();
      while (reader.next(key, value)) {
        System.out.println("Key type: " + key.getClass());
        System.out.println("Value type: " + value.getClass());
        break;
      }
      reader.close();
    }

    {
      // 打印出sequence file的内容
      SequenceFile.Reader reader = new SequenceFile.Reader(fs, seqFilePath), conf);
      BooleanWritable keyObj = new BooleanWritable();
      Text valueObj = new Text();
      while (reader.next(keyObj, valueObj)) {
        System.out.println(keyObj.get() + ": " + valueObj);
      }
      reader.close();
    }

输出类似于：

Key type: class org.apache.hadoop.io.BooleanWritable

Value type: class org.apache.hadoop.io.Text
（文件内容此处省略）

Maven依赖取决于你使用的Hadoop版本，下面是一个例子：

<dependencies>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.2.1</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.2.1</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hadoop</groupId>  
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.2.1</version>
  </dependency>
</dependencies>

文章来源：https://www.codelast.com/
➤➤ 关注不迷路 ➤➤ 

感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

在Azkaban job中添加重试配置是为了保障作业的稳定性和可靠性。当一个job执行失败时，自动进行重试可以提高作业成功率，降低人工干预的成本。通过在job中添加重试配置，可以控制重试次数、间隔时间等关键参数，以满足不同作业的需求。

有以下两种重试配置：
➤ common.retries=3
多个job共同的重试次数配置。在同一个目录下，有多个.job文件时，如果想要每个文件都使用同样的重试配置，那么可以在这个目录下添加一个 config.properties 文件，在里面添加上 common.retries=3 这一行。当然，你可以把3改成任意你想要的重试次数。
文章来源：https://www.codelast.com/
➤ retries=3
当你只想为单个job添加重试配置时，可以直接在该.job文件中添加 retries=3 这行配置。当然，你可以把3改成任意你想要的重试次数。
此时，你还可以设置任务在重试之前等待的毫秒数：

retry.backoff=60000

其中，60000表示6万毫秒。具体而言，如果任务失败并且需要进行重试，则该任务将在下一次尝试之前等待60秒钟。这可以帮助避免服务器超载，并在发生故障时提高任务的成功率。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

static class MyHandler implements HttpHandler {
  @Override
  public void handle(HttpExchange httpExchange) throws IOException {
    String response = "test";  // 返回固定内容
    httpExchange.sendResponseHeaders(200, response.length());
    OutputStream os = httpExchange.getResponseBody();
    os.write(response.getBytes());
    os.close();
  }
}

String response = "中文";

static class MyHandler implements HttpHandler {
  @Override
  public void handle(HttpExchange httpExchange) throws IOException {
    String response = "中文";
    byte[] bytes = response.getBytes(StandardCharsets.UTF_8); // 转换为字节数组，指定编码为UTF-8
    httpExchange.sendResponseHeaders(200, bytes.length);
    OutputStream os = httpExchange.getResponseBody();
    os.write(bytes);
    os.close();
  }
}

“秘塔写作猫”是一款基于 AI 的中文、英文纠错工具，它可以帮助“不会写文章”的你从0开始撰写文章大纲甚至全文。它是最近比较流行的一款AIGC产品。

随着AI技术不断迭代，作为除UGC、PGC以外的一种新型生产方式，AIGC（AI generated content，人工智能创造内容）已从概念走向更多落地，它的字面意思就是AI生产内容。AI写诗、AI作曲、AI绘画、AI换脸等等。

比如说，老板让你在很短的时间内迅速给出一份营销方案，你可能绞尽脑汁也凑不出那么多字，这个时候就可以用“秘塔写作猫”来完成这个任务。

AIGC的产品近一年来层出不穷，尽管我不以码字为生，但是看到秘塔写作猫这款受到很多科技媒体赞扬的产品出现的时候，我还是对它产生了很大的兴趣，于是试用了一番。

我认为秘塔写作猫有几个非常明显的问题：
（1）善于编造有悖于事实的结论
我写了一个标题：《阿凡达2》电影票房分析，让它写文章，结果给我来了这么一段：

看看有多扯。2022年12月份才上映的《阿凡达2》电影，被AI说成了2015年上映，甚至连票房数据都编得像模像样的。
文章来源：https://www.codelast.com/
（2）给定了上文，它也不知道怎么写下去
我写了一个文章标题：《ChatGPT的出现，让机器替代Cambly成为了可能》，又写了两段话作为文章开头：

Cambly是一个和老外(native English speakers)视频聊天练习英语口语的平台。

ChatGPT是由OpenAI开发的一个人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。

然后让AI接着写下去，它给出了下面的内容：

用户可以在 ChatGPT上与 Cambly进行视频聊天。

ChatGPT能够在自然语言对话的同时，完成多种不同的任务，如图片、语音、文本、电话、视频和聊天。

ChatGPT是一个多模态的对话系统，通过多层感知机，可以对不同的输入进行分类。ChatGPT可以理解不同的数据流，并且拥有强大的自我学习能力，以提高其性能。

在对话系统中，通过提供自然语言生成模型来处理与特定用户相关的聊天对话内容。

ChatGPT是 OpenAI第一个可以通过训练和部署多层感知机来处理自然语言交互而无需任何其他代码的系统。

“我们是第一个真正实现了以训练模型为中心的多模态聊天机器人系统” OpenAI项目负责人 Hilary Wu表示。

“我们有一个完整且健壮且高效的多模态聊天系统和一个高效、健壮且高度可扩展的端到端架构。”

“除了 ChatGPT之外，我们还有很多其他基于多模态语言生成模型和数据驱动语言生成模型可供选择使用” OpenAI项目经理 Jay McCoy表示。

“OpenAI正在努力建立一个完整并可扩展的人机交互框架，使其成为全球领先且最为可靠且可预测且高效地开发和使用各种基于自然语言理解和生成模型（如知识表示与强化学习）来处理自然语言交互功能的平台” OpenAI项目负责人 Jay McCoy说。

作为该领域最具影响力和开创性之一的开发项目之一， Cambly在短短几年内就取得了巨大成功：这是一款完全开源且无需代码即可运行于开源社区之上，为用户提供丰富自然语言交互功能的机器人应用程序。

然而，该程序最近在新冠肺炎疫情下失去了其客户群体，这意味着许多企业现在都已重新采用 Cambly来完成他们业务方面的交流任务。

我只能说太离谱了，这结果根本没法用。我在文章的开头，已经告诉了AI：Cambly是一个真人英语学习平台，但它根本就无视这个重要内容，而且还认为它是一个“机器人应用程序”，后面越编越离谱。

AI能给出的结论有多真，一是取决于其模型训练使用的数据有多新，二是取决于其使用的模型结构/范式。
如果想让AI把互联网上所有的数据拿来训练是不可能的，因此具有反馈交互学习的能力非常重要，这就是强化学习的模型结构/范式。
我不负责任地猜测，秘塔写作猫这套系统没有使用强化学习技术，只是基于传统机器学习模型构建。
使用了强化学习技术的先进AI，会像ChatGPT一样，具有一定的交互学习能力。
文章来源：https://www.codelast.com/
当然，我使用的是免费版的“秘塔写作猫”程序，从官方的价格表中可以看到，收费越高，AI能力就越强。所以如果我使用收费版的，不排除结果会变好一些。
最后，我没有做过严格、全面的测试，仅仅用来对我想写的一些东西浅测了一下。所以我认为，对于一般的写作需求，它可能可以较好地完成任务，但是人必须花很多时间去校对结果，否则可能会闹出大笑话。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：