有时候，一个用了好久、一直好用的方法突然失灵，并且还折腾了几天，真的会逼疯人。
前几天我就遇到了这种破事：在Ubuntu开发机上自己升级IntelliJ idea到最新版之后，就无法再启动它。
启动时永远会崩溃，无论是重启系统、删除IntelliJ idea的本地缓存，或者使用回旧版，都无法再启动它（仿佛什么文件被"污染"了，再也回不去了），十分烦人。经过几天各种方法的尝试，终于解决了问题，我的解决办法不具有普适性，但如果你遇到了此类问题，或许可以为你提供一些解决思路。

OS：Ubuntu 20.04.6 LTS
JDK：1.8.0_382
原来安装的IntelliJ idea版本：idea-IC-232.8660.185
从JetBrains官网上下载的新版IntelliJ idea版本：idea-IC-233.14808.21
我当时不是利用IDE里的升级功能来升级的，而是自己下载了新版的压缩包，解压出来一个 idea-IC-233.14808.21 目录，直接进入 bin 目录下执行 idea.sh 来跑的新版。众所周知，这样跑起来之后，新版会自动把旧版里的配置引入进来，只要没有问题，是可以无缝切换到新版不需要重新配置的。
文章来源：https://www.codelast.com/
然而，启动新版的时候挂了，最后看到命令行报错：

[error occurred during error reporting (), id 0x6, SIGABRT (0x6) at pc=0x00007fed3c5cf00b]

Aborted (core dumped)

进不了IDE主界面。同时在/home目录下生成了一个内容超长的错误报告文件 java_error_in_idea_xxx.log
我一开始并没有看这个log文件，而是按网上搜到的方法，分别尝试了：
1、重启系统
2、删除IntelliJ idea的缓存
3、使用回旧版IntelliJ idea
4、仿照这个类似的问题，卸载了snap又重新安装
以上方法都没用。
实在没辙了，只能硬着头皮看崩溃产生的日志文件 java_error_in_idea_xxx.log，没想到一看就发现了端倪。
开头有一段内容是：

# Problematic frame:

# C  [x86_64-linux-gnu-tree-sitter-cpp.so+0x38ec09]  tree_sitter_cpp_external_scanner_deserialize+0x179

虽然我不知道它是什么确切的意思，但是这里写的是"问题帧"，说明崩溃和它有关。
文章来源：https://www.codelast.com/

再往下看日志，会看到：

---------------  T H R E A D  ---------------

 

Current thread (0x00007fec7c02b370):  JavaThread "AWT-EventQueue-0" [_thread_in_native, id=352672, stack(0x00007feb95ae5000,0x00007feb95be6000)]

 

Stack: [0x00007feb95ae5000,0x00007feb95be6000],  sp=0x00007feb95be0310,  free space=1004k

Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)

C  [x86_64-linux-gnu-tree-sitter-cpp.so+0x38ec09]  tree_sitter_cpp_external_scanner_deserialize+0x179

C  [x86_64-linux-gnu-tree-sitter.so+0x30b3e]  ts_parser_reset+0x30e

C  [x86_64-linux-gnu-tree-sitter.so+0x2e329]  ts_parser_set_language+0x399

C  [x86_64-linux-gnu-tree-sitter.so+0xb4875]  Java_org_treesitter_TSParser_ts_1parser_1set_1language+0x25

j  org.treesitter.TSParser.ts_parser_set_language(JJ)Z+0

j  org.treesitter.TSParser.setLanguage(Lorg/treesitter/TSLanguage;)Z+10

j  ai.codegeex.plugin.lang.agent.d.a()V+64

j  ai.codegeex.plugin.lang.agent.d.<init>()V+365

j  ai.codegeex.plugin.lang.agent.d.a()Lai/codegeex/plugin/lang/agent/d;+10

j  ai.codegeex.plugin.lang.agent.CodegeexAgentCompletionService.e()V+0

j  ai.codegeex.plugin.lang.agent.CodegeexAgentCompletionService.<init>()V+266

可见，和出问题的"x86_64-linux-gnu-tree-sitter-cpp.so+0x38ec09"有关系的插件，第一个出现的就是"ai.codegeex.plugin"，这个对应的就是我安装的CodeGeeX插件。

所以我怀疑，删除这个插件可以解决IntelliJ idea启动崩溃的问题。

在Ubuntu系统上，插件安装在这个目录下：~/.local/share/JetBrains/IdeaIC2023.3

其中，IdeaIC2023.3是IntelliJ idea的版本号，每升级一个版本，~/.local/share/JetBrains 目录下都会生成一个新的目录。

在这个目录下，会看到有一个名为"CodeGeeX"的目录，这个目录就是CodeGeeX插件的安装目录，删除它即可。

然后再次尝试启动IntelliJ idea，发现已经可以正常启动了。
虽然我现在还不知道为什么CodeGeeX插件会引起这个问题，但是如果你像我一样，实在找不到IDE崩溃的原因时，删除可能有问题的插件或许是解决问题的一个办法。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

通过设置适当的配额，管理员可以确保每个目录不会超出其可承受的容量范围，防止集群资源被长时间占用或滥用。同时也可以通过监视使用情况来优化系统性能并减少故障风险。

使用 hadoop fs -count -q <your_hdfs_dir> 命令可以查看指定目录的配额，该命令输出有八列，以下是每列的含义：

• QUOTA：文件和目录的总数限制
• REMAINING_QUOTA：该用户可以创建的剩余文件和目录总数
• SPACE_QUOTA：授予该用户的空间配额
• REMAINING_SPACE_QUOTA：该用户剩余的空间配额
• DIR_COUNT：当前目录总数
• FILE_COUNT：当前文件总数
• CONTENT_SIZE：当前文件大小
• PATH_NAME：目录路径

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

HLS（HTTP Live Streaming）是一种基于HTTP协议的流媒体传输协议，而M3U8则是一种基于文本的播放列表文件格式。在HLS中，媒体数据被划分成多个小文件进行传输，并使用M3U8文件作为索引来指向这些媒体数据文件。M3U8文件包含了所有的媒体数据文件的URL地址及其相关信息，如码率、分辨率、编码格式等。因此，当一个客户端请求播放一个HLS流时，它将下载对应的M3U8索引文件，并且根据其中包含的地址去下载其他的媒体数据文件。简单来说，HLS和M3U8是两个不同但紧密相连的概念，其中M3U8作为HLS协议中索引与定位资源的重要组成部分。

问题来了：如何下载HLS流视频文件呢？

有多种方法，下面略举一二。

➤ 使用Chrome插件：Video DownloadHelper
这个插件可以捕获视频地址，也可以直接下载。但是直接下载HLS流视频每天有次数限制（很久以前是这样，不知道现在是什么情况），所以用此插件直接下载不可取。
那么我们可以用它获取视频地址，再用类似于 M3U8-Downloader 这样的桌面软件去下载这个地址指向的视频。
文章来源：https://www.codelast.com/
➤ 使用跨平台的HLS下载工具 N_m3u8DL-RE
N_m3u8DL-RE 是一款跨平台的DASH/HLS/MSS下载工具，功能很强大。
以Ubuntu Linux系统为例，只需简单地下载其release包，解压出来得到一个可执行程序 N_m3u8DL-RE，然后这样用就可以下载HLS流视频了：

./N_m3u8DL-RE <m3u8_url>

N_m3u8DL-RE 支持的参数非常多，可以参考其文档。
如果首次运行的时候提示没有安装 ffmpeg，可以用 apt install ffmpeg 安装，再运行。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

File xxx is large (XXXMB), really open? (y or n)

话不多说，直接上代码：

    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.getLocal(conf);
    Path seqFilePath = new Path("/path/to/your/sequence-file");

    {
      // 打印出sequence file的key和value的类型
      SequenceFile.Reader reader = new SequenceFile.Reader(fs, seqFilePath, conf);
      Writable key = (Writable) reader.getKeyClass().newInstance();
      Writable value = (Writable) reader.getValueClass().newInstance();
      while (reader.next(key, value)) {
        System.out.println("Key type: " + key.getClass());
        System.out.println("Value type: " + value.getClass());
        break;
      }
      reader.close();
    }

    {
      // 打印出sequence file的内容
      SequenceFile.Reader reader = new SequenceFile.Reader(fs, seqFilePath), conf);
      BooleanWritable keyObj = new BooleanWritable();
      Text valueObj = new Text();
      while (reader.next(keyObj, valueObj)) {
        System.out.println(keyObj.get() + ": " + valueObj);
      }
      reader.close();
    }

输出类似于：

Key type: class org.apache.hadoop.io.BooleanWritable

Value type: class org.apache.hadoop.io.Text
（文件内容此处省略）

Maven依赖取决于你使用的Hadoop版本，下面是一个例子：

<dependencies>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.2.1</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.2.1</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hadoop</groupId>  
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.2.1</version>
  </dependency>
</dependencies>

文章来源：https://www.codelast.com/
➤➤ 关注不迷路 ➤➤ 

感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

查看更多Apache Pig的教程请点击这里。

用Apache Pig加载/解析/读取XML数据不是一个常见的需求，但有时为了方便我们又不得不用，其实Pig的UDF库piggybank已经帮大家做好了这个工作了：只需要使用其中的XMLLoader，就可以方便地实现XML文件解析。

假设有如下XML文件：

<?xml version="1.0" encoding="UTF-8"?>

<users>
    <user>
        <profileUrl>http://www.codelast.com/user/profile/159.html</profileUrl>
        <data>
            <id>159</id>
            <name>李四</name>
        </data>
    </user>
    <user>
        <profileUrl>http://www.codelast.com/user/profile/220.html</profileUrl>
        <data>
            <id>220</id>
            <name>王五</name>
        </data>
    </user>

</users>

首先我们欣赏一下这个XML文件，它用于存储多个用户的信息，<users></users> 标签把所有用户信息包裹在里面，<user></user> 标签则对应一个用户的信息。在每一个用户信息中，不仅有 profileUrl 这种第一层的属性，还有 data/id，data/name 这种更深层的属性，我们在下面的代码中，会把这些字段全部提取出来。
这个XML虽然结构简单，但层次分明，通过解析这个XML文件，我们可以引申出对复杂XML文件的读取方法。
这里需要特别说明一下，通常情况下存储在磁盘上的大数据都不会是这种“格式化过”的数据格式（为了方便大家观看，我把XML格式化成了上面的样子），而是一种紧凑的格式，例如可能是下面这个样子：

<?xml version="1.0" encoding="UTF-8"?><users><user><profileUrl>http://www.codelast.com/user/profile/159.html</profileUrl><data><id>159</id><name>李四</name></data></user><user><profileUrl>http://www.codelast.com/user/profile/220.html</profileUrl><data><id>220</id><name>王五</name></data></user></users>

但是对piggybank的XMLLoader来说，上面的各种格式并不会影响它对XML内容的解析，这一点很好。
文章来源：https://www.codelast.com/
话不多说，直接上代码：

-- 注册piggybank的jar包，视实际情况修改此路径
REGISTER /xxx/piggybank.jar;

DEFINE XPath org.apache.pig.piggybank.evaluation.xml.XPath();

A = LOAD 'users.xml' USING org.apache.pig.piggybank.storage.XMLLoader('user') AS (x: chararray);
B = FOREACH A GENERATE XPath(x, 'user/profileUrl') AS profileUrl, XPath(x, 'user/data/id') AS id, XPath(x, 'user/data/name') AS name;
DUMP B;

代码解读：
➤ XMLLoader 的参数"user"，应该是你的XML文件中，有多个标签的那个名字，例如，在上面的XML中，含有多个 user，但是只有一个 users，所以我们这里填的应该是 user
➤ AS (x: chararray) 中的 "x" 其实可以是任意名称，我们下面只用这个名字来解析其下的字段，所以这个名字不重要。
➤ 在 XPath() 中我们可以通过XML的层级关系来取出指定的字段，一看就明白。
文章来源：https://www.codelast.com/
上面的代码输出：

(http://www.codelast.com/user/profile/159.html,159,李四)
(http://www.codelast.com/user/profile/220.html,220,王五)

也就是我们提取的3个字段。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

{
  "id": "...",
  "secret": "...",
  "endPoint": "http://...",
  "region": "..."
}

文章来源：https://www.codelast.com/
这些信息你可以在你使用的S3平台上找到。
假设我们要读写的bucket名为 my-bucket，那么下面的命令会告诉你怎么使用 s3-command-line：

列出指定 bucket 里的文件：
./s3-command-line ls -c config.json my-bucket /

从指定的 bucket 删除文件 1.txt：
./s3-command-line rm -c config.json my-bucket 1.txt

上传本地文件 1.txt 到指定的 bucket：
./s3-command-line put -c config.json my-bucket 1.txt

从指定的 bucket 下载文件 1.txt 到本地：
./s3-command-line get -c config.json my-bucket 1.txt

文章来源：https://www.codelast.com/
总结：简单好用，编译成可执行程序后没有对其他library的依赖，令人舒适。

➤ 自己写JAVA程序
JDK版本：1.8.0_221，Maven：3.6.3
首先你需要在 pom.xml 中添加相关依赖（参考这里）：

<dependency>
  <groupId>software.amazon.awssdk</groupId>
  <artifactId>aws-sdk-java</artifactId>
  <version>2.18.16</version>
</dependency>

文章来源：https://www.codelast.com/
然后就可以开始写代码了（测试可用）：

package com.codelast;


import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang.StringUtils;
import org.kohsuke.args4j.CmdLineException;
import org.kohsuke.args4j.CmdLineParser;
import org.kohsuke.args4j.Option;
import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.core.sync.RequestBody;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.DeleteObjectRequest;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.model.PutObjectResponse;
import software.amazon.awssdk.services.s3.model.S3Exception;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;

/**
 * S3存储操作类。
 * 参考：https://github.com/awsdocs/aws-doc-sdk-examples/blob/main/javav2/example_code/s3/src/main/java/com/example/s3/PutObject.java
 *
 * @author DarranZhang@codelast.com
 * @version 2022-11-14
 */

@Slf4j
public class S3Operator {
  public static final String ACCESS_KEY = "your_key";
  public static final String SECRET_KEY = "your_secret";
  public static final String END_POINT = "http://your_end_point_url";
  public static final String REGION = "your_region";
  public static final String BUCKET_NAME = "your_bucket_name";

  private static class Options {
    @Option(name = "--localFile", usage = "the path of the local file to upload to S3", required = true)
    String localFile;
  }

  public static void main(String[] args) throws Exception {
    Options opts = new Options();
    CmdLineParser parser = new CmdLineParser(opts);
    try {
      parser.parseArgument(args);
    } catch (CmdLineException e) {
      log.error("command parse fail", e);
      System.exit(1);
    }

    S3Operator operator = new S3Operator();
    operator.upload(opts.localFile);
  }

  private void upload(String localFile) throws Exception {
    AwsBasicCredentials credentials = AwsBasicCredentials.create(ACCESS_KEY, SECRET_KEY);
    Region region = Region.of(REGION);
    S3Client s3Client = S3Client.builder()
      .endpointOverride(new URI(END_POINT))
      .region(region)
      .credentialsProvider(StaticCredentialsProvider.create(credentials))
      .build();

    String s3FileName = StringUtils.substringAfterLast(localFile, "/");  // 上传到S3之后的文件名，不一定要和本地文件名一致，但为了直观，这里保持一致
    if (StringUtils.isEmpty(s3FileName)) {
      String msg = "local file name is empty";
      log.error(msg);
      throw new RuntimeException(msg);
    }

    // 每次上传前，不用先删除再上传，因为最新上传的同名文件会覆盖之前的文件
    putObject(s3Client, BUCKET_NAME, s3FileName, localFile);
    s3Client.close();
  }

  public static void putObject(S3Client s3Client, String bucketName, String objectKey, String objectPath) {
    try {
      PutObjectRequest request = PutObjectRequest.builder().bucket(bucketName).key(objectKey).build();
      PutObjectResponse response = s3Client.putObject(request, RequestBody.fromBytes(getObjectFile(objectPath)));
      log.info("successfully upload file [{}] to S3, entity tag: [{}]", objectPath, response.eTag());
    } catch (S3Exception e) {
      log.error(String.format("failed to upload file [%s] to S3", objectPath), e);
    }
  }

  private static byte[] getObjectFile(String filePath) {
    FileInputStream fileInputStream = null;
    byte[] bytesArray = null;

    try {
      File file = new File(filePath);
      bytesArray = new byte[(int) file.length()];
      fileInputStream = new FileInputStream(file);
      fileInputStream.read(bytesArray);
    } catch (IOException e) {
      e.printStackTrace();
    } finally {
      if (fileInputStream != null) {
        try {
          fileInputStream.close();
        } catch (IOException e) {
          e.printStackTrace();
        }
      }
    }
    return bytesArray;
  }

  private static void deleteObject(S3Client s3, String bucket, String s3FileName) {
    DeleteObjectRequest request = DeleteObjectRequest.builder().bucket(bucket).key(s3FileName).build();
    s3.deleteObject(request);
  }
}

这样我们就实现了用JAVA访问S3，不过，如果你仔细看会发现，当引入S3的依赖后，你的项目编译出的 fat jar 体积剧增了400MB左右！这也太恶心了...
当然，上面引入的 whole-SDK 依赖，是我为了省事引入了所有S3相关的模块，或许你有些用不到的模块，可以不用引入 whole-SDK，而是分别引入单独的模块，但我有空去想这些玩意的话，还不如使用 s3-command-line 简单呢，不是吗？毕竟时间就是生命，别在这些无聊的事上浪费生命。
文章来源：https://www.codelast.com/
➤ 总结
如果你操作S3时只使用上传、下载、删除、列表功能，那么建议不要自己写代码，使用 s3-command-line 更香。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

用Apache Pig进行数据处理的时候，我们通常会在最后把处理结果保存到一个HDFS目录下：

STORE result INTO '/my_output_dir';

这是最常见的情况。
但是，如果我们想根据某个字段，把数据分成多组，分别存储在多个目录下呢？举个可能不恰当的例子，就有点像我们先把数据按某个字段分组：

GROUP data BY field;

再把各个group的数据分别存储在不同的目录下一样。

现在来看一个实例。
假设有如下数据（用 tab 分隔的四列分别为：人员类型的id，人员类型的描述，姓名，爱好）：

文章来源：https://www.codelast.com/
现在我们想按第1列 type，把这份数据处理之后分别存储到不同的目录下，即 type 2（学生）的数据保存到目录"2"里，type 3（老师）的数据保存到目录"3"里，依此类推。
一个最简单也最笨的方法是： 在Pig中把数据 SPLIT(拆分) 成多份，再分别 STORE(存储) 到指定的目录下：

A = LOAD '1.txt' AS (type: int, desc: chararray, name: chararray, hobby: chararray);
SPLIT A INTO A1 IF (type == 1), A2 IF (type == 2), A3 IF (type == 3);

STORE A1 INTO '/my_output_dir/1';
STORE A2 INTO '/my_output_dir/2';
STORE A3 INTO '/my_output_dir/3';

代码很直观，但当 type 有太多种数值的时候，比如说type有100种数值，难道你打算写100个 STORE 语句吗？会疯。
文章来源：https://www.codelast.com/
更好的办法是利用piggybank里的一个UDF MultiStorage来实现同样的功能：

A = LOAD '1.txt' AS (type: int, desc: chararray, name: chararray, hobby: chararray);
STORE A INTO '/my_output_dir' USING org.apache.pig.piggybank.storage.MultiStorage('/my_output_dir', '0', 'none', '\t', 'true');

看，只要一行代码就代替了无数的 SPLIT INTO 以及 STORE INTO 语句，多么优雅。
MultiStorage的参数含义分别是：

public MultiStorage(String parentPathStr, String splitFieldIndex, String compression, String fieldDel, String isRemoveKeys)

parentPathStr：输出文件的父目录。事实上这个参数不起作用，真正起作用的输出路径是在 "INTO" 关键字后面的那个路径里指定的，但开发团队为了向前兼容，保留了这个参数，因此，把这个参数里的路径，设置成和 "INTO" 后面的路径一样即可。
splitFieldIndex：使用数据里的第几个字段来拆分数据存储到不同的子目录下（从0开始）。我这里设置成0，是表示我使用数据里的 type 字段来拆分数据。
compression：输出数据的压缩方式，可以是 'bz2'，'bz'，'gz'，'none'这几种取值，其中 none 表示无压缩。
fieldDel：输出数据多个字段的分隔符。
isRemoveKeys：输出数据是否移除掉用于拆分数据的字段。我这里设置成 true 表示在输出数据中不会包含 type，因为我只想拿 type 用作输出子目录名，不想让它出现在输出数据中。
文章来源：https://www.codelast.com/
最后我们看一下执行结果。生成了3个目录，每个 type 一个目录：

/my_output_dir/1
/my_output_dir/2
/my_output_dir/3
/my_output_dir/_SUCCESS

再来看一下子目录"1"里的文件：

/my_output_dir/1/1-0,000

其文件内容是：

保安    许勤    下棋
保安    涂欣    看书

这里面全是 type 1 的数据。可见 MultiStorage 确实把数据按照 type 拆分并存储在了不同的子目录下。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

查看Charles Proxy文章合集，请点击这里。
本文适用的操作系统：Ubuntu

Charles Proxy是一个HTTP代理/HTTP监视器/反向代理，它使开发人员能够查看其计算机和Internet之间的所有HTTP和SSL/HTTPS流量。这包括请求、响应和HTTP headers（其中包含cookie和缓存信息）。

在Chrome浏览器中把代理服务器设置成Charles Proxy在本地提供的代理，可以让Charles Proxy把Chrome的网络流量抓取下来。
配置方法如下。

➤ Charles Proxy端的配置
Proxy→Proxy Settings：

Charles Proxy软件打开后，会启动一个代理服务器，在这里你可以修改代理服务器的端口等信息，通常来说保持默认参数即可。
文章来源：https://www.codelast.com/
 Proxy→SSL Proxying Settings：

勾选上“Enable SSL Proxying”，这样可以对https的流量进行抓包。
并且在“Location”里设置你感兴趣的域名，注意：只有这些域名的流量会被抓包。
文章来源：https://www.codelast.com/
 导出Charles Proxy的证书
在Charles界面上点击菜单导出 .pem 证书：

Help→SSL Proxying→Save Charles Root Certificate

把文件保存到 ~/charles.pem
文章来源：https://www.codelast.com/
➤ Chrome浏览器端的配置（以Ubuntu系统上的Chrome为例）
 把证书导入Chrome
依次打开Chrome的如下页面：
“设置”→“安全和隐私设置”→“安全”→“管理证书”→“授权机构”：

点击“导入”按钮，选择刚才生成的 .pem 证书文件，会弹出下面的对话框：

勾选第一项。
文章来源：https://www.codelast.com/
 配置Chrome的代理
使用Chrome的SwitchyOmega插件，添加一个名为“Charles Proxy”的情景模式：

文章来源：https://www.codelast.com/
➤ 测试
在Chrome的SwitchyOmega插件中选择刚配置好的Charles Proxy情景模式，再访问一个前面设置好的感兴趣的域名下的网页。
在导入证书之前，会发现抓不了：

——界面上全是红叉，以及 Failed。

在导入了证书之后，再试一次，会发现抓包可以成功完成：

——状态码是200，以及Status是Complete，这说明一切正常。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

这个问题是由于Selenium Wire使用了自己的证书来访问网站，而它的证书默认不受Chrome信任。
在Chrome里查看证书可以看到：


解决办法：
➤ 导出Selenium Wire的证书文件
在安装Selenium Wire的Python环境里执行：

python -m seleniumwire extractcert

成功的话，会在当前目录下生成 ca.crt 证书文件。
文章来源：https://www.codelast.com/
➤ 把证书导入Chrome
对Ubuntu系统（其他Linux发行版应该类似，我没有用过），依次打开Chrome的如下页面（以下操作过程都在Chrome浏览器内部完成，不会跳转到操作系统的任何设置对话框里）：
“设置”→“安全和隐私设置”→“安全”→“管理证书”→“授权机构”
点击“导入”按钮，选择刚才生成的证书文件，会弹出下面的对话框：

只勾选红框的那一项再点击“确定”即可。
文章来源：https://www.codelast.com/
 对MacOS，当你按照上面的步骤点击了“管理证书”时，会发现Mac自动打开了系统的“钥匙串访问”设置对话框，也就是说你不能像在Ubuntu系统里一样只在Chrome里就能设置好。
此时，按照如下步骤去设置：
把前面生成的 ca.crt 文件拖入“钥匙串访问”对话框，会要你输入密码把Selenium Wire的证书导入，之后就会看到导入的证书不被信任：

双击它也会进一步看到不被信任：

展开“信任”前的箭头，把“使用此证书时”改成“始终信任”：

关闭对话框，会要求你输入密码确认，之后就会看到证书已被信任：

现在再试试，Selenium Wire不会再出现之前的不安全提示啦。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

VirtualBox虚拟机文件有很多种格式，我的是vdi格式，对应的磁盘空间是37GB（Win10系统里只有一个C盘），由于虚拟机里的空间不够用了，想把它扩展成45GB，并且在数据不丢失的情况下仍然保持“只有一个C盘”的状态。
下面是操作方法。

➤ 扩大vdi空间
在宿主机的命令行执行命令：

[codelast@ win10.new]$ sudo VBoxManage modifyhd win10.vdi --resize 46080

0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

其中，46080 的单位是MB。这样，vdi 文件对应的虚拟机的磁盘空间就被扩展成了 45GB，但是从 37GB → 45GB，多出来的 8GB 仍然是不可用的。
文章来源：https://www.codelast.com/
我们可以进入虚拟机的系统验证这一点。在虚拟机里用快捷键 Win+R 打开运行命令对话框，输入 diskmgmt.msc 并回车，会打开Windows的“磁盘管理”软件，在里面我们会看到：

文章来源：https://www.codelast.com/
可见那8GB是“未分配”状态，如果要把它合并到原先的37GB里，并且不破坏已安装好的Win10的话，需要用GParted软件来合并扩展空间（如果你不需要合并在一起，只需要把新增的8GB创建成另一个分区，那么就简单得多，不需要用本文的方法）。

首先到GParted官网下载GParted ISO镜像文件（gparted-xxx.iso）。
➤ 把GParted ISO以光盘的形式挂载到虚拟机系统上
打开VirtualBox，在该虚拟机的“存储”设置页面上，你会看到一个 *.vdi 的虚拟机文件，对应的就是虚拟机里看到的磁盘：

文章来源：https://www.codelast.com/
点击“控制器: SATA”右侧的光盘加号按钮，弹出下面的对话框：

点击左上方的“注册”按钮选择本地磁盘上的GParted ISO文件，会像上图一样显示在列表中。
继续点击“选择”按钮，会看到ISO已经成功挂载了：

文章来源：https://www.codelast.com/
➤ 重启虚拟机进入GParted软件
在虚拟机的“系统”设置页面上，把“光驱”调整成启动顺序的第一项：

这样开机才能先打开GParted，而不是进入安装过的那个Windows系统。
文章来源：https://www.codelast.com/
设置好后重启虚拟机，可以成功进入GParted：

回车进入列表的第一项。
文章来源：https://www.codelast.com/
➤ 使用GParted调整分区大小
打开GParted，在其界面上可看到 8GB 的未分配空间：

文章来源：https://www.codelast.com/
选中 /dev/sda1 那个需要扩大的分区，点击工具栏的“Resize/Move”按钮，会弹出一个对话框：

你不需要输入具体的数值，只需要用鼠标拖拽绿色方框的右边，把它拉到最右，就可以把空间扩到最大。
文章来源：https://www.codelast.com/
点击“Resize/Move”按钮会看到空间已经被扩大了：

但是注意：现在只是临时状态，必须要点击工具栏上的“应用”按钮，才能真正让扩大分区的操作开始执行：

待操作完成后，Windows C盘就成功地从37GB变成了45GB，并且C盘上原来的数据不会丢失。

➤ 验证结果
在虚拟机设置中，把光驱从启动项中移除（防止再次进入GParted），再重启虚拟机，查看Windows系统的C盘大小，就会发现成功了：

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

 

Received disconnect from xxx.xxx.xxx.xxx port 22:2: Too many authentication failures

Disconnected from xxx.xxx.xxx.xxx port 22

轻量应用服务器（Lighthouse）是新一代面向中小企业和开发者的云服务器产品，具备轻运维、开箱即用的特点，适用于小型网站、博客、论坛、电商以及云端开发测试和学习环境等轻量级业务场景，相比传统云服务器更加简单易用，并通过一站式融合常用基础云服务帮助用户便捷高效的构建应用，是您使用腾讯云的最佳入门途径。 

入手后的第一个用途是用Squid搭建一个HTTP代理服务。

Squid是一个高性能的代理缓存服务器，Squid支持FTP、gopher、HTTPS和HTTP协议。

Squid非常流行，并且可以配置成：使用代理的时候，要输入用户名、密码才能连接。有的后起之秀代理服务器软件功能没有这么强大，不能支持账号访问模式，所以就不用去折腾了。
文章来源：https://www.codelast.com/
安装Squid

sudo apt install squid

 配置Squid：代理服务的端口

sudo vim /etc/squid/squid.conf

该配置文件的“http_port 3128”定义了默认的服务端口为3128，你可以改成你想要的端口。
文章来源：https://www.codelast.com/
 创建密码
为了通过用户名、密码来访问代理服务器，需要先安装软件包：

sudo apt install apache2-utils

这个软件包有创建密码所需的 htpasswd 软件。
然后就可以创建密码文件了：

sudo htpasswd -c -d /etc/squid/passwd <username>

这里表示的是：生成一个密码文件 /etc/squid/passwd，访问代理的用户名是 <username>，你自己看情况设置。
注意：
（1）为了避免麻烦，密码应设置成8位字符。据说不是8位的话会有warning，并且会有验证问题。
（2）你会发现，/etc/squid/passwd 这个密码文件里的密码内容，并不是你前面输入的密码！在客户端使用Squid代理的时候，使用的是你输入的密码，而不是 /etc/squid/passwd 文件里的密码！
文章来源：https://www.codelast.com/
 配置Squid：设置使用密码文件定义的账号

sudo vim /etc/squid/squid.conf

auth_param basic program /usr/lib/squid/basic_ncsa_auth /etc/squid/passwd

acl auth_user proxy_auth REQUIRED

http_access allow auth_user

http_access allow localhost
http_access deny all

 启动代理服务

service squid start

 查看Squid日志
首先在Squid配置文件中打开日志记录，取消注释下面这行：

access_log daemon:/var/log/squid/access.log squid

tail -f /var/log/squid/access.log

文章来源：https://www.codelast.com/
 命令行测试代理服务器是否work

curl -x "http://用户名:密码@IP:port" https://www.baidu.com

其中，IP 是Squid所在的服务器的IP，port 是前面设置的代理服务端口，用户名 是前面设置的代理账号的用户名，密码 则为代理账号的密码。
能打印出网页内容即说明代理可用。

 开放代理服务的端口给外网
这是最重要的一步！如果你没有意识到这个问题，那会浪费你非常多时间调试。
经过上面的配置，你只能在服务器上用命令行来访问代理服务，在外网仍然是不通的。此时，需要在腾讯云轻量应用服务器的“防火墙”设置页面，添加一条自定义的规则，开放你的代理端口：

文章来源：https://www.codelast.com/
 在其他机器上使用浏览器访问代理服务
假设你使用的是Chrome，那么访问代理可以用 SwitchyOmega 插件，新建一个情景模式，按下面的样子，把IP地址换成Squid服务所在的服务器IP，端口换成你设置的代理服务端口：

在使用这个情景模式的情况下，第一次用浏览器访问任何网页会弹出账号输入框，如果输对了就能通过代理来访问网络啦（可以看Squid的日志验证这一点）。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

以及我的微信视频号：

来看这个例子。有数据文件 1.txt，内容为：

a[\t][\t]c

[\t]f[\t]g

h[\t]k[\t]
[\t][\t][\t]

A = LOAD '1.txt' AS (col1: chararray, col2: chararray, col3: chararray);
B = FOREACH A GENERATE (col1 IS NOT NULL ? col1 : '1') AS col1, (col2 IS NOT NULL ? col2 : '2') AS col2, (col3 IS NOT NULL ? col3 : '3') AS col3;
DUMP B;

A = LOAD '1.txt' AS (col1: chararray, col2: chararray, col3: chararray);
B = FOREACH A GENERATE (col1 IS NOT NULL ? col1 : (col2 IS NOT NULL ? col2 : (col3 IS NOT NULL ? col3 : '888'))) AS col;
DUMP B;

Apache DataFu™是用于在Hadoop中处理大规模数据的库的集合。

返回一个元组(tuple)的第一个非空值，就像SQL中的Coalesce一样。

DEFINE Coalesce datafu.pig.util.Coalesce();

A = LOAD '1.txt' AS (col1: chararray, col2: chararray, col3: chararray);
B = FOREACH A GENERATE Coalesce(col1, '1') AS col1, Coalesce(col2, '2') AS col2, Coalesce(col3, '3') AS col3;
DUMP B;

DEFINE Coalesce datafu.pig.util.Coalesce();

A = LOAD '1.txt' AS (col1: chararray, col2: chararray, col3: chararray);
B = FOREACH A GENERATE Coalesce(col1, col2, col3, '888') AS col;
DUMP B;