Hadoop目录的配额是指为了限制一个HDFS文件夹中所包含的数据块和名称空间元素（如子文件夹和文件）的数量而设置的最大值。简单来说，就是对一个文件夹中可存储数据的上限进行管理和控制，以便于维护整个系统的健康和性能。
通过设置适当的配额，管理员可以确保每个目录不会超出其可承受的容量范围，防止集群资源被长时间占用或滥用。同时也可以通过监视使用情况来优化系统性能并减少故障风险。
综合
[原创] 用JAVA读取本地的TFRecord文件
TFRecord是一种用于TensorFlow的二进制数据格式，它可以更高效地存储和读取大规模数据集。TFRecord文件包含了一系列记录（record），每个记录可以是一个张量（tensor）或者一个序列（sequence）。
与文本文件不同，TFRecord文件被编码成二进制格式，这使得它们更易于在网络上传输和存储。同时，TFRecord也允许我们将大型数据集分割成多个部分，并且可以有效地并行读取和处理这些部分。
在TensorFlow中，我们通常使用TFRecord文件来存储和加载模型的训练数据、验证数据、测试数据等。创建TFRecord文件需要经过一定的序列化操作，但这些操作很容易实现，因为TensorFlow提供了相应的API支持。
[原创] 用JAVA程序读取本地的Hadoop sequence file
Hadoop SequenceFile是Hadoop用于存储二进制键值对的文件格式。它支持存储不同的键值对类型,如:IntWritable/Text, NullWritable/BytesWritable等。
假设我的sequence file的key是BooleanWritable类型，value是Text类型，怎么读取它呢？
[原创] JAVA sun HttpServer在handler中返回含中文的response应该怎么处理
在JAVA中，使用sun HttpServer实现一个web server的时候，使用了下面的hander类来处理请求：
static class MyHandler implements HttpHandler {
@Override
public void handle(HttpExchange httpExchange) throws IOException {
String response = "test"; // 返回固定内容
httpExchange.sendResponseHeaders(200, response.length());
OutputStream os = httpExchange.getResponseBody();
os.write(response.getBytes());
os.close();
}
}
[原创] Charles Proxy文章合集
Charles Proxy是一个HTTP代理/HTTP监视器/反向代理，它使开发人员能够查看其计算机和Internet之间的所有HTTP和SSL/HTTPS流量。这包括请求、响应和HTTP headers（其中包含cookie和缓存信息）。
[原创] 用Charles Proxy抓包iOS App的数据
查看Charles Proxy文章合集，请点击这里。
➤ 使用场景
当我们需要分析 iOS App 发送接收的数据时，需要对App进行抓包。可以在 iOS 上安装抓包工具来完成这个工作，更常见的做法是在PC上安装Charles Proxy之类的软件，再对 iOS 进行一定的配置让这二者关联起来，从而可以在PC上完成抓包工作。毕竟在PC大屏上进行数据分析比触屏的 iOS 设备更为方便。
其基本原理是：Charles Proxy运行起来后，会在PC上启动一个代理服务器，在 iOS 设备上配置通过这个代理服务器来访问网络，那么iOS上的HTTP流量都将走过Charles Proxy，自然也就被Charles Proxy截获了数据。另外，对于HTTPS的加密流量，Charles Proxy还提供了一个SSL证书，把这个证书安装到 iOS 设备上，就可以让 iOS App 发送的HTTPS流量被Charles Proxy 解密，我们就能分析App发送的数据明文。
[原创] 使用Google HTTP Client/OkHttpClient来发送同步POST请求(JAVA)
这是一篇很水的文章，纯粹为了记录一些代码。
Google HTTP Client Library for Java 和 OkHttpClient 是两个很流行的http client JAVA库。
下面来看看用它们分别怎样通过POST请求把JSON数据发送到服务器。
JDK版本：1.8.0_221
[原创] Apache Pig如何按数据分组保存到不同的子目录中(MultiStorage)
用Apache Pig进行数据处理的时候，我们通常会在最后把处理结果保存到一个HDFS目录下：
STORE result INTO '/my_output_dir';
这是最常见的情况。
但是，如果我们想根据某个字段，把数据分成多组，分别存储在多个目录下呢？举个可能不恰当的例子，就有点像我们先把数据按某个字段分组：
GROUP data BY field;
再把各个group的数据分别存储在不同的目录下一样。
[原创] IntelliJ IDEA JAVA项目里一堆class找不到定义(标红)的解决办法
依次尝试以下方法，如果一个不行就试另外一个。
- 方法1
点击菜单 File→ Invalidate Caches，即清空IntelliJ的缓存，这个操作会要求重启IntelliJ，重启之后会需要一些时间重新缓存各种lib。
[原创] 在99%的情况下，接受混乱才能解脱
我昨天参加了一个分享会议，公司里另一个团队的一个同事在讲解某项目历史的时候提到，关于某个逻辑复杂的模块，由于前一个开发者离职好久了，他到现在也没有理清全部的逻辑。我曾经粗看过一下他们留下的文档，简直已经不能用“凌乱”来形容了，那真是乱得比垃圾堆还乱。
但是领导们可能只看到他们文档写得多，却不知道他们文档质量有多差。
如果你想找到某个具体的问题关联到的文档，恐怕你只能一个人一个人地去问，而你问到的人，很可能会告诉你“这一块没有文档，我也是接手来的，我要去看一下代码再告诉你答案”，口口相传。
[原创] JAVA Jackson解析无名(匿名)数组
假设有JSON文件 1.json：
[
{
"sku": "ABC",
"num": 3
},
{
"sku": "DEF",
"num": 2
}
]
由中括号可知，这个JSON字符串映射成JAVA对象是一个List，而它里面又包含了两个JAVA对象（每个大括号对应一个）。
[原创] 一个普通技术人的2021总结，2022展望
虎年初三，在全国人民阖家欢乐到处游玩的日子里，我又去了图书馆学习。
去年的年初一，我去了同一家图书馆学习。
感叹这一眨眼，就已经过了一年了啊。
在这样重要的节日里来图书馆学习似乎显得特别冷清，但是这能让我感受到内心的宁静，可以好好思考一下过去和未来。