文本分类 – 编码无悔 / Intent & Focused

[原创]《使用 fastText 做中文文本分类》文章合集

learnhard — Wed, 29 Jul 2020 10:46:59 +0000

本文描述了如何使用 fastText 对中文进行文本分类的过程，只有实操，基本没有理论。
以下按顺序编排。

✓ 使用 fastText 做中文文本分类(1)
✓ 使用 fastText 做中文文本分类(2)
✓ 使用 fastText 做中文文本分类(3)
✓ 使用 fastText 做中文文本分类(4)
✓ 使用 fastText 做中文文本分类(5)… Read More

[原创] 使用 fastText 做中文文本分类(5)

learnhard — Wed, 29 Jul 2020 09:48:07 +0000

查看本系列文章合集，请看这里。

前面说的模型训练、预测过程，是用 fastText 可执行程序完成的。fastText提供了Python的接口，同样的功能也可以用Python实现。如果数据量比较小，单机做文本分类没啥问题。但我的数据量比较大，几十G的文本数据，单机加载模型、预测分类太耗资源了，而且速度慢。
并行这种事嘛，交给Map-Reduce job来做是最合适不过了，不过，要在Hadoop集群上安装fastText的Python包是不可能的，所以我只能找一下，fastText的模型怎么用Java加载，从而在M-R job中并行地去做预测。

✓ 选择
网上能搜到好些个 fastText 的“Java版”，比如 JFastText，它是 fastText 的一个Java wrapper；又比如 FastText4j，它是一个完全由 Kotlin & Java 实现的 fastText 实现。还有其他的，没有调研。
看了 FastText4j 的自我介绍：

● 100%由Kotlin & Java实现

● 良好的API

● 兼容官方原版的预训练模型

● 提供所有的包括train、test等api

● 支持自有模型存储格式，可以使用MMAP快速加载大模型

我心动了，马上试用。

✓ Maven项目引入 FastText4j 依赖


  com.mayabot.mynlp
  fastText4j
  3.1.7

这样就能在代码里用了。
文章来源：https://www.codelast.com/
✓ 训练模型

// 用FastText4j训练一个文本分类模型，模型保存成单个文件
File trainFile = new File("/home/codelast/labeled-data_train");
InputArgs inputArgs = new InputArgs();
inputArgs.setLoss(LossName.softmax);
inputArgs.setLr(1.0);
inputArgs.setEpoch(25);
inputArgs.setWordNgrams(2);

FastText model = FastText.trainSupervised(trainFile, inputArgs);
model.saveModelToSingleFile(new File("/home/codelast/model"));

训练的参数，包括 lr，epoch，wordNgrams 的含义，都和 fastText 的原版一致。和 fastText 默认生成 .bin & .vec 两个模型文件不同，FastText4j 可以用 saveModelToSingleFile() 方法来生成一个单一的模型文件，如果用 saveModel() 方法的话，则会在一个目录下生成4个文件（如果是这种形式的话，加载模型的时候，4个文件缺一不可）：

args.bin

dict.bin

input.matrix

output.matrix

如果要在Java Map-Reduce job中加载模型，把模型放到 distributed cache 中分发，当然是一个文件最方便。所以强烈建议把模型save成单一文件。
文章来源：https://www.codelast.com/
✓ 加载模型并测试效果

// 加载模型
FastText model = FastText.Companion.loadModelFromSingleFile(new File("/home/codelast/model"));
System.out.println("load model done, will do test...");
// 测试模型效果
model.test(new File("/home/codelast/labeled-data_valid"), 1, 0, true);

输出：

load model done, will do test...

F1-Score : 0.953652 Precision : 0.949348 Recall : 0.957996 __label__娱乐

F1-Score : 0.704064 Precision : 0.702055 Recall : 0.706085 __label__社会

F1-Score : 0.929426 Precision : 0.917355 Recall : 0.941818 __label__历史

F1-Score : 0.784775 Precision : 0.784232 Recall : 0.785319 __label__时政

F1-Score : 0.969314 Precision : 0.967568 Recall : 0.971067 __label__汽车

F1-Score : 0.910314 Precision : 0.914414 Recall : 0.906250 __label__时尚

F1-Score : 0.899281 Precision : 0.903614 Recall : 0.894988 __label__健康

F1-Score : 0.929919 Precision : 0.905512 Recall : 0.955679 __label__美食

F1-Score : 0.908136 Precision : 0.894057 Recall : 0.922667 __label__军事

F1-Score : 0.967391 Precision : 0.975342 Recall : 0.959569 __label__体育

F1-Score : 0.907618 Precision : 0.915033 Recall : 0.900322 __label__育儿

F1-Score : 0.782895 Precision : 0.760383 Recall : 0.806780 __label__情感

F1-Score : 0.863946 Precision : 0.866894 Recall : 0.861017 __label__财经

F1-Score : 0.905188 Precision : 0.920000 Recall : 0.890845 __label__教育

F1-Score : 0.781431 Precision : 0.792157 Recall : 0.770992 __label__文化

F1-Score : 0.892495 Precision : 0.894309 Recall : 0.890688 __label__游戏

F1-Score : 0.830882 Precision : 0.801418 Recall : 0.862595 __label__科技

F1-Score : 0.795455 Precision : 0.781250 Recall : 0.810185 __label__旅游

F1-Score : 0.843537 Precision : 0.826667 Recall : 0.861111 __label__动漫

F1-Score : 0.960961 Precision : 0.969697 Recall : 0.952381 __label__占卜

F1-Score : 0.915361 Precision : 0.912500 Recall : 0.918239 __label__数码

F1-Score : 0.553191 Precision : 0.601852 Recall : 0.511811 __label__搞笑

F1-Score : 0.788104 Precision : 0.834646 Recall : 0.746479 __label__农林牧副渔

F1-Score : 0.797048 Precision : 0.830769 Recall : 0.765957 __label__科学

F1-Score : 0.788462 Precision : 0.828283 Recall : 0.752294 __label__家居

F1-Score : 0.831579 Precision : 0.877778 Recall : 0.790000 __label__房产

F1-Score : 0.674286 Precision : 0.710843 Recall : 0.641304 __label__生活方式

F1-Score : 0.908108 Precision : 0.933333 Recall : 0.884211 __label__宠物

F1-Score : 0.546667 Precision : 0.546667 Recall : 0.546667 __label__宗教

F1-Score : 0.706767 Precision : 0.671429 Recall : 0.746032 __label__职场

F1-Score : 0.951220 Precision : 0.928571 Recall : 0.975000 __label__天气

F1-Score : 0.666667 Precision : 0.909091 Recall : 0.526316 __label__摄影

F1-Score : 0.707692 Precision : 0.718750 Recall : 0.696970 __label__法律

F1-Score : 0.750000 Precision : 1.000000 Recall : 0.600000 __label__彩票

F1-Score : 0.333333 Precision : 1.000000 Recall : 0.200000 __label__移民

F1-Score : 0.000000 Precision : -------- Recall : 0.000000 __label__生活百科

N 10703

P@1 0.870

R@1 0.870

文章来源：https://www.codelast.com/
✓ 预测一段文本的label

// 预测一个分好词的string的label
List result = model.predict(Arrays.asList("人民网 辽宁 频道 人民网 沈阳 月 10 日电 日前 进一步 增强 全民 节能 意识".split(" ")), 1, 0);
System.out.println(result.get(0).getLabel());

输出：

__label__社会

注意这里的文本应该是分好词的、空格分隔的、清洗过的文本。
文章来源：https://www.codelast.com/
✓ 压缩模型
如果一个模型文件体积太大，可能放不进 distributed cache 中，所以压缩模型体积这个功能很有用。以我的模型为例，接近900MB的大小，压缩之后会变成 100 多MB，模型的Precision & Recall指标却没有变差多少，值。

// 压缩模型并保存。加载压缩过的模型可以节省内存
FastText qmodel = model.quantize(2, false, false);
qmodel.saveModelToSingleFile(new File("/home/codelast/model_compressed"));

保存成压缩过的模型是一次性的操作，以后再加载模型的话，就加载这个压缩过的模型了。

✓ 后记
通过 FastText4j 在 Map-Reduce job 中并行做文本分类，成功地让文本分类任务提高了无数倍的速度，达到了实用的水平。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤
转载需注明出处：codelast.com
感谢关注我的微信公众号（微信扫一扫）：

[原创] 使用 fastText 做中文文本分类(4)

learnhard — Wed, 29 Jul 2020 09:47:42 +0000

查看本系列文章合集，请看这里。

✓ 开始训练第一个文本分类模型
标注好的数据，其格式为：

__label__科技月 10 日网通社从高合汽车获悉华人运通微软 2020 世界人工智能大会云端峰会 WAIC 2020 上达成战略合作依托微软小冰人工智能技术高合汽车上落地全球首个主动式人工智能伙伴 HiPhiGo 用户提供更好交通出行体验人工智能交通行业创新融合发展探讨成立联合智能计算实验室智能汽车载体智捷交通多个领域展开深度合作人工智能前瞻技术研发推动智慧出行社会持续发展微软亚洲互联网工程院院长王永东微软华人运通合作使人工智能技术切实可行落地场景得以转化真实有效生产力发挥更大价值微软华人运通携手推进人工智能新兴科技汽车智慧智慧出行领域广泛应用产业升级社会持续发展注入新活力华人运通董事长丁磊此次合作顶级人工智能企业智能汽车公司强强联手 AI 多项领先技术全球汽车行业首次量产落地世界内技术领先性首款智能汽车高合 HiPhi 有条不紊推进全球首条车路协同自动驾驶智能化城市道路示范项目盐城开通试运行再全球首个车路城一体化 5G 无人驾驶交通运营样板上海张江未来公园成功落地华人运通以人为本人性化需求出发人性化智慧打造智能汽车智捷交通智慧城市三智战略各项业务稳步推进高合首款量产车 HiPhi 2020 年底小批量试生产 2021 年上市交付

按 fastText 的指南，把这份数据按大概 9:1 的比例，分成training集和validation集，然后开始训练模型：

./fasttext supervised -input labeled-data_train -output model

其中，labeled-data_train 是training集文件，model 是输出模型的文件名前缀。
经过一段时间的等待（速度很快），当前目录下就生成了模型文件：model.bin 和 model.vec。

现在可以用validation集来检验一下模型效果了：

./fasttext test model.bin labeled-data_valid 1

其中，labeled-data_valid 是validation集文件，1表示只预测top 1的label。
输出：

N 10705

P@1 0.842

R@1 0.842

即 Precision为0.842，Recall为0.842。这个结果还可以，但还能优化。
文章来源：https://www.codelast.com/
✓ 模型调优
设置更详细的参数重新训练模型：

./fasttext supervised -input labeled-data_train -output model -lr 1.0 -epoch 25 -wordNgrams 2

其中：
-lr 1.0 表示 learning rate 设置成 1.0（通常值：0.1 ～ 1.0）。
-epoch 25 表示迭代的轮数设置成 25。
-wordNgrams 2 表示n-gram的值，一般使用2，表示2-gram。
这样训练出来的模型，再做一次test，结果变好了一些：

N 10705

P@1 0.878

R@1 0.878

这里只对模型优化做了简单的尝试。

✓ 交互模式下预测文本的分类
执行以下命令：

./fasttext predict model.bin -

fastText会加载 model.bin 模型，进入交互模式，等待用户输入。
此时输入的应该是分好词之后的文本，例如“网通社从高合汽车获悉华人运通微软 2020 世界人工智能大会云端峰会 WAIC 2020 上达成战略合作”。一回车，fastText马上会返回该段文本的预测分类：

__label__科技

这是个比较方便的调试方法。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤
转载需注明出处：codelast.com
感谢关注我的微信公众号（微信扫一扫）：

[原创] 使用 fastText 做中文文本分类(3)

learnhard — Wed, 29 Jul 2020 09:47:20 +0000

查看本系列文章合集，请看这里。

为 training 数据做标注，这可能是一个艰巨的任务，也可能是一个有捷径的任务。
有时候，我们可以依据一些已知的规则来标注文本，比如不同的数据是从不同的来源获取到的，从来源可以知道它们所属的类别，这是一个捷径。不过我这里不具备这样的条件。
我的数据来源是网上的各种新闻，不是某些专业领域的数据，这种比较常见的文本分类任务，可以利用国内的几大云服务商提供的免费接口来完成。阿里云、腾讯云都有这样的接口。
以腾讯云为例，其“人工智能→自然语言处理”产品提供了文本分类功能：

文本分类接口能够对用户输入的文本进行自动分类，将其映射到具体的类目上，用户只需要提供待分类的文本，而无需关注具体实现。

该功能基于千亿级大规模互联网语料和LSTM、BERT等深度神经网络模型进行训练，并持续迭代更新，以保证效果不断提升。

目前已提供：

● 通用领域分类体系，包括15个分类类目，分别是汽车、科技、健康、体育、旅行、教育、职业、文化、军事、房产、娱乐、女性、奥运、财经以及其他，适用于通用的场景。

● 新闻领域分类体系，包括37个一级分类类目，285个二级分类（详细请见类目体系映射表），已应用于腾讯新闻的文章分类。

更多垂直领域的分类体系即将推出，敬请期待。

默认接口请求频率限制：20次/秒。

该API每天有50万次免费调用额度，用来标注数据够用了：

如果你对这个接口的分类结果准确性有疑虑的话，可以亲自拿一些新闻的文本试一试，就会发现它的效果真的不错，完全可以用来当作人工标注的结果了，毕竟是大厂出品嘛。

同理，阿里云也有类似的接口。作为电商界的龙头，阿里云的文本分类接口不仅适用于新闻资讯领域类目体系，还能用于电商领域类目体系。所以，如果你的文本是电商领域的，可以试试阿里云。
文章来源：https://www.codelast.com/
下面，就来看看怎么薅腾讯云的羊毛。注册腾讯云账号、开通自然语言处理接口的权限，这些就不用说了，自己在网页上点几下就可以完成。
✓ 测试接口
腾讯云NLP接口提供了一个在线测试的网页，从这个链接可以进去（“点击调试”）：

进入调试页面：

对这个接口：
Region只能选“华南地区(广州)”。
Text是待分类的文本，注意不需要分词。只需要把我们前面清洗过（去掉了HTML tag等内容）的句子拿来用即可。
Flag为 1 表示通用领域，为 2 表示新闻领域。
文章来源：https://www.codelast.com/
接口返回的数据是JSON格式，FirstClassName 是一级分类的名称，SecondClassName 是二级分类的名称。
调试页面还提供了“代码生成”功能，Java、Python、PHP、Go等都有，支持非常全面。选一个你熟悉的语言，就可以在代码里实现了。

由于免费的接口的QPS上限为20次/秒，所以并行什么的就不要想了，单线程就能跑满。
通过腾讯云的接口，我们能在半天内为几十万条文本打上标签，再整理成 fastText 规定的格式，就可以训练模型了。
如果觉得50万条都不够多，可以注册多个腾讯云账号来薅羊毛，或者用几天的时间累积够标注数据。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤
转载需注明出处：codelast.com
感谢关注我的微信公众号（微信扫一扫）：

[原创] 使用 fastText 做中文文本分类(2)

learnhard — Wed, 29 Jul 2020 09:46:54 +0000

查看本系列文章合集，请看这里。

做好文本预处理，才能输入fastText训练一个效果好的模型出来。

✓ 原文示例
有时我们拿到的源数据是很粗糙的，带有很多会影响模型效果的内容，例如下面这样：

罗望子，是豆科酸豆属唯一的种，是热带乔木，原产于东部非洲，包括马达加斯加落叶森林，但已被引入热带亚洲、拉丁美洲和加勒比海。柽柳是中国海南省三亚的一种城市树木。罗望子最适合生长在温度高、日照长、气候干燥、干湿季节分明的地区。

罗望子富含糖、乙酸、酒石酸、甲酸、柠檬酸等成分，主要用于调味品、饮料、果酱等食品领域。吃一点罗望子有很多好处。当我们吃罗望子时，罗望子中含有的多糖是一种非常好的抗光物质。当我们吃这种物质时，它可以防止紫外线辐射伤害皮肤。通常吃一点罗望子，饭前吃一点罗望子可以增进食欲，改善我们的饮食质量。在炎热的夏日，吃一点罗望子可以生津止渴，清热解毒，降低中暑的风险。

罗望子种子含有丰富的抗氧化物质。多吃罗望子籽可以延缓人体衰老，保持皮肤湿润有光泽。罗望子种子还含有一些清热解毒、消炎的物质，可以帮助我们的人体抵抗一些有害细菌，保护我们的健康。

这里面不仅带有URL、大量的HTML标签，而且还有标点符号等，这些都要清洗掉。

✓ 清除掉HTML标签、URL
这里给出Java版的一个实现(从网上借鉴来的)，它们并不完善，但是够用了：

    /**
     * 移除一个字符串中的HTML标签。
     *
     * @param inputStr 输入的字符串。
     * @return 移除了HTML标签之后的字符串。
     */
    private String removeHtmlTags(String inputStr) {
      if (StringUtils.isEmpty(inputStr)) {
        return inputStr;
      }
      return inputStr.replaceAll("<[^>]*>", "");
    }

    /**
     * 移除一个字符串中的URL。
     *
     * @param inputStr 输入的字符串。
     * @return 移除了URL之后的字符串。
     */
    private String removeUrl(String inputStr) {
      String urlPattern = "((https?|ftp|gopher|telnet|file|Unsure|http):((//)|(\\\$$)+[\\w\\d:#@%/;$()~_?+-=\\\\.&]*)";
      Pattern p = Pattern.compile(urlPattern, Pattern.CASE_INSENSITIVE);
      Matcher m = p.matcher(inputStr);
      StringBuffer sb = new StringBuffer(inputStr.length());
      while (m.find()) {
        m.appendReplacement(sb, "");
      }
      return sb.length() == 0 ? inputStr : sb.toString();
    }

文章来源：https://www.codelast.com/
以前面的内容为例，依次经过上面两个方法处理后，得到的结果是：

罗望子，是豆科酸豆属唯一的种，是热带乔木，原产于东部非洲，包括马达加斯加落叶森林，但已被引入热带亚洲、拉丁美洲和加勒比海。柽柳是中国海南省三亚的一种城市树木。罗望子最适合生长在温度高、日照长、气候干燥、干湿季节分明的地区。罗望子富含糖、乙酸、酒石酸、甲酸、柠檬酸等成分，主要用于调味品、饮料、果酱等食品领域。吃一点罗望子有很多好处。当我们吃罗望子时，罗望子中含有的多糖是一种非常好的抗光物质。当我们吃这种物质时，它可以防止紫外线辐射伤害皮肤。通常吃一点罗望子，饭前吃一点罗望子可以增进食欲，改善我们的饮食质量。在炎热的夏日，吃一点罗望子可以生津止渴，清热解毒，降低中暑的风险。罗望子种子含有丰富的抗氧化物质。多吃罗望子籽可以延缓人体衰老，保持皮肤湿润有光泽。罗望子种子还含有一些清热解毒、消炎的物质，可以帮助我们的人体抵抗一些有害细菌，保护我们的健康。

这样看上去就干净多了。
文章来源：https://www.codelast.com/
除此之外，还有标点符号，以及一些无用的词需要被除掉，这些词对表达文本的主要含义作用不大，比如“啊”，“嘿”之类的词，它们一般称为停用词(stop words)。我们可以从网上下载到常用的停用词表，比如这个链接。
在对文本进行分词之后，出现在停用词表中的，全都过滤掉。

✓ 分词并去除停用词
Python下比较流行的中文分词器之一是结巴分词：

import jieba


my_text = '罗望子，是豆科酸豆属唯一的种，...'



# 分词
segmented_words = jieba.cut(my_text, cut_all=False)  # 精确分词模式



# 去除停用词

for single_word in segmented_words:
    #TODO: 去除停用词

文章来源：https://www.codelast.com/
Java版的结巴分词作者已经不维护了，建议换其他的分词器，比如用户量很大的HanLP。其使用也非常简单，在Maven项目的 pom.xml 中添加：

    <dependency>
      <groupId>com.hankcsgroupId>
      <artifactId>hanlpartifactId>
      <version>portable-1.7.8version>
    dependency>

就可以用了：

import com.hankcs.hanlp.seg.common.Term;
import com.hankcs.hanlp.tokenizer.StandardTokenizer;

String myText = "罗望子，是豆科酸豆属唯一的种，...";

List termList = StandardTokenizer.segment(myText);
for (Term term : termList) {
    System.out.println(term.word);  // term.word即分出来的每个词
    //TODO: 去除停用词
}

现在得到的是分好的词，并且把停用词等杂七杂八的东西都去掉了，也许对某些情况很糟糕的文本，还会有漏网之鱼，但对一般情况来说基本上够用了。
不同的分词器分出来的词结果不尽相同，这里以Java版为例，得到：

罗望子豆科酸豆属唯一种热带乔木原产东部非洲包括马达加斯加落叶森林已引入热带亚洲拉丁美洲加勒比海柽柳是中国海南省三亚种城市树木罗望子最适合生长温度高日照长气候干燥干湿季节分明地区罗望子富含糖乙酸酒石酸甲酸柠檬酸成分用于调味品饮料果酱食品领域吃一点罗望子很多好处吃罗望子时罗望子中含有多糖种好抗光物质吃物质时紫外线辐射伤害皮肤吃一点罗望子饭前吃一点罗望子增进食欲改善饮食质量炎热夏日吃一点罗望子生津止渴清热解毒降低中暑风险罗望子种子含有抗氧化物质吃罗望子籽延缓人体衰老皮肤湿润光泽罗望子种子还含有清热解毒消炎物质人体抵抗有害细菌保护健康

为了清晰展示结果，词与词之间用空格隔开了。
如果对分词结果不满意，比如人名，特殊物品名，可以为分词器添加字典，让分词器识别它们。这些调优的工作就不详述了。
文章来源：https://www.codelast.com/
✓ 文本标注
fastText对训练数据的格式要求是这样的：

__label__健康罗望子豆科酸豆属唯一种热带乔木原产东部非洲包括马达加斯加落叶森林已引入热带亚洲拉丁美洲加勒比海柽柳是中国海南省三亚种城市树木罗望子最适合生长温度高日照长气候干燥干湿季节分明地区罗望子富含糖乙酸酒石酸甲酸柠檬酸成分用于调味品饮料果酱食品领域吃一点罗望子很多好处吃罗望子时罗望子中含有多糖种好抗光物质吃物质时紫外线辐射伤害皮肤吃一点罗望子饭前吃一点罗望子增进食欲改善饮食质量炎热夏日吃一点罗望子生津止渴清热解毒降低中暑风险罗望子种子含有抗氧化物质吃罗望子籽延缓人体衰老皮肤湿润光泽罗望子种子还含有清热解毒消炎物质人体抵抗有害细菌保护健康

每两个字符串之间都用空格隔开，以“__label__”开头的（前后均为双下划线）是后面文本的标签，这里可以有多个标签，比如“__label__健康 __label__生活”，也是用空格分隔开。前面说过，本文以1个标签举例，所以这里只有1个。
这是文本预处理的最后一步，完成之后就可以把数据喂给fastText训练出一个模型啦。
比如说上面分好词的文本，我们要为它标注一个类别（例如“健康”）。
然鹅，我们难道用人工肉眼看的方法来标注吗？并且，类别有哪些，我怎么知道？
就算有一目十行的能力，看瞎我的钛合金狗眼，我一天也标不了10万条数据啊！
欲知解决方法，请看下一篇文章。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤
转载需注明出处：codelast.com
感谢关注我的微信公众号（微信扫一扫）：

[原创] 使用 fastText 做中文文本分类(1)

learnhard — Wed, 29 Jul 2020 09:46:10 +0000

查看本系列文章合集，请看这里。

✓ 什么是“文本分类”

它是图书馆学，信息学和计算机科学中的一个问题。其任务是将一个文档分配到一个或者多个类别中。

举例：

文本	类别
瑞幸咖啡今日发布声明称，瑞幸咖啡公司将于6月29日在纳斯达克停牌，并进行退市备案。声明表示，在国内消费市场方面，瑞幸咖啡全国4000多家门店将正常运营，近3万名员工仍将一如既往的为用户提供优质产品和服务。公司衷心感谢广大消费者的支持厚爱，并再次为事件造成的恶劣影响向社会各界诚挚道歉。	财经
明朝中后期西南沿海一个重要的问题就是倭寇的骚扰，这个问题本来是有希望被当时的浙江总督用和平的方法解决掉的，但是中途就出了个王本固这个插曲。	历史

其中，“类别”是事先定义好的。一段文本可以属于多个类别，例如，第2个例子可以同时属于“历史”和“明朝”这两个类别。

✓ fastText是什么
fastText是Facebook于2016年开源的一个词向量计算和文本分类工具，官方定义：

Library for efficient text classification and representation learning

工具如其名，“fast”，表明它的速度很快。
fastText应用很广泛，本文以只有1个类别的中文文本分类任务为例，展示如何从源数据开始，到数据处理，到最后完成分类的过程。
文章来源：https://www.codelast.com/
✓ 安装fastText
fastText 有一个在命令行直接就能用的可执行程序，也有Python的接口，这两样东西我们都装上。
安装、使用fastText对编译器版本、Python版本都有一定的要求，可以查看fastText网站了解这些信息。

wget https://github.com/facebookresearch/fastText/archive/v0.9.2.zip
unzip v0.9.2.zip
cd fastText-0.9.2
make
pip install .

本文写作时，fastText的最新版是 0.9.2，如果版本有更新，上面的命令要跟着修改。
我们会看到当前目录下生成了一个名为“fasttext”的可执行程序。这样，fastText就可以开始用了。但这只是万里长征第一步，之后的文本预处理、类别标注才是最麻烦的。

✓ 文本分类的流程
并不是我们有了文本数据（一行一个字符串），就能直接喂给fastText训练出来一个分类模型了，我们不仅要对数据进行一些细致的清洗，还要把输入fastText的数据做成它要求的格式，这样它才能识别并训练出模型。

简单地说，文本分类的过程主要由以下步骤构成：
● 对待分类的文本数据做预处理。例如：去掉文本里的乱七八糟的字符、标点符号，等等。并且，由于中文不像英文有天然的空格做为词与词之间的分隔符，因此，我们只能使用分词器来对中文句子进行分词。
● 对文本进行标注。fastText训练的是有监督的文本分类模型，你得先给它一堆例子：什么样的文本，对应的正确分类是什么。这样它才能学出一个模型，用于预测一个没有见过的文本的类别。标注可以由人工完成（效率低，一般不现实），也可以从一些可信的数据源获取文本的正确分类。
● 把处理好的文本数据拆分成training集和validation集，training集用于训练模型，validation集用于检验模型效果。
● 用fastText训练training集得到一个模型，用validation集检验模型效果，如果效果不好，调整模型训练的参数训练一个新模型继续检验效果。

下面，就依次描述以上各项。请看下一篇文章。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤
转载需注明出处：codelast.com
感谢关注我的微信公众号（微信扫一扫）：