[TOC]

1. 赛题介绍

1.1 任务

赛题以自然语言处理为背景，要求选手对新闻文本进行分类。

1.2 数据

• 赛题以匿名处理后的新闻数据为赛题数据，数据为新闻文本，并按照字符级别进行匿名处理。
• 新闻类别共14个种类：科技、股票、体育、娱乐、时政、社会、教育、财经、家居、游戏、房产、时尚、彩票、星座，分别对应label标签下的0~13。
• 赛题数据文本做了字符级别的匿名处理，数据由以下几个部分组成：
  • 训练集 - 20w条样本
  • 测试集A - 5w条样本
  • 测试集B - 5w条样本
• 下载地址：数据下载链接

1.3 评测指标

评价标准为类别f1_score的均值，选手提交结果与实际测试集的类别进行对比，结果越大越好。

2. 赛题思路

本工程将尝试用4种思路对数据进行建模，并对得到的结果进行比较。

2.1 TF-IDF + ML Classifier

直接使用TF-IDF对文本提取特征，并使用SVM方法进行分类。

2.2 FastText

利用Facebook提供的工具FastText，构建分类器。

2.3 Word2Vec + LSTM

利用FastText训练出词向量，结合LSTM结构构建深度学习分类器。

2.4 BERT词向量

利用BERT构建词向量，并构建分类器。

3. 工程目录

本次工程包括以下几个文件：

• models: 存放训练后生成的模型参数
• .ipynb: 基于不同模型的程序及其结果