自注意力与文本分类

本仓库基于自注意力机制实现文本分类。

依赖

• Python 3.5
• Keras

数据集

IMDB影评倾向分类数据集，来自IMDB的25,000条影评，被标记为正面/负面两种评价。影评已被预处理为词下标构成的序列。方便起见，单词的下标基于它在数据集中出现的频率标定，例如整数3所编码的词为数据集中第3常出现的词。

按照惯例，0不代表任何特定的词，而用来编码任何未知单词。

用法

训练

$ python imdb_attention.py

比较结果

结论

最新很火的变形金刚模型(Transformer, 即多头自注意力) 在这个经典的小文本分类数据集上的表现，只是中等。