murray-z/text_analysis_tools murray-z/text_analysis_tools

  • Stars
    star
    601
  • Rank 74,537 (Top 2 %)
  • Language
    Python
  • License
    Apache License 2.0
  • Created about 5 years ago
  • Updated about 1 year ago
Twitter logo Share LinkedIn logo Share Facebook logo Share
murray-z/text_analysis_tools
github

murray-z

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

中文文本分析工具包（包括- 文本分类 - 文本聚类 - 文本相似性 - 关键词抽取 - 关键短语抽取 - 情感分析 - 文本纠错 - 文本摘要 - 主题关键词-同义词、近义词-事件三元组抽取）

text_analysis_tools

文本分析工具包, 可以直接运行 “python examples.py” 进行样例测试。

目录

  • test_data: 测试数据
  • text_analysis_tools: 功能API
  • examples.py: 使用样例

功能

  • 文本分类
  • 文本聚类
  • 文本相似性
  • 关键词抽取
  • 关键短语抽取
  • 情感分析
  • 文本纠错
  • 文本摘要
  • 主题关键词
  • 同义词、近义词
  • 事件三元组抽取

注意事项

  • 采用词向量生成同义词、近义词功能，需用户自己指定预训练词向量

More Repositories

1

text_clustering

文本聚类（Kmeans、DBSCAN、LDA、Single-pass）
Python
301
star
2

multi_label_classification

基于pytorch + bert的多标签文本分类（multi label text classification）
Python
64
star
3

Multi_Label_TextCNN

textcnn多标签文本分类
Python
35
star
4

OneStop_QAMaker

采用一个模型同时实现问题生成和答案生成
Python
22
star
5

text_similarity

文本相似性
Python
21
star
6

FastText

FastText 文本分类
Python
18
star
7

TextRCNN

TextRCNN 文本分类
Python
16
star
8

Event_Triple_Extraction

采用LTP（分词、词性标注、句法依存、角色标注）抽取事件三元组
Python
16
star
9

knowledge_distillation

knowledge distillation: 采用知识蒸馏，训练bert后指导textcnn
Python
14
star
10

multi_label_fasttext

fasttext 多标签文本分类
Python
12
star
11

Event_Extraction

采用bert进行事件抽取，[cls]进行事件分类，最后一层向量进行序列标注，两个任务同时训练。
Python
10
star
12

TextRNN

bilstm + softmax 文本分类
Python
8
star
13

multi_label_text_classification_sklearn

sklearn 多标签文本分类
Jupyter Notebook
7
star
14

ner_by_dict

NER-采用自定义词典进行命名实体识别
Python
7
star
15

text_classification_pytorch

pytorch文本分类（DNN,TextCNN,TextRNN,TextRCNN,RNNATT,DPCNN，HAN，BERT）
Python
6
star
16

keywords_text_classification

基于关键词进行文本分类
Python
6
star
17

text-summarization

中文文本摘要
Python
6
star
18

text_classification_tf2

基于tensorflow2文本分类、迁移学习
Python
5
star
19

spell_correct

中、英文拼写纠错
Python
5
star
20

TextCnn

TextCnn单标签文本分类
Python
4
star
21

relation_extraction

采用pipeline的方式实现关系抽取，NER + Relation Classification
Python
4
star
22

forward_backward_max_match_ner

基于前向、后向最大匹配算法，结合人工搜集词典，进行命名实体识别预标注
Python
4
star
23

gensim_lda

采用gensim训练lda模型
Python
3
star
24

BiLSTM_CRF

bilstm_crf 解决序列标注问题
Python
3
star
25

bert_siamese_similarity

采用bert作为编码器实现孪生网络
Python
2
star
26

Text_RNN_Attention

RNN + Attention 文本分类
Python
2
star
27

ElasticSearch_tutorial

ElasticSearch简单教程及简单使用案例
Python
2
star
28

Key_Phrase_Extraction

关键短语抽取
Python
2
star
29

BERT_NER

基于bert+softmax， bert+crf进行中文实体识别
Python
2
star
30

gensim_train_model

采用gensim训练模型
Python
2
star
31

bert_of_theseus_torch

BERT-of-Theseus 模型壓縮方法的pytorch實現
Python
1
star
32

Graph_Algorithm

整理一些图相关算法知识
1
star
33

sentiment_analysis

中文情感分析
Python
1
star
34

LearningTensorflow

学习tensorflow
Python
1
star
35

couplet-gpt2

基于gpt2的对对联模型
Python
1
star
36

Synonym_and_Text_Similarity

采用预训练词向量输出同义词及结合WMD计算文本相似性
Python
1
star
37

couplet

采用seq2seq架构训练“对对联”模型
Python
1
star
38

pyspark_usage

spark、pyspark一些基本操作
Python
1
star
39

text_keywords

中文文本关键词提取
Python
1
star