• Stars
    star
    126
  • Rank 282,890 (Top 6 %)
  • Language
  • License
    MIT License
  • Created over 5 years ago
  • Updated about 5 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

NER(命名实体识别)中文语料,一站式获取

NER_corpus_chinese

可获取的ENR中文语料

目前网络上流传比较广泛的主要是以下几个:

  • 人民日报1998版本:其实就是分词的训练语料,将其中/t、/nr、/ns、/nt看做实体标签就可以做NER了。
  • MSRA语料:以BIO格式标注了人名、地名、组织机构名三类实体。
  • 玻森NLP语料:包含2000个段落,标注了6类实体,除了时间和3种常见类别外,还有公司名和产品名。但规模小,只有1MB多点。

其他可能用来研究的语料:

  • 人民日报2014版:标注格式跟1998版有较大变化,词性分得更细致,实体标注有嵌套关系。规模大了不少,有1750万字左右,但需要较为复杂的预处理。
  • 不知名语料:以BIO格式标注了人名、地名、组织机构名三类实体。130多万字

不应公开传播的垂直域NER语料:

  • CCKS2017电子病历实体标注:

More Repositories

1

Final_word_Similarity

综合了同义词词林扩展版与知网(Hownet)的词语相似度计算方法,词汇覆盖更多、结果更准确。
Python
715
star
2

TextClassify_with_BERT

使用BERT模型做文本分类;面向工业用途
Python
216
star
3

py3Aiml_Chinese

官方py3AIML基于英文,现为其增加中文支持,并将代码注释翻译为中文。实测可正常解析带中文pattern和template的aiml文件。
Python
92
star
4

Free_proxy_pool

对免费代理IP网站进行爬取,收集汇总为自己的代理池。关键是验证代理的有效性、匿名性、去重复
Python
75
star
5

crawler-wordCloud_of_hotWeibo

新浪热门微博爬虫,外加词云分析。
Python
19
star
6

spider_for_Books

图书爬虫,已囊括当当、京东……目前字典内容包括了书名、作者、出版社、出版年月、详情描述、评论数量、好评率等。
Python
17
star
7

spider_For_SecondHand_car

有3个爬虫,分别是是瓜子二手车、人人车、优信二手车。
Python
10
star
8

QR_code_aardio

用aardio重写二维码识别与生成工具。只支持Windows平台。软件体积小。
10
star
9

QR_Generator_and_Recognizer

Qt 写的二维码生成和识别程序。使用了libqrencode和QZxing库。
C
3
star
10

Scrapy_Projects

使用Scrapy框架的爬虫项目。根据网站不同,按文件夹组织
Python
3
star
11

Image_Encryptor_and_Decryptor

基于Opencv实现的像素置乱加密解密程序。
C++
3
star
12

ChatScript_Client

ChatScript python客户端。集成了中文分词,对win和liunx服务器采用了不同的字符编码方式
Python
3
star
13

paddlespeech_forme

paddlespeech局部定制版,流式ASR与TTS可接受和输出8k音频
2
star
14

spider_for_XiaoZhu

针对小猪短租的城市站点,爬取前300条房源信息(主要是房子描述、地址、价位,房屋图片链接,房东网名、照片、性别)。
Python
2
star
15

FAQ_Alice

整合了FAQ的ALICE,使用flask做了个本地服务器
Python
1
star
16

spider_For_MMpics

批量下载美女网站图片的爬虫。范围可以自己修改源码设定
Python
1
star