• Stars
    star
    639
  • Rank 70,436 (Top 2 %)
  • Language
  • Created about 3 years ago
  • Updated about 3 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

DomainWordsDict, Chinese words dict that contains more than 68 domains, which can be used as text classification、knowledge enhance task。涵盖68个领域、共计916万词的专业词典知识库,可用于文本分类、知识增强、领域词汇库扩充等自然语言处理应用。

项目概述

DomainWordsDict, Chinese words dict that contains more than 68 domains, which can be used as text classification、knowledge enhance task。涵盖68个领域、共计916万词的专业词典知识库,可用于文本分类、知识增强、领域词汇库扩充等自然语言处理应用。在利用学习模型进行自然语言处理任务时候,领域词汇可以作为一项重要的领域特征加入到模型当中,可以提升领域性模型的性能。

项目由来

1、领域性是自然语言处理中十分重要的一类问题,不同的领域之间在文本形式、用词、表达上都存在差异。而领域词汇作为一个领域的表示是用来区分领域的常规手段,例如,在没有标注语料进行有监督的领域文本分类中,利用领域关键词进行匹配、计数、排序的方式即可以完成这一任务。
2、当前,纵观中文开放语言资源,并未有出现较大规模的领域性资源,如领域的wordembedding词向量、领域的关键词库。而这一资源在传统方法进行文本处理具有较大价值。

为了填补这一空白以及对领域性词库进行基础语言资源建设,本项目被提出。

数据来源

通过对领域垂直网站的解析、领域文本的特征词提取,近几年来对领域词典的收集与整理,人工清洗等处理工作之后, 最终形成了数学科学、人力招聘、天文科学、餐饮食品、外语学习等共计68个领域,共计916万词的较大规模领域词汇库。

数据介绍

数据放在data文件夹下,共68个txt文件,每个文件以领域的名称命名。每个文件中的每一行包括两列(以tab符分开),分别代表词语名称以及对应的权重。文件中的词语按照权重从大到小的方式排列,权重越高,该词对于领域的代表性或区分能力就越强。在使用的过程中,我们可以设定具体的权重域值在选用不同的词语来用于特定任务。

词典样例

序号 领域 个数 举例
1 数学科学 17,287 定义域、值域、半群、悖论、本原多项式、闭包、变换群、边连通度、不变因子、差集、超滤子、存在量词、代数、代数闭域、单射
2 人力招聘 447,606 销售代表、产品经理、销售经理、电话销售、阿里云、客户经理、销售精英、销售工程师、集团总部、销售主管、商务专员、客服专员、课程顾问、Manager、销售助理
3 天文科学 4,135 天体化学、天体力学、白洞、本星系群、不规则星系、垂直圈、地面天文学、第一宇宙速度、动力学宇宙学、方位天文学、高能天体物理学、观测宇宙学、光学天文学、航海天文学、航天动力学
4 餐饮食品 201,163 六堡茶、参龟汤、婆参扒大鸭、虾籽大乌参、红扒鱼肚、蛤什蟆汤、参女、五盖山米茶、皖西黄大茶、涌溪火青、夫妻肺片、普洱茶、六堡散茶、漆蜡妙食、鱼羊鲜
5 外语学习 1,150 褒义、被动语态、比较级、贬义、表语、表语从句、宾补、宾格、宾语、宾语从句、并列复合句、并列句、并列连词、不定代词、不定冠词
6 电影影视 114,577 小查和寇弟的游轮生活、邪斗邪、邪完再邪、和莎莫的五百天、比利曼蒂和死神的大反击、融入那芒芒的大海里、阿扎泽勒、圣棱的星光、他们也忒不仗义了、吉姆贾木许、神探伽俐略、仔表栖议甲弟、叶卡捷琳堡音乐戏剧剧院、锁叶和属于自己的春天、神奇四侠
7 环境科学 7,891 层积云、热岛效应、单区电除尘器、逆温、卷层云、卷积云、卷云、低压槽、厄尔尼诺现象、副热带高压、高压脊、锢囚锋、积雨云、蒙古气旋、气候变化
8 钢铁冶金 89,114 炉料、炉衬、梭车、偏心轮、炉渣流动性、锰矿、软熔带、炉顶、耐热钢、脱碳、除尘风机、连续采煤机、锚杆机、扒渣、齿轮钢
9 印刷印染 464 包装薄膜、包装防伪、标识防伪、玻璃油墨、产品防伪、打样机、电晕笔、分切机、复合机、覆膜机、功能薄膜、挂历印刷、刮墨刀、海报印刷、降解薄膜
10 美容美发 9,662 阿莎露、娜莎迪、内眦赘皮、重睑术、艾茜凯、洗得你净、兰芝、欧莱雅、虾青素、削刀式划剪、扛薄剪、碧欧泉、高丝、赫莲娜、护肤
11 法律诉讼 62,717 行政处罚、送达、书证、行政诉讼法、行政复议、指定管辖、合议庭、第三人、二审、民事诉讼法、诉讼时效、合并审理、法定代表人、司法解释、刑事诉讼法
12 计算机业 55,037 字符串、排序、标识符、队列、访问级别、局部变量、安全类、安全内核、安全识别、安全域、绑定、包过滤、保留字、备份与恢复、编辑程序
13 水利工程 30,584 拦污栅、电动蝶阀、管件、检查井、启闭机、手动蝶阀、手动葫芦、消力池、闸室、帮扎、包箍、边墩、草袋、承插管、粗料石
14 手机数码 10,955 阿尔卡特、金立、奥盛、天时达、大显、首信、多普达、萨基姆、斯达康、索尼爱立信、摩奇、奥乐、柏卡、爱立信、迪比特
15 音乐歌曲 8,276 月亮代表我的心、倒带、搁浅、回到过去、简单爱、菊花台、蒲公英的约定、日不落、听妈妈的话、退后、夜曲、音高、蔡依林、陈好、陈慧琳
16 地产开发 14,708 锦绣花园、东方家园、东方巴黎、和平小区、红河小区、华侨饭店、金河小区、凯旋城、临江花园、世纪花园、世纪嘉园、世茂滨江新城、银河小区、中山花园、丽景苑
17 汉语言学 32,8050 长虫、背时、胰子、刺挠、旮旯、上该、要得、茅房、邋遢、落雨、二杆子、爹爹、宝气、日白、棒老二
18 医药医学 54,9008 毒邪内闭证、参附注射液、邪盛正衰、夹蛇龟肉、夹蛇龟、直接盖髓术间接盖髓术干髓术、参附汤、盖革缪勒计数器、荜澄茄、大敦、南沙参、白虎加人参汤、桡尺近侧关节、归地参术汤、地骨皮
19 网络文学 95,331 竺氏三姐弟、参神契、明道参神契、元婴、缩地术、朱苹、地行术、胖都都、似模似样、水晶血龙参、渡劫、盖运聪、和氏之璧、詹姆、沐王府
20 休闲活动 59,186 说、哪府并哪县、佛挡杀佛、罢罢罢来休休休、万、番、拾玉镯、打金枝、军、吾乃江东小霸王孙伯符、丁广和、会、了、贾、得
21 交通运输 27,230 信号机、北京铁路局、沈阳铁路局、车辆段、车务段、工务段、哈尔滨铁路局、岔心、列车长、蒸汽机车、济南铁路局、南昌铁路局、上海铁路局、郑州铁路局、abs防抱死刹车系统
22 矿业勘探 20,817 捕收剂、矿车、带式输送机、化合水、精煤、炼焦煤、煤仓、煤泥、起泡剂、选煤厂、闭路破碎、粗磨、粗碎、二分器、翻车机
23 地点名称 1,338,275 新村、和平村、胜利村、新建村、太平村、向阳村、团结村、新华村、东山村、前进村、劲霸男装、红旗村、东风村、以纯、光明村
24 船舶工程 5,424 舱壁板、风暴扶手、锚链管、锚链筒、白昼信号灯、车钟、充放电板、电笛、舵杆、舵机、舵叶、发电机屏、海图灯、空气断路器、雷达应答器
25 敏感用词 13,595 抢盐、AV、hz、sm、PK、PX、C4、usk、flg、GCD、gcd、GHB、rfa、sex、TND
26 旅游交通 52,848 报国寺、本溪水洞、大佛寺、大明寺、独乐寺、夫子庙、观音山、广胜寺、寒山寺、黑龙潭、极乐寺、蠡园、隆兴寺、鲁迅故居、明孝陵
27 机械工程 9,164 磨床、铣床、滚子链、键槽、蜗杆、蜗轮、镗床、脱碳、保持架、齿距、齿宽、传动链、大齿轮、导程、碟形弹簧
28 考古挖掘 5,713 二里头文化、辛店文化、朱开沟文化、夏家店文化、彭头山文化、齐家文化、二里岗文化、石家河文化、贾湖骨笛、云纹铜禁、郑振香、半坡遗址、大明宫遗址、阿房宫遗址、汉长安城遗址
29 人文政治 13,189 坚持改革开放、坚持和完善人民代表大会制度、建设社会主义法治国家、我代表中共中央、向香港特别行政区同胞、高举中国特色社会主义伟大旗帜、转变发展方式、多种所有制经济共同发展的基本经济制度、改革开放以来、开辟了中国特色社会主义道路、毛泽东思想、维护世界和平与促进共同发展、病有所医、劳有所得、老有所养
30 电力电气 50,429 高压侧、厂用电率、模芯和模套对准中心调整、栅差、空侧、氢侧、裕度、奥科勃纶、掺的石英光纤、缩颈模、辗页辗页橡辗页塑、揭大盖、拉线模模孔光洁度模角等光学检测仪、铁芯、有功功率
31 网络游戏 52,2150 虎窟佛调行、此佛彼佛、伽邪舍多链、伽那格毒手蛇使、长剑、藏千邪、吸血、金创药、破甲、布鞋、藏邪、长邪、长邪带、长邪护手、长邪戒
32 纺织服装 28,111 平纹布、风衣、夹克、九分裤、里料、棉绳、耳仔、西裤、氨纶、蝙蝠袖、插肩袖、翻领、口袋、裤长、立领
33 办公文教 6,135 硒鼓、李浩东、王嘉豪、彩喷纸、充电辊、磁辊、定影膜、定影组件、粉盒、分离爪、感光鼓、鼓芯、加热组件、墨粉、色带
34 组织机构 369,709 酒店名称、软件学院、校医院、管理学院、北京工业大学、广东工业大学、广东外语外贸大学、广州大学、广州中医药大学、华南理工大学、华南师范大学、网络中心、广州美术学院、河北大学、华南农业大学
35 化学化工 40,316 苛化度苛化作用苛化率、没食子酸、奎哪啶红、助色团、单分子反应、瞞、电子亲合势、阿伏伽德罗数、丁咯地尔、盐酸丁咯地尔、乙烯、磁量子数、副价、均裂、量子数
36 诗词歌赋 772,992 泊思禅寺呈廖明略其地盖干越寺在琵琶洲上、送矰吴尉并属寄声吴交代尉比行余亦行追作、裴纶著作见期行日延宿所居既至裴已行因书寄、送常宁吴尉并属寄声吴交代尉比行余亦行追作、次韵追和钱穆父内翰勰赵伯坚大卿令铄游颍湖、蕃有诗谢萧伯和见访伯和和之节推丈见而同作、僮有弹鹭置池上者予解其缚纵之而不去盖不饮、与硕父沈弟伯仲晚行河堤硕父欲作小亭于其上、王虞部惠佳篇叙述昔与湘潭亡弟游从仍以亡弟、舟中咏落景余清晖轻桡弄溪渚之句盖孟浩然耶、自道场山至何山读故人洪舜俞内翰诗刻追和、龟胜寺枸杞大如椽陈日华发其根而枯堂犹以地、永丰祝子益和予诗见寄许见访以长句谢之且贤、次韵德美碧感旧之什且约胡广仲伯逢季丘来会、舟宿南尉岸下夜夕不寐思丁老小山戏成长韵
37 社会科学 19,231 第三人、承包合同、出资、法定代表人、国有资产、合伙协议、原件、不当得利、法学家、国际经济法、国际私法、民事诉讼法、善意第三人、违法、刑法
38 军事情报 76,249 狙击步枪、突击步枪、无情角斗士的邪纹护手、型潜艇、无情角斗士的邪纹长裤、阿史那弥射、级驱逐舰、胡庆余堂牌参参胶囊、步兵战车、无壳弹、级潜艇、自动步枪、莫折大提起义、勒伯勒东、叶卡捷琳堡号核潜艇
39 农林牧渔 38,611 广叶参属、大参属、毒参属、佛肚苣苔属、革叶荠属、吡弗咯菌素、大苞鞘花属、大丁草属、大爪草属、女菀属、莎菀属、绿尾大蚕蛾、围绿单爪鳃金龟、咯菌腈、天山邪蒿属
40 文学名著 235,996 种柳成行夹流水、皂盖朱轮别似空、豸角当邪触、太虚幻境、满铺着寂寞和黑暗、自惟朴且疏、张生马瘦衣且单、早寒风摵摵、浣溪沙、探春、生命也是这般的一瞥么、并仰空若思、叶尾娜、秦女休行、自弄还自罢
41 新番动漫 152,984 醞、骗、苢、颯、黨、芭、賩、问、覫、鳧、莫、韧、颙、鋨、駩
42 网络用语 23,972 冰天雪地掩面泪奔、好苦、举手、看好你哦、困揉眼睛、来呀挑衅、脸红掩面、列队、皿哪里跑、摸摸头、人击掌、呜呜呜、凹凸曼、拜托啦人、抱抱
43 市场购物 6,3732 缪缪、艾拓、盖奇、杰恩万堡、卡莎布兰卡、娜尔思、阿莎琪、阿她琪、阿枝、艾盟、艾娜斯、艾茜芬、奥联金盟、奥倩、奥诗裳
44 电子工程 6,107 传输线、电偶极子、介电损耗、居里温度、特征阻抗、插入损耗、分频器、椭圆极化、无源网络、线极化、有源网络、圆极化、驻波比、按比例缩小、暗电流
45 金融财经 605,698 L.P.、Ltd.、LLC、数在校数、学生数在校数、Inc.、Limited、质押、LP、拓日新能、拓尔思、国债、中国平安、中国人寿、中信证券
46 古代历史 114,701 大畜利貞不家食吉、恒星什宿度、虞陆张骆陆吾朱传、棍噶扎勒参、大庶长、琅邪、孙和、刺史、召陵之盟、巴而术阿而忒的斤、阿史那思摩、莫折大提、仆射、石重贵、陆景
47 世界哲学 20,627 费尔巴哈、阶级性、经院哲学、拉布里奥拉、李卜克内西、两点论、空亡、纳甲、天刑、阿多诺、鲍威尔、伯恩施坦、布哈林、不可知论、布洛赫
48 通信工程 3,814 单稽指令、未说娩量、中止的椎、副帧、视见区、无线网卡、集合差、工厂说瞄、侧音、数位叠加和、符号差、单地址指令、单地址信息、单赋值语言、单钮鼠标器
49 人物名称 1,572,202 醞、骗、苢、颯、黨、芭、张鑫、賩、问、李娟、李莉、覫、刘佳、莫、鳧
50 世界宗教 132,295 大阿阇黎佛智足、佛前佛后难、佛世差摩竭、东方亦有阿閦鞞佛、鞞侈遮罗那三般那、萨婆僧伽三摩地伽兰地、前佛后佛、第十八祖伽邪舍多、阿悉多伽那、佛不见身知是佛、拘那含牟尼佛、邻阿伽色、阿伽色、大须弥佛、大焰肩佛
51 地理测绘 53,610 侧分泌说、均变说、夹石、底栖的、单钭的、单栅笔石、风棱石、溺谷、无结构腐殖体、大陆车阀说、底辟构造、陆间裂谷系、地柱说、出射角、红帘石
52 民间习俗 1,365 八字官星太多、八字无比劫、八字无官星、八字有比劫、八字有官星、白虎持势、白腊金、背禄逐马、比肩劫财与地支、比肩劫财与天干、比劫、比劫帮身、比劫夺财、比劫克财、壁上土
53 书法艺术 28,266 三击掌、拾玉镯、单弦、苏州弹词、打金枝、副净、慢板、四进士、武松打虎、北京琴书、二人转、河南坠子、湖北大鼓、天津时调、高凤翰
54 期货期权 1,300 热卷、铜、铝、螺纹钢、锡、锌、镍、PTA、动力煤、菜粕、豆粕、硅铁、玉米淀粉、PVC
55 土木工程 56,720 等参单元等参数单元等参元、填石、盖梁、拱脚、嵌岩桩、无侧限抗压强度、翼缘、抹角、似棱体、似棱体公式、单墩单墩、刚度比劲度比、内排水系统、伸缩缝、弯曲刚度抗弯劲度
56 安全工程 4,051 安全性能、疏散时间、隔离栅、灭火器材、安全标志、安全标准、安全防护、安全功能、安全认证、安全设备、安全准则、不安全行为、不安全状态、地下开采、二氧化碳灭火器
57 材料包装 1,473 焊接面、奥丽斯纹、百花纹、百家姓纹、白牛皮、宝石兰、本白、编织纹、彩胶、茶花纹、充皮纸、大鳄鱼纹、大玫瑰纹、灯笼纹、蝶影纹
58 教育教学 111,449 旅游管理、江西师范大学、电子信息科学与技术、西南交通大学、郑州大学、教务处、见恶如探汤、麦比乌斯圈、3、西北大学、北方工业大学、北京第二外国语学院、北京工商大学、北京工业大学、北京化工大学
59 家居装饰 8,668 车脚、搭脚仔凳、汉代陶柜、什景灯、折屏、转屏、眠之堡、松堡王国、阿里斯顿、九牧、林内、奥地雅、白夹竹、大边和抹头、大唐合盛
60 工业设计 7,150 急流槽、弯沉、压实度、沉降缝、底基层、钢筋笼、钢筋砼、浆砌片石、路堑、路缘石、清表、松铺厚度、圆管涵、锥坡、产品设计
61 物理科学 12,989 临界指数、布儒斯特角、产生算符、场点、狄拉克方程、对易、对易关系、反射光栅、夫琅禾费衍射、光阑、归一化、基态、角放大率、勒让德变换、洛伦兹变换
62 体育运动 48,602 奥伦塞彭特、范那佛洛、彼得伯勒联、法恩伯勒、什鲁斯伯里城、大蒙特基奥、哈万特和滑铁卢村、索尔兹伯里城、奥吉贾奥佛埃、奥锡拉库扎、奥伦塞、奇彭纳姆城、艾思莫茨、班伯里联、佛特
63 航空航天 682 副翼、起落架、襟翼、升降舵、油滤、那拉提、戀攀椀、挀栀愀渀最、猀栀愀渀最、被释放、不安全事件、部分功率、不工作、不亮、不能复位
64 建筑装潢 32,826 夹景、侧脚、丁顺隔皮砌式、副景、屏石、栅顶、尾景、佛座、普柏枋、寻杖合角造、侧天窗、单材拱、单风道系统、盖瓦、和玺彩画
65 广告传媒 166 编辑机、彩喷纸、充气模型、促销台、灯箱布、分支器、挂历、光发射机、广告板、广告机、广告牌、广告旗杆、广告条幅、光接收机、光学摄像机
66 汽车行业 10,294 杂物箱、机油泵、倒车镜、倒车雷达、脚踏板、分离轴承、半轴、换挡杆、节温器、转向灯开关、保险杠、滚针轴承、活塞销、通气塞、油箱盖
67 管理科学 20,751 不孕不育、预防成本、最低库存、最高库存、安全班前会、安全标志使用导则、安全色、班前会、班前会记录、搬运分析、班组建设、备品备件、闭环、闭环与关闭、必要动作
68 动植生物 314,030 鳉、尾棘无壳侧鳃、无壳侧鳃属、单序波缘大参、单刺侧红糠虾、非洲侧颈龟属、六结侧颈龟、六峰侧颈龟、南美侧颈龟属、奥氏抖尾地雀、无角陶塞特羊、显脉大参、短梗大参、盖革氏离子计数、蓝无壳侧鳃

项目总结

1、本项目开放了一个涵盖68个领域,带有行业代表性权重的领域词库,规模达到了916万词,是目前开放词典资源中较大规模的一个,填补了一定的空缺。
2,领域词汇库的构建和开放,是一项基础、必要且重要的工作。可以通过领域开放文本进行挖掘,如基于垂直网站解析、文本特征词提取等诸多方法来实现。
3,关于领域词汇知识库的构建方法和理论,可以参考之前写的博客《领域词汇知识库的类型、可用资源与构建技术漫谈》:https://blog.csdn.net/lhy2014/article/details/103995629。
4,语言资源、经典词库的构建,与目前盛行的深度学习自然语言处理并行不悖。将已构建好的领域词库或者知识库融合到深度学习模型当中,是一个很好的前进方向。需要且必要地关注底层语义资源的建设。

关于作者

刘焕勇,liuhuanyong,现任360人工智能研究院算法专家,前中科院软件所工程师,主要研究方向为知识图谱、事件图谱在实际业务中的落地应用。
得语言者得天下,得语言资源者,分得天下,得语言逻辑者,争得天下。
1、个人主页:https://liuhuanyong.github.io
2、个人博客:https://blog.csdn.net/lhy2014/
3、个人公众号:老刘说NLP
欢迎对自然语言处理、知识图谱、事件图谱理论技术、技术实践等落地应用的朋友一同交流。

More Repositories

1

QASystemOnMedicalKG

A tutorial and implement of disease centered Medical knowledge graph and qa system based on it。知识图谱构建,自动问答,基于kg的自动问答。以疾病为中心的一定规模医药领域知识图谱,并以该知识图谱完成自动问答与分析服务。
Python
6,145
star
2

CrimeKgAssitant

Crime assistant including crime type prediction and crime consult service based on nlp methods and crime kg,罪名法务智能项目,内容包括856项罪名知识图谱, 基于280万罪名训练库的罪名预测,基于20W法务问答对的13类问题分类与法律资讯问答功能.
Python
1,372
star
3

TextGrapher

Text Content Grapher based on keyinfo extraction by NLP method。输入一篇文档,将文档进行关键信息提取,进行结构化,并最终组织成图谱组织形式,形成对文章语义信息的图谱化展示。
Python
1,341
star
4

ComplexEventExtraction

A concept and obvious expression pattern collection of Chinese compound event extraction which then be evolved into ComplexEventGraph,本项目提出了中文复合事件的概念与显式模式,包括条件事件、因果事件、顺承事件、反转事件等事件抽取,并形成事理图谱。
Python
1,171
star
5

EventTriplesExtraction

An experiment and demo-level tool for text information extraction (event-triples extraction), which can be a route to the event chain and topic graph, 基于依存句法与语义角色标注的事件三元组抽取,可用于文本理解如文档主题链,事件线等应用。
Python
906
star
6

PersonRelationKnowledgeGraph

ChinesePersonRelationGraph, person relationship extraction based on nlp methods.中文人物关系知识图谱项目,内容包括中文人物关系图谱构建,基于知识库的数据回标,基于远程监督与bootstrapping方法的人物关系抽取,基于知识图谱的知识问答等应用。
Python
886
star
7

ChineseSemanticKB

ChineseSemanticKB,chinese semantic knowledge base, 面向中文处理的12类、百万规模的语义常用词典,包括34万抽象语义库、34万反义语义库、43万同义语义库等,可支持句子扩展、转写、事件抽象与泛化等多种应用场景。
Python
730
star
8

ChainKnowledgeGraph

ChainKnowledgeGraph, 产业链知识图谱包括A股上市公司、行业和产品共3类实体,包括上市公司所属行业关系、行业上级关系、产品上游原材料关系、产品下游产品关系、公司主营产品、产品小类共6大类。 上市公司4,654家,行业511个,产品95,559条、上游材料56,824条,上级行业480条,下游产品390条,产品小类52,937条,所属行业3,946条。
Python
555
star
9

ChineseDiachronicCorpus

ChineseDiachronicCorpus,中文历时语料库,横跨六十余年,包括腾讯历时新闻2000-2016,人民日报历时语料1946-2003,参考消息历时语料1957-2002。基于历时流通语料库,可用于历时语言变化计算、语言监测、社会文化变迁研究提供基础性的语料支持。
473
star
10

ChineseEmbedding

Chinese Embedding collection incling token ,postag ,pinyin,dependency,word embedding.中文自然语言处理向量合集,包括字向量,拼音向量,词向量,词性向量,依存关系向量.共5种类型的向量
Python
449
star
11

ChineseNLPCorpus

An collection of Chinese nlp corpus including basic Chinese syntatic wordset, semantic wordset, historic corpus and evaluate corpus. 中文自然语言处理的语料集合,包括语义词、领域共时、历时语料库、评测语料库等。
Python
435
star
12

MedicalNamedEntityRecognition

Medical Named Entity Recognition implement using bi-directional lstm and crf model with char embedding.CCKS2017中文电子病例命名实体识别项目,主要实现使用了基于字向量的四层双向LSTM与CRF模型的网络.该项目提供了原始训练数据样本(一般醒目,出院情况,病史情况,病史特点,诊疗经过)与转换版本,训练脚本,预训练模型,可用于序列标注研究.把玩和PK使用.
Python
422
star
13

CausalityEventExtraction

Causality event extraction demo project including casual patterns and experiment on large scale corpus. 基于因果关系知识库的因果事件图谱实验项目,本项目罗列了因果显式表达的几种模式,基于这种模式和大规模语料,再经过融合等操作,可形成因果事件图谱。
Python
401
star
14

liuhuanyong.github.io

面向中文自然语言处理的六十余类实践项目及学习索引,涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等,是供自然语言处理入门学习者的一个较为全面的学习资源,欢迎大家使用,并提出批评意见。
CSS
376
star
15

SentenceSimilarity

self complement of Sentence Similarity compute based on cilin, hownet, simhash, wordvector,vsm models,基于同义词词林,知网,指纹,字词向量,向量空间模型的句子相似度计算。
Python
356
star
16

KnowledgeGraphSlides

KnowledgeGraphSlides, a collection of knowledgegraph lectures, including the ccks series from 2013 to 2018, 中文知识图谱计算会议CCKS报告合集,涵盖从2013年至2018年,共48篇,从中可以看出从谷歌2012年推出知识图谱以来,中国学术界及工业界这6年来知识图谱的主流思想变迁。
343
star
17

LawCrimeMining

Law Crime Mining Based on Corpus build and content analysis by NLP methods. 基于领域语料库构建与NLP方法的裁判文书与犯罪案例文本挖掘项目
Python
295
star
18

MusicLyricChatbot

chatbot based on music region using method including es and music kb.基于14W歌曲知识库的问答尝试,功能包括歌词接龙,已知歌词找歌曲以及歌曲歌手歌词三角关系的问答。
Python
264
star
19

SiameseSentenceSimilarity

SiameseSentenceSimilarity,个人实现的基于Siamese bilstm模型的相似句子判定模型,提供训练数据集和测试数据集.
Python
263
star
20

AbstractKnowledgeGraph

AbstractKnowledgeGraph, a systematic knowledge graph that concentrate on abstract thing including abstract entity and action. 抽象知识图谱,目前规模50万,支持名词性实体、状态性描述、事件性动作进行抽象。目标于抽象知识,包括抽象实体,抽象动作,抽象事件。基于该知识图谱,可以进行不同层级的实体抽象和动作抽象,这与人类真实高度概括的认知是一致的。
Python
235
star
21

TopicCluster

A simple documentary topic analysis implement based on traditional K-means and LDA which can achieve a not-bad result. 基于Kmeans与Lda模型的多文档主题聚类,输入多篇文档,输出每个主题的关键词与相应文本,可用于主题发现与热点分析等应用,如历时话题建模,评论画像等。
Python
233
star
22

CCKS2018Summary

self summary after attending 2018全国知识图谱与语义计算大会,China Conference on Knowledge Graph and Semantic Computing
233
star
23

PersonGraphDataSet

PersonGraphDataSet, nearly 10 thousand person2person relationship facts。 人物图谱数据集,近十万的人物关系图谱事实数据库,通过人物关系抽取算法抽取+人工整理得出,可用于人物关系搜索、查询、人物关系多跳问答,以及人物关系推理等场景提供基础数据。
231
star
24

ImportantEventExtractor

An exploration for Eventline (important news Rank organized by pulic time),针对某一事件话题下的新闻报道集合,通过使用docrank算法,对新闻报道进行重要性识别,并通过新闻报道时间挑选出时间线上重要新闻。
Python
208
star
25

Word2Vector

Self complemented word embedding methods using CBOW,skip-Gram,word2doc matrix , word2word matrix ,基于CBOW、skip-gram、词-文档矩阵、词-词矩阵四种方法的词向量生成
Python
176
star
26

SequentialEventExtration

Sequential Event Experiment based on Travel note crawled from XieCheng,基于50W携程出行游记的采集与顺承事件图谱构建.
Python
176
star
27

RAGOnMedicalKG

RAGOnMedicalKG,将大模型RAG与KG结合,完成demo级问答,旨在给出基础的思路。
Python
164
star
28

HyponymyExtraction

HyponymyExtraction and Graph based on KB Schema, Baike-kb and online text extract, 基于知识概念体系,百科知识库,以及在线搜索结构化方式的词语上下位抽取与可视化展示
Python
163
star
29

ChineseTextualInference

ChineseTextualInference project including chinese corpus build and inferecence model, 中文文本推断项目,包括88万文本蕴含中文文本蕴含数据集的翻译与构建,基于深度学习的文本蕴含判定模型构建.
Python
163
star
30

EventMonitor

Event monitor based on online news corpus including event storyline and analysis,基于给定事件关键词,采集事件资讯,对事件进行挖掘和分析。
Python
150
star
31

SentenceSentimentClassifier

Sentiment Classifier base on traditional Maching learning methods, eg Bayes, SVM ,DecisionTree, KNN and Deeplearning method like MLP,CNN,RNN(LSTM). 基于机器学习与深度学习方法的情感分析算法实现与对比,包括决策树,贝叶斯,KNN, SVM ,MLP, CNN, LSTM实现
Python
138
star
32

WordMultiSenseDisambiguation

WordMultiSenseDisambiguation, chinese multi-wordsense disambiguation based on online bake knowledge base and semantic embedding similarity compute,基于百科知识库的中文词语多词义/义项获取与特定句子词语语义消歧.
Python
124
star
33

CognitiveInference

Cognitive Inference,认知推理、常识知识库、常识推理与常识推理评估的系统项目,以现有国内外已有的常识知识库为研究对象,从常识知识库资源建设和常识推理测试评估两个方面出发进行整理,并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。具体包括已有常识知识库项目资源介绍、逻辑推理类知识库的项目实践集合、常识推理测试评估项目集合。
116
star
34

ChineseHumorSentiment

ChineseHumorSentiment, chinese humor sentiment mining including corpus build and mining nlp methods.中文文本幽默情绪计算项目,项目包括幽默文本语料库的构建,幽默计算模型,包括幽默等级识别,幽默类型识别,隐喻类型识别,隐喻情绪识别等,语言是幽默的,NLP也应该是幽默的.
Python
109
star
35

DocSentimentAnalysis

Syntax and Ruler-Based Doc sentiment analysis 基于依存句法规则的篇章级情感分析demo
Python
103
star
36

PoemMining

Chinese Classic Poem Mining Project including corpus buiding by spyder and content analysis by nlp methods, 基于爬虫与nlp的中国古代诗词文本挖掘项目
Python
101
star
37

WordSegment

Chinese WordSegment based on algorithms including Maxmatch (forward, backward, bidirectional), HMM,N-gramm(max prob ngram, biward ngam) etc...中文分词算法的实现,包括最大向前匹配、最大向后匹配,最大双向匹配,ngram,HMM,及其性能对比
Python
96
star
38

SentimentWordExpansion

Self complemented sentiment words expansion using seed sentiment words and so-pmi , this method is tested to be effective, 基于情感种子词与so-pmi算法的情感词扩展.
Python
84
star
39

Pinyin2Chinese

Self complemented Pinyin2Chinese demo use algorithms including Trie and HMM model , 基于隐马尔科夫模型与Trie树的拼音切分与拼音转中文的简单demo实现。
Python
82
star
40

QueryCorrection

self complemented SpellCorrection based pinyin similairity, edit distance ,基于拼音相似度与编辑距离的查询纠错。
Python
79
star
41

EventKGNELL

EventKGNELL, event knowlege graph never end learning system, a event-centric knowledge base search system,实时事理逻辑知识库终身学习系统项目和事件为核心的知识库搜索系统。包括事件概念抽取、事件因果逻辑抽取、事件数据关联推荐与推理。
71
star
42

ChineseCixing

WordForm,针对中文词语的笔画拆解,偏旁查询,拼音转换接口
Python
62
star
43

EventPredictBasedOnEG

future event predict demo based on causal event graph that covers the full industries that can predict the benefits or bad effects in accordance with the event given by the user, 基于因果事理图谱的事件预测。
Python
59
star
44

SinglepassTextCluster

SinglepassTextCluster, an TextCluster tools based on Singlepass cluster algorithm that use tfidf vector and doc2vec,which can be used for individual real-time corpus cluster task。基于single-pass算法思想的自动文本聚类小组件,内置tfidf和doc2vec两种文本向量方法,可自动输出聚类数目、类簇文档集合和簇类大小,用于自有实时数据的聚类任务。
Python
59
star
45

ChineseAntiword

chinese anti semantic word search interface based on dict crawled from online resources, ChineseAntiword,针对中文词语的反义词查询接口
Python
58
star
46

KeyInfoExtraction

Self complemented Key infomation extraction including keywords, abstract from text using algorithm like textrank ,tfidf 基于Textrank算法的文本摘要抽取与关键词抽取,基于TFIDF算法的关键词抽取
Python
53
star
47

ZhuguanDetection

Chinese Subjective Dectection based on subjective knowlegebase, 中文主观性计算。基于中文主观性知识库的句子主观性评定方法。
Python
51
star
48

TextFeatureExtraction

Self complemented text feature extraction using algorithms including CHI, DF, IG, MI for the experiment of text classification based on sogou online news, 基于卡方检验CHI,文档频率DF, 信息增益IG,互信息MI的文本特征提取与实现
Python
50
star
49

HuanNLP

self implement of NLP toolkit 个人实现NLP汉语自然语言处理组件,提供基于HMM与CRF的分词,词性标注,命名实体识别接口,提供基于CRF的依存句法接口。
Python
49
star
50

CausalCollocation

CausalKnowledgeBase, causal knowledge base including causal pairs extracted from web text using the methods like PMI, Collocation。基于网络文本的因果知识库项目,采用PMI,搭配抽取等方法,形成因果对频繁集。
47
star
51

ZhidaoChatbot

ZhidaoChatbot, a chatbot that can be an expert on the common questions like why,how,when,who,what based on the online question-answer website,基于线上公开问答数据的知道类问答机器人demo,与检索方式不同,可以进行常规问题的问答,如为什么,怎么样,是什么等,基于该方式,可以作为问答机器人常识接口,也可以作为常识知识库构建
Python
41
star
52

BaiduIndexSpyder

self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer,基于关键词的历时百度搜索指数自动采集
Python
40
star
53

BaikeInfoExtraction

self complement of baike knowledge base info-box extraction by online analysis.基于互动百科,百度百科,搜狗百科的词条infobox结构化信息抽取,百科知识的融合
Python
36
star
54

IdealWordCloudKit

IdealWordCloudKit, A toolbox or kit for image-shape adjusted word cloud based on plain text, local file or web articles, 面向本地文件, 在线网页, 程序输入的字符云自动生成组件,支持用户自定义图片字符形状, 生成给定网页,文本的高频词和关键词词云.
Python
33
star
55

WeiboIndexSpyder

self complemented WeiboIndexSpyder based on Selenium ,新浪微博指数(微指数)采集,包括综合指数,移动端指数,PC端指数
Python
32
star
56

BaikeKnowledgeSchema

baike schema crawler for baidu baike , hudongbaike. 面向百度百科与互动百科的概念分类体系抓取脚本
Python
32
star
57

WordCollocation

Self complemented Word Collocation using MI method which is tested to be effective..基于互信息算法的词语搭配抽取
Python
29
star
58

LanguagePlatform

个人实现的基于Django与semantic-ui的语言计算实验平台, 功能包括自然语言综合处理,词语计算,社会热点计算,人物计算,文学画像,职位画像等社会计算功能
JavaScript
28
star
59

CommonSchemaKG

schemakg, a knowledge graph for schema that seeks to cover a range of things as much as possible including entity schema and event schema。试图构建起覆盖度尽可能广的schema体系,包括实体以及事件。
27
star
60

CCL2018Summary

self summary after attending CCL2018 (全国计算语言学学术会议), CCL2018参会总结,包括会议论文下载脚本,会议前言技术报告下载,以及个人的一点总结.
Python
27
star
61

SougouWordsCollector

worddict crawler and transfer for sougpuinput wordict , 搜狗输入法词库抓取与格式转换
Python
25
star
62

LanguageKnowledgeGraph

个人实现的基于django,d3js与echarts的领域知识图谱检索与计量平台.面向语言政策领,包括语言政策领域的知识检索,关系检索与钻取,计量分析,知识可视化.
JavaScript
25
star
63

CausalEventPairsDataset

CausalDataset,因果事件对,基于非结构化新闻网页文本中进行抽取得到,目前开放100688条样本,可用于搭建因果事件图谱
22
star
64

AliIndexSpyder

self complemented AlindexSpyder based on Selenium ,阿里商品指数抓取,包括淘宝采购指数,淘宝供应指数,1688供应指数。
Python
21
star
65

DescriptionKBExtraction

DescriptionPairsExtraction, entity and it's description pairs extract program based on Albert and data back-annotation. 基于Albert与结构化数据回标思路的实体概念描述知识对抽取项目,可进一步验证基于Albert的应用可能性以及数据反标下的快速数据训练。
Python
20
star
66

FinanceEventGraph

FinanceEventGraph,金融领域事件图谱开放数据集,可用于事件图谱搭建于实验,包括3865个acquire并购事件、9093个invest投资事件,总计12960的事件
19
star
67

Seq2seqAttGeneration

Seq2seqAttGeneration, an basic implementation of text generation that using seq2seq attention model to generate poem series. this project is based on Keras, can be used as a toturial
Python
17
star
68

Seq2SeqTranslation

Translation model based on sequence to sequence model. 基于seq2seq模型的翻译模型demo
Python
17
star
69

PersonalModernPoems

Personal Modern Poems,65 modern chinese pomes composed by myself which names '听说'<listening> that expresses the thought of life, love and surrounding during my bachelor period, 个人本科期间创作的个人现代中文诗集<听说>,一共65篇,分成七个章节.当时真的是风骚,多情的很....
15
star
70

Seq2seqGeneration

KerasSeq2seqGeneration, an basic implementation of text generation that using seq2seq model to generate poem series. this project is based on Keras, can be used as a toturial
Python
9
star
71

Sentence2Vector

Self complemented Sentence embedding methods using CBOW model and produce sentence embedding and sentences clusterm, 基于CBOW模型的句子向量生成
Python
5
star
72

RAG_KBQA

it's a basic implement for KBQA task based on RAG method
4
star