shibing624/crf-seg shibing624/crf-seg

  • Stars
    star
    13
  • Rank 1,512,713 (Top 30 %)
  • Language
    Java
  • License
    Apache License 2.0
  • Created over 7 years ago
  • Updated almost 3 years ago
Twitter logo Share LinkedIn logo Share Facebook logo Share
shibing624/crf-seg
github

shibing624

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

crf-seg:用于生产环境的中文分词处理工具，可自定义语料、可自定义模型、架构清晰，分词效果好。java编写。

More Repositories

1

pycorrector

pycorrector is a toolkit for text error correction. 文本纠错，实现了Kenlm，T5，MacBERT，ChatGLM3，Qwen2.5等模型应用在纠错场景，开箱即用。
Python
5,536
star
2

text2vec

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。
Python
4,441
star
3

MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Python
3,282
star
4

python-tutorial

Python实用教程，包括：Python基础，Python高级特性，面向对象编程，多线程，数据库，数据科学，Flask，爬虫开发教程。
Jupyter Notebook
1,983
star
5

similarity

similarity: Text similarity calculation Toolkit for Java. 文本相似度计算工具包，java编写，可用于文本相似度计算、情感分析等任务，开箱即用。
Java
1,424
star
6

textgen

TextGen: Implementation of Text Generation models, include LLaMA, BLOOM, GPT2, BART, T5, SongNet and so on. 文本生成模型，实现了包括LLaMA，ChatGLM，BLOOM，GPT2，Seq2Seq，BART，T5，UDA等模型的训练和预测，开箱即用。
Python
929
star
7

similarities

Similarities: a toolkit for similarity calculation and semantic search. 相似度计算、匹配搜索工具包，支持亿级数据文搜文、文搜图、图搜图，python3开发，开箱即用。
Python
762
star
8

ChatPDF

RAG for Local LLM, chat with PDF/doc/txt files, ChatPDF. 纯原生实现RAG功能，基于本地LLM、embedding模型、reranker模型实现，无须安装任何第三方agent库。
Python
593
star
9

ChatPilot

ChatPilot: Chat Agent Web UI，实现Chat对话前端，支持Google搜索、文件网址对话（RAG）、代码解释器功能，复现了Kimi Chat(文件，拖进来；网址，发出来)。
Svelte
493
star
10

pytextclassifier

pytextclassifier is a toolkit for text classification. 文本分类，LR，Xgboost，TextCNN，FastText，TextRNN，BERT等分类模型实现，开箱即用。
Python
488
star
11

parrots

Automatic Speech Recognition(ASR), Text-To-Speech(TTS) engine. 中英语音识别、多角色语音合成，支持多语言，准确率高
Python
464
star
12

nlp-tutorial

自然语言处理（NLP）教程，包括：词向量，词法分析，预训练语言模型，文本分类，文本语义匹配，信息抽取，翻译，对话。
Jupyter Notebook
390
star
13

dialogbot

dialogbot, provide search-based dialogue, task-based dialogue and generative dialogue model. 对话机器人，基于问答型对话、任务型对话、聊天型对话等模型实现，支持网络检索问答，领域知识问答，任务引导问答，闲聊问答，开箱即用。
Python
327
star
14

pke_zh

pke_zh, python keyphrase extraction for chinese(zh). 中文关键词或关键句提取工具，实现了KeyBert、PositionRank、TopicRank、TextRank等算法，开箱即用。
Python
188
star
15

lmft

ChatGLM-6B fine-tuning.
Python
135
star
16

nerpy

🌈 NERpy: Implementation of Named Entity Recognition using Python. 命名实体识别工具，支持BertSoftmax、BertSpan等模型，开箱即用。
Python
111
star
17

chatgpt-webui

ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面
Python
89
star
18

pysenti

Chinese Sentiment Classification Tool. 情感极性分类，基于知网、清华、BosonNLP情感词典，易扩展，基准方法，开箱即用。
Python
85
star
19

companynameparser

company name parser, extract company name brand. 中文公司名称分词工具，支持公司名称中的地名，品牌名（主词），行业词，公司名后缀提取。
Python
82
star
20

agentica

Agentica: Build Multi-Agent Workflow with 3 lines code. 三行代码打造个人助手智能体。
Python
75
star
21

open-o1

open-o1: Using GPT-4o with CoT to Create o1-like Reasoning Chains
Python
61
star
22

CodeAssist

CodeAssist is an advanced code completion tool that provides high-quality code completions for Python, Java, C++ and so on. CodeAssist 是一个高级代码补全工具，高质量为 Python、Java 和 C++ 补全代码。
Python
54
star
23

judger

自动作文评分工具，支持中文、英文作文智能评分，支持评分模型自训练，支持WEKA处理模型数据，支持自定义评分算法。java开发。
Roff
52
star
24

relext

RelExt: A Tool for Relation Extraction from Text. 文本实体关系抽取工具。
Python
48
star
25

github-hot

Tracking the hot Github repos and update daily 每天自动追踪Github热门项目
Python
41
star
26

rater

rater, recommender systems. 推荐模型，包括：DeepFM，Wide&Deep，DIN，DeepWalk，Node2Vec等模型实现，开箱即用。
Python
40
star
27

text-feature

文本特征提取，适用于小说，论文，议论文等文本，提取词语、句子、依存关系等特征。python开发。
Python
39
star
28

pinyin-tokenizer

pinyintokenizer, 拼音分词器，将连续的拼音切分为单字拼音列表。
Python
26
star
29

labelit

labelit, label tool with active learning, for classification task. 自动标注，基于主动学习，边标注边学习，减少人工标注量。
Python
26
star
30

title-generator

Automatic Text Summarization and Title Generation.
Python
25
star
31

case-analysis

NLP之病历分析：从病历文本之中提取关键信息，便于后续分析处理。
Java
19
star
32

EssaySocring

英文作文自动评分系统，支持评分模型自训练，支持WEKA处理模型数据，支持自定义评分算法。Java开发。
Roff
16
star
33

text2vec-service

Service for Bert model to Vector. 高效的文本转向量(Text-To-Vector)服务，支持GPU多卡、多worker、多客户端调用，开箱即用。
Python
10
star
34

weibo-roast

一个微博毒舌AI，疯狂 diss 微博博主
Python
10
star
35

authorship-identification

【今日头条】文本作者身份识别比赛
Jupyter Notebook
9
star
36

fake-news-detector

Fake News Detection Competition
Python
8
star
37

zh-normalization

Chinese(zh) sentence NSW(Non-Standard-Word) Normalization
Python
8
star
38

ChatGPT-API-server

build a python server for ChatGPT API.
Python
7
star
39

cpp-tutorial

C++开发实例教程，基础，开源库进阶，高级技巧。
C++
5
star
40

nlpcommon

NLP common tools.
Python
5
star
41

cvnet

have fun with image AI
Jupyter Notebook
4
star
42

text2vec-encoder

**Text2vecEncoder** wraps the text2vec model with jina. It encodes text data into dense vectors.
Python
4
star
43

BlogDemo

我的csdn博客中使用的代码，主要是算法。
Java
3
star
44

sbert

sbert, sentence bert.
Python
2
star
45

shibing624

2
star
46

Diffusion-Tuning

Diffusion-Tuning: Training Your Own Diffusion model with custom dataset.
Python
2
star
47

tools

tools
JavaScript
2
star
48

pyweb

Web server use tornado.
Python
1
star
49

html5-demos

Use the html5 to show funny web demos
JavaScript
1
star
50

little-spring

理解spring核心代码，自己仿写spring，实现简化功能。
Java
1
star
51

phrase-search

短语搜索，支持公司名称、地址名称等短语的搜索，支持自定义排序、拼音处理，内置jetty提供web接口。java编写。
Java
1
star