zejunwang1/easytokenizer zejunwang1/easytokenizer

  • Stars
    star
    21
  • Rank 1,078,196 (Top 22 %)
  • Language
    C
  • License
    MIT License
  • Created about 2 years ago
  • Updated over 1 year ago
Twitter logo Share LinkedIn logo Share Facebook logo Share
zejunwang1/easytokenizer
github

zejunwang1

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

高性能文本 Tokenizer 库

More Repositories

1

CSTS

中文自然语言推理与语义相似度数据集
252
star
2

bert4vec

一个基于预训练的句向量生成工具
Python
87
star
3

LLMTuner

大语言模型指令调优工具（支持全量参数微调、LoRA 和 QLoRA）
Python
58
star
4

chatglm_tuning

基于 LoRA 和 P-Tuning v2 的 ChatGLM-6B 高效参数微调
Python
35
star
5

bertorch

基于 pytorch 的 bert 实现和下游任务微调
Python
33
star
6

bloom_tuning

BLOOM 模型的指令微调
Python
22
star
7

bert_text_classification

基于 BERT 模型的中文文本分类工具
Python
22
star
8

darmatch

一个非常高效的字符串匹配工具，支持正向/反向最大匹配分词和多模式字符串精确匹配
C++
12
star
9

lightltp

基于 onnxruntime 推理引擎的中文 ltp 词法分析
Python
11
star
10

simbert_distill

Two-stage SimBERT distillation
Python
10
star
11

gpt2classifier

基于中文 GPT2 预训练模型的文本分类微调
Python
10
star
12

ElectraForSpellingCheck

基于 Electra 预训练模型的中文拼写检查
Python
7
star
13

stringutils

A bridge between Unicode encoded strings and std::string.
C++
1
star
14

system_info

Get hardware information, header-only
C
1
star
15

gpt2ppl-zh

基于中文 GPT2 预训练模型的语句困惑度计算
Python
1
star
16

old_repo

C++
1
star
17

zejunwang1

Config files for my GitHub profile.
1
star
18

zejunwang1.github.io

HTML
1
star
19

sentsplit

中文分句
Python
1
star