KLUE + Transformers 튜토리얼 🤗
본 저장소는 Transformers, Sentence Transformers 등의 라이브러리를 활용해 태스크를 수행하기 위한 자연어 처리 모델을 손쉽게 훈련할 수 있는 방법에 대한 예제 노트북들을 다룹니다.
예제 제작을 위한 학습 데이터는 KLUE 벤치마크 내 데이터를 활용하도록 합니다.
각 라이브러리가 빠른 기술의 발전으로 차후 활용법이 변할 수 있으므로, 라이브러리의 버전을 아래와 같이 고정시킨 채 실험 및 학습을 해주시는 것이 좋습니다.
본 저장소 내 노트북 제작을 위해 학습된 모델들은 모두 허깅페이스 모델 허브에 업로드해두었으니 사용하실 수 있습니다.
transformers==4.7.0
datasets==1.8.0
sentence-transformers==1.2.0
학습 컨텐츠
| Notebook | Description | |
|---|---|---|
| 문장 분류 모델 학습 | KLUE-NLI 데이터를 활용하여 문장 분류 모델을 훈련하는 방법을 학습합니다. |  |
| 토큰 분류 모델 학습 | KLUE-NER 데이터를 활용하여 토큰 분류 모델을 훈련하는 방법을 학습합니다. | WIP |
| 스팬 예측 모델 학습 | KLUE-MRC 데이터를 활용하여 스팬 예측 모델을 훈련하는 방법을 학습합니다. | WIP |
| Sentence-BERT 모델 학습 및 활용 | KLUE-STS 데이터를 활용하여 문장 임베딩이 가능한 Sentence-BERT 방식의 모델을 훈련하고, 활용하는 방법을 학습합니다. |
|
TIP: zero-shot 파이프라인 활용 |
Transformers 라이브러리의 zero-shot 파이프라인을 활용해 Zero-shot 문장 분류를 수행하는 예제를 학습합니다. |
|
문의
허 훈 (huffonism at gmail dot com)