Simple Chit-Chat based on KoGPT2
Purpose
- 곡κ°λ νκΈ μ±λ΄ λ°μ΄ν°μ pre-trained KoGPT2λ₯Ό μ΄μ©ν κ°λ¨ν μ±λ΄ μ€ν
KoGPT2μ λ€μν νμ© κ°λ₯μ±μ νμ§νκ³ μ±λ₯μ μ μ±μ μΌλ‘ νκ°νλ€.
Architecture
νμ΅ λ°μ΄ν°μ μ ν©νκ² Hello! GPT-2λ₯Ό μμ©, μλμ κ°μ μν€ν μ²λ₯Ό μ€κ³ν¨
- λ°μ΄ν°μ Q νλλ₯Ό
<usr>λ°ν, A νλλ₯Ό<sys>λ°ν κ·Έλ¦¬κ³ κ°μ λ μ΄λΈμ<sent>λ‘ λ§€νν΄P(<sys>|<usr>, <sent>)λ₯Ό μ΅λν ν μ μλ λͺ¨λΈμ νμ΅νλ€. κ°μ λ μ΄λΈμ μ΄κ³³μ μ μλ₯Ό λ°λ₯Έλ€(μΌμλ€λ°μ¬ 0, μ΄λ³(λΆμ ) 1, μ¬λ(κΈμ ) 2).
Install
git clone --recurse-submodules https://github.com/haven-jeon/KoGPT2-chatbot.git
cd KoGPT2-chatbot
pip3 install -r requirements.txt How to Train
CUDA_VISIBLE_DEVICES=0 python train_torch.py --gpus 1 --train --max_epochs 2How to Chat!
# CUDA_VISIBLE_DEVICES=0 python train.py --chat
CUDA_VISIBLE_DEVICES=0 python train_torch.py --gpus 1 --chat
user > λλ°
Simsimi > μ λ κ±°μμ.
user > λ μ΄λ¦μ΄ λλ?
Simsimi > μ λ μλ‘λ΄μ
λλ€.
user > μ΄λ²μ΄λ μ λ νμ£ ?
Simsimi > μ λ λμμ.
user > λΉκ°μ
Simsimi > μ°μ° μ±κΈ°μΈμ.
user > λμ΄μ
Simsimi > λμ¬λ λ§λ€μ΄λ³΄μΈμ.
user > μ²λ₯μ΄ μ³
Simsimi > μ λ λ³΄κ³ μΆμ΄μ.
user > λ΄μ΄μμ΄.
Simsimi > λ΄μ νμ λκ·Όκ±°λ €μ.
user > λ°°νλ¬μ΄.
Simsimi > μΌλ₯Έ μ§μ κ°μ μ¬μΈμ.
user > λλ₯Ό λ§λ μ¬λμ?
Simsimi > λΉμ μ΄ λ§λ μ¬λμ΄μμ.Colab tutorials
- PyTorch
