NLP Tutorial with Deep Learning using tensorflow
1. Install requirements
$ pip install -r requirements.txt
2. 01-sentiment_analysis
๋ค์ด๋ฒ ์ํ ํ์ ๋ฐ์ดํฐ๋ฅผ ์ด์ฉํ์ฌ ์ฌ๋ฌ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋น๊ตํด ๋ณผ ์ ์์ต๋๋ค.
๋ค์ํ ์ปดํจํฐ ์ฌ์์ผ๋ก ํ
์คํธ ํด ๋ณผ ์ ์๋๋ก ๋ฐ์ดํฐ์
์ ํฌ๊ธฐ์ ๋ฐ๋ผ ์ธ ๊ฐ์ง๋ฅผ ๋์์ต๋๋ค.
Contents
- Data Process
- Logistic Regression
- Feed Forward Neural Network
- RNN: with rnn tensorflow API explanation
- LSTM: uni-directional LSTM, bi-directional LSTM, deep-bi-directional LSTM
- CNN
- POS: with konlpy Twitter API
- Morphs: with konlpy Twitter API
- word2vec: with gensim API
- doc2vec: with gensim API
- Every model is defined at models
3. 02-nlp_application
๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ์ด์ฉํ์ฌ ์ฌ์ฉ์์ ์
๋ ฅ์ ๋ฐ์ [๊ฐ์ฑ๋ถ์, ์ผํ์๋ง๋ค๊ธฐ, ๋ํํ๊ธฐ]๋ฅผ ํ
์คํธ ํ ์ ์์ต๋๋ค.
ํ๋ จ๋ ๋ชจ๋ธ์ด ๊ฐ์ด ๋ค์ด์์ด train ์์ด ๋ฐ๋ก test ํ ์ ์์ผ๋ฉฐ, gpu ์์ด train ํ ์, ์๊ฐ์ด ์ค๋ ๊ฑธ๋ฆด ์ ์์ต๋๋ค.
train
$ python train.py
implementation
$ python test.py
4. Notice
- 02-nlp_application/01-Sentiment ์ ๊ฒฝ์ฐ, models ํด๋ ์ model-31000.zip ํ์ผ์ ์์ถ์ ํ์ด์ฃผ์ด์ผ train ์์ด ๋ฐ๋ก test ํ ์ ์์ต๋๋ค.
ubuntu/mac: how to unzip in command line
$ zip -FF model-31000.zip --out model-31000-full.zip
$ unzip model-31000-full.zip
-
๋ชจ๋ ๋ฐ์ดํฐ๋ ํ๊ตญ์ด๋ก ์ด๋ฃจ์ด์ ธ ์์ต๋๋ค.
-
konlpy ์ค์น๋ http://konlpy.org/en/v0.4.4/install/ ๋ฅผ ์ฐธ์กฐํ์ธ์.