mannefedov/compling_nlp_hse_course

Материалы курса по компьютерной лингвистике (Natural Language Processing course materials)

Jupyter-ноутбуки курса

1. Предобработка текста (Text preprocessing)
   Токенизация, лемматизация, стемминг, pymorphy, mystem, regex, razdel.
2. Классификация текста (мешок слов) (Bag-of-words classification)
   TFIDF, CountVectorizer, LogReg, KNN, DecisionTrees, Naive Bayes, RandomForest, косинусная близость, тональность текста
3. Поиск и исправление опечаток (Spellchecking)
   Алгоритм Норвига, расстояние Левенштейна, символьные нграммы, SymSpell.
4. Базовое языковое моделирование (Basic Language Modelling)
   Вероятность слова, Ngram language model, перплексия, генерация текста.
5. Тематическое моделирование (Topic modelling)
   Матричные разложения (SVD, NMF), LDA, перплексия, когерентность.
6. Векторные представления слов (word2vec/fastext) (Word embeddings)
   CBOW, Skip-gram, negative sampling, deep learning basics, sigmoid, softmax.
7. RNN и извлечение именованных сущностей (Named Entity Recognition)
   LSTM, GRU, Bidirectional RNN, IOB кодировка, sequence labelling.
8. Трансформеры. Использование предобученных моделей (Transformers. Fine-tuning pretrained models)
   Transformer, BERT, HuggingFace, fine-tuning.
9. Трансформеры. GPT. Генерация текста (Transformers. GPT. Text generation)
10. Трансформеры. Seq2Seq. Машинный перевод (Transformers. Seq2Seq. Machine Translation)
11. Трансформеры. Дообучение на инструкциях (Transformers. Instruct fine-tuning)
12. Трансформеры. RLHF
13. Трансформеры. PEFT

Архивные jupyter-ноутбуки

• WSD/WSI
• NER с помощью грамматик (yargy)
• Few-shot NER (deep pavlov)
• Деревья зависимостей (Dependency trees)
• Тематическое моделирование в BigARTM
• Keyword extraction
• Определение языка
• Коллокации
• CNN (tf), CNN (pytorch)
• RNN (pytorch)
• Deep learning intro (tf), Deep learning intro (pytorch)
• Кластеризация (Clustering)
• Морфологическая дизамбигуация
• Использование предобученных моделей (pytorch)
• Viterbi/MEMM
• Sentence tokenization
• Relation extraction
• Semantic Role Labelling

Jupyter-notebooks in English

• Text preprocessing
• Basic Language modelling
• Topic modelling
• Word Embeddings