Deep Learning in Natural Language Processing
Новый сезон курса от iPavlov стартует 7 февраля и будет проходить каждый четверг в 19:00 в 105 БК (МФТИ, Долгопа). Курс проходит в формате "inverse classroom". Перед каждым семинаром нужно просмотреть лекцию и ответить на квиз. В основе программы — Stanford cs224n. Обучение будет состоять из просмотра лекций, ответов на квизы, выполнения заданий и проекта. Лучшие студенты будут приглашены на летнюю стажировку в лабораторию. Семинары будут посвящены обсуждению сложных моментов в лекциях, разбору квизов и домашних заданий, а также консультациям по проектам. В этом семестре немного изменили структуру курса, увеличили объём практических заданий. Есть планы делать практику многочасовыми занятиями а-ля "приходите в этот день когда хотите и пишите код". По теории мы тоже не расслабляемся - будем читать те лекции, которых пока нету у Стэнфорда (Transformer, ELMO, ULMfit, BERT, unsupervised машинный перевод, etc.). В общем будет сложно (и нам тоже).
Примерный план семестра:
- Intro to natural language processing, word embeddings (Word2vec, GloVe, FastText)
- Intro to language modelling, fully-connected neural networks, backpropagation
- Embeddigns workshop
- Practical tips: gradient checks, overfitting, regularization, activation functions and optimization
- Backpropagation workshop
- Recurrent neural networks, GRU, LSTM.
- Transfer learning in NLP (ELMo, ULMfit)
- Language modelling workshop
- Neural machine translation, attention
- Transformer networks
- Convolutional neural networks for text classification
- Pre-training of Deep Bidirectional Transformers for Language Understanding
- Classification workshop
Возможные дополнительные темы:
Sequence tagging workshop
Generative models: VAE, GAN
Speech recognition and synthesis, neural vocoders
Unsupervised machine translation
Длительность курса — 13 занятий. Курс открыт для всех желающих, даже если вы не с Физтеха (не забудьте поставить галочку в форме регистрации, если вам нужен пропуск). Записи семинаров будут доступны онлайн на Youtube-канале лаборатории.
Для записи на курс необходимо заполнить форму (https://goo.gl/forms/IyMUI9eRfElqPvp43). Оперативную информацию можно отслеживать в Телеграм-канале (https://t.me/dlinnlp).
Дата занятий и расписание может измениться, следите за обновлениями в телеграм-канале.