Складчина: Обработка естественного языка — NLP [Яндекс Практикум]
Natural Language Processing позволяет нейросетям понимать человека
В том числе имитировать разговор, выполнять запросы, извлекать пользу из массивов естественной речи
Например, NLP используют чат‑боты, голосовые ассистенты, автопереводчики, сложные аналитические системы
Курс подойдёт тем, у кого есть опыт работы с данными, Machine Learning и Deep Learning:
- Специалистам в области Data Science
Разберёте методы извлечения признаков из текста и сможете применять NLP для работы с большими данными и решения бизнес-задач - DL- и ML-инженерам
Изучите способы обработки текстовых данных и современные архитектуры и будете использовать NLP в своих реальных проектах - Разработчикам
Освоите актуальные библиотеки и инструменты, чтобы внедрить технологии NLP в разработку приложений, которые используют текстовые данные
Освойте продвинутые подходы, модели и архитектуры
- GPT
- RoBERTa
- DeBERTa
- NER
- AutoGen
- STF
- PEFT
- RLHF
- LoRA
- vLLM
- TS
- Seq2Seq
- RAG
- ANN
- FAISS
- BM25
- CLIP
- SigLip
- Векторные БД
- Florence
- LangChain
- AutoGen
- smolagents
- MCP
- ElasticSearch
Чему научитесь на курсе:
- Понимать и применять современные NLP-модели: от BERT до LLM
- Строить RAG и агентные системы
- Обучать LLM с оптимизацией операций на GPU
- Создавать модели генерации текста, перевода, NER и мультимодальные решения
- Работать с поиском: от классического BM25 до векторного по эмбеддингам
Как проходит курс:
- Сопровождение кураторами
- Обратная связь от опытных наставников
- Воркшопы с экспертами
- Теория на платформе Практикума
- Практические задания с ревью на готовой инфраструктуре в облаке
Что вас ждёт на курсе:
- Ключевые NLP-архитектуры: от вариаций BERT до RAG и агентных систем
- Фокус на актуальные задачи: NER, QA, VQA, машинный перевод и сценарии с RAG
- Удостоверение о повышении квалификации
Программа:
00 Бесплатная часть. Нейросетевые решения на практике
Практическая работа
- Научитесь использовать предобученные модели для анализа текста и изображений и интерпретировать результаты их работы
Инструменты и технологии
- PyTorch
- CV
- NLP
Содержание
- Знакомство с курсом
Узнаете, как организован курс: из чего состоит программа, как устроена платформа, какие активности вас ждут - Введение в нейросети и их роль в решении сложных задач
Поймёте, в каких областях применяются нейросети и какие задачи они решают в реальной жизни - Работа с текстами
Классифицируете тексты с использованием предобученной модели - Работа с изображениями
Классифицируете изображения с помощью предобученной модели - Нейросети на практике
Научитесь использовать нейросети в повседневной практике и для решения профессиональных задач
01 Современные модели: обучение и ключевые механизмы
Проект
- Решите задачу NER, выявив все сущности, и предскажете, сколько их в тексте, через регрессию по CLS
Инструменты и технологии
- RoBERTa
- XLM-RoBERTa
- DeBERTa
- NER
- PyTorch Lightning
- DP
- DDP
- FSDP
Содержание
- Multi-Head Attention и BERT
Разберёте трансформер на уровне тензоров, attention-механизм, позиционные эмбеддинги и skip connections. Напишете полный encoder с нуля. Изучите архитектуру BERT, задачи MLM и NSP, CLS-токен, ограничения attention и такие решения, как flash/sparse attention - Эволюция моделей в NLP
Сравните токенизаторы (BPE, WordPiece и другие) по стабильности и размеру словаря. Рассмотрите развитие моделей: RoBERTa, XLM-R, DeBERTa, e5, включая мультиязычные и облегчённые версии для продакшна. Изучите NER: BIO-разметку, entity spans, лоссы - Эффективная тренировка моделей
Освоите float16, bfloat16, mixed precision, включите AMP в PyTorch. Изучите квантизацию (PTQ, QAT) и распределённую тренировку (DataParallel, DDP, FSDP). Разберёте torch.compile и научитесь работать с PyTorch Lightning
02 Большие языковые модели
Проект
- Дообучите языковую модель, чтобы управлять генерацией текстов на разных этапах — pretrain, SFT, alignment
Инструменты и технологии
- LoRA
- QLoRA
- SFT
- TRL
- vLLM
- FlashAttention
- Triton
- ALiBi
- RoPE
Содержание
- Введение в большие языковые модели
Изучите фундаментальные концепции LLM. Рассмотрите архитектуры для генерации текста: decoder-only, encoder-decoder, диффузионные модели. Разберётесь с устройством attention-масок, их влиянием на генерацию. Реализуете вызов API через OpenRouter. Исследуете ограничения LLM - Архитектура и принципы работы LLM
Узнаете принципы обучения декодера. Реализуете цикл генерации текста с чат-шаблонами Jinja. Рассмотрите методы улучшения генерации: In-Context Learning, reasoning, CoT. Изучите стратегии генерации текста: beam search, sampling, temperature, top-k, top-p, repetition penalty. Поймёте причины их выбора - Оптимизации в LLM
Попробуете методы обучения и оптимизации LLM: LoRA, QLoRA, адаптеры, PEFT и Unsloth. Поймёте проблему длинного контекста. Освоите методы расширения контекста: KV cache, paged attention, speculative decoding, continuous batching. Проведёте оптимизацию на GPU с использованием Triton, fused layers и FlashAttention. Примените gradient checkpointing и выберете стратегии обучения под ресурсы и скорость
03 Путь генеративного NLP: от Seq2Seq к RAG
Проект
- Разработаете retrieval-систему по статьям из arXiv, с поиском по документам и генерацией ответов на естественном языке
Инструменты и технологии
- T5
- LoRA
- Seq2Seq
- BLEU
- ROUGE
- chrF
- COMET
- RAG
- Векторные базы данных
- LangChain
Содержание
- Архитектуры Seq2Seq в трансформерах
На примере T5 и русскоязычных аналогов разберёте архитектуру encoder-decoder. Поймёте принципы cross-attention и teacher forcing. Изучите метрики BLEU и ROUGE. Примените T5 к разным NLP-задачам. Освоите предобучение T5 с помощью span corruption. Рассмотрите ключевые бенчмарки - Генерация текста для практических задач
Изучите модели машинного перевода mT5 и NLLB. Освоите их дообучение для доменов. Разберёте методы улучшения параллельных корпусов: выравнивание, фильтрацию, back-translation и paraphrasing. Решите NER-задачу в формате генерации с промптингом и constrained decoding. Дообучите Seq2Seq-модели и оцените качество перевода - Retrieval-Augmented Generation — RAG
Узнаете причины галлюцинаций и как RAG снижает риск ошибок. Изучите bi-encoder и cross-encoder, гибридный поиск и векторные базы (FAISS, Chroma, Qdrant). Рассмотрите методы снижения размерности и индексации. Построите RAG-пайплайн: от подготовки документов до генерации ответа. Освоите LangChain и оценку качества поиска
04 Современный NLP: поиск, агенты и мультимодальность
Проект
- Разработаете модель, которая будет искать изображения по описанию, проверять их на релевантность и отвечать на вопросы по содержанию
Инструменты и технологии
- rapidfuzz
- OpenSearch
- datasketch
- LangChain
- AutoGen
- smolagents
- MCP
- CLIP
- SigLIP
- BLIP
- LLaVA
- Florence
Содержание
- Полнотекстовый поиск
Рассмотрите нечёткий поиск и алгоритм Левенштейна. Освоите rapidfuzz и BM25. Поработаете с индексами в OpenSearch. Разберёте расширенные техники поиска. Изучите LSH с datasketch. Сравните подходы через хэши и эмбеддинги. Реализуете гибридный поиск с опечатками, а также индексацию и дедупликацию коллекций - Агенты
Изучите function calling, structured output, а также интеграцию функций через LangChain. Разберёте агентные системы: ReAct, LLM-as-judge и современные фреймворки (AutoGen, smolagents), а также протокол MCP. Создадите агента для работы с интернетом и веб-страницами. Рассмотрите архитектуры Perplexity и Deep Research - Мультимодальные архитектуры
Узнаете, как создаются мультимодальные датасеты и бенчмарки. Разберёте CLIP и его варианты (SigLIP, ViT-L/14), а также модели BLIP, Florence и LLaVA для VQA. Научитесь выявлять ошибки аннотаций с помощью CLIP и применять его для поиска, очистки датасетов и VQA-задач
Авторы — инженеры с большим опытом обучения нейросетей
Они собрали и систематизировали свои знания, чтобы вы учились на реальных кейсах, с которыми сталкиваются специалисты на практике
- Антон Моргунов
Программный эксперт курса. Senior ML-инженер в Базис Центре - Даниил Важев
Исследователь в Научно-учебной лаборатории моделей и методов вычислительной прагматики в ВШЭ. Мидл DL/ML-инженер в НБКИ. PhD Student в Сколтехе - Кирилл Бобылев
Senior Data Scientist в Ozon Tech. Специализируется в Moderation, Anti-fraud, QC - Станислав Жбанников
NLP-инженер в GigaChat Pretrain. Занимается оптимизацией обучения крупных MoE-моделей. Был Lead Data Scientist в Ecom.tech, руководил DS-командой разработки умного ассистента для поиска товаров
Цена 60000 руб.