Складчина: Large Language Models [Тариф Основы + LLM] [Илья Димов, Артур Панюков, Дмитрий Калашников]
В результате обучения:
- Узнаете или повторите архитектуру трансформеров и особенности NLP-домена
- Научитесь ускорять и деплоить LLM
- Узнаете, как эффективно тюнить свои модели
- Освоите фреймворки для решения LLM-задач: RAG, Agents, Tools, Function Calling и др.
- Научитесь работать с доступными LLM и выбирать модель под проект
Курс для тех, кто планирует или уже работает с LLM
- DL-инженеры с опытом в LLM
Закроете пробелы в знаниях, наберетесь советов и улучшите проекты
- ML/CV-инженеры без опыта в LLM
Разберетесь в теории, отточите практику, структурировано и без воды
- Python-разработчики
С нуля познакомитесь с NLP и инструментами для работы с LLM
Программа курса:
01. Введение в NLP. Классические подходы и RNN
- Особенности домена
- Виды NLP-задач
- Модели на основе подсчетов
- Дистрибутивная гипотеза
- Эмбеддинги
- Рекуррентные сети
- Token classification
02. Введение в NLP. Seq2Seq и Трансформеры
- Seq-to-seq
- Attention
- Трансформер
- BERT
- Почему трансформеры победили
- T5
03. Основы LLM. Архитектура трансформера
- LSTM имплементации
- Полный трансформер
- Архитектура GPT
- Эмбеддинги
- Attention
- Нормализации
- Superposition
04. Основы LLM. Модификации трансформеров
- Attentions (sliding, streaming, group query)
- Embeddings (ROPE, ALIBI, NOPE)
- Knowledge fusion
- Circuits and W-compositions
- LLM Surgery
05. Доступные LLMs
- Обзор основных игроков индустрии
- Open source LLM и датасеты
- Открытые бенчмарки и арены
- Сервисы для сервинга LLM
- Как выбрать LLM для своей задачи и нужна ли она вообще
06. Prompt Engineering
- Instruct LLM
- Что такое промпт и почему это работает, zero shot learning
- Примеры промптов к разным моделям
- Промпты в LangChain
- Форматированный ответ
- Извлечение ответа из промпта
- Few Shot learning
- Борьба с галлюцинацией
- Tips and tricks
- Примеры
- Function calling
- Защита от инъекций
07. Tools and Agents
- Function call / Tools
- Structured output
- Примеры сценариев
- LLM Agents
- ReAct
08. Fine-tuning
- Управление памятью и точностью вычислений
- Multi-GPU, Multi-Host training, FSDP/ZeRO
- Оптимизация и квантизация
- Легковесные дообучения адаптеров
- Фреймворки и инструменты
9. Alignment
- Мотивация: safety, robustness, predictability
- Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO
- TRL библиотека для дообучения
- Less Is More for Allignment
- Источники данных: User feedback, Crowdsourcing, Synthetic
10. RAG
- Что такое RAG
- Векторный поиск
- Векторные БД
- Полнотекстовый поиск
- Проблемы поиска
- Оценка качества
- Практические советы
11. Деплой
- Схемы деплоя
- Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy
- Разбор преимуществ фреймворков
- Техники ускорения инференса
- Мониторинги
12. Ускорение LLM
- Flash attention
- Квантизации bitsandbytes
- Различные методы квантования
- Speculative decoding
- Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao)
- Инициатива LocalLlama (gguf)
- Архитектурные решения: MoE, medusa, и multitoken prediction
13. Multimodal models
- Задачи мультимодального домена
- Метрики
- CLIP
- LLaVA
Тариф Основы + LLM
- 9 лекций про LLM
- 4 лекции основ NPL и LLM
- 13 практических заданий
- Проверка заданий от спикеров
- Семинары со спикерами
- Поддержка в чате
Цена 119000 руб.