Складчина: ML Design: Основы проектирования систем машинного обучения [karpov.courses] [Валерий Бабушкин]
Научитесь создавать надежные и эффективные ML-системы и поддерживать их стабильную работу
Зачем изучать проектирование ML-систем? Машинное обучение — это больше, чем просто модели.
Чтобы алгоритмы работали в реальном мире, нужна система, которая масштабируется, обновляется и приносит пользу бизнесу. В этом поможет ML System Design:
- Это новая дисциплина, необходимая для инженеров, аналитиков и всех, кто создает интеллектуальные продукты
- Помогает разрабатывать надежные и устойчивые ML-решения, которые работают не только в тестах, но и в продакшене
- Научит вас лучше разбираться в моделях и проектировать вокруг них полноценную систему
- На курсе вы получите целостное понимание ML System Design — от архитектуры до интеграции и поддержки
Кому подойдёт курс
- Опытным ML-инженерам. Углубите навыки: научитесь обеспечивать стабильную работу ML-систем на долгий срок и сможете претендовать на более высокие позиции
- Руководителям технических команд. Освоите дисциплины, которые помогут комплексно смотреть на проектирование систем, понимать возможности и ограничения каждого решения
- Начинающим специалистам в ML. Заложите фундамент для успешной карьеры в машинном обучении. Получите рекомендации, которые пригодятся уже в первом проекте
Чему вы научитесь
- Правильно действовать ещё в ранней стадии разработки. Научитесь выбирать метрики и функции потерь, создавать надежный пайплайн данных и комбинировать методы валидации, чтобы сразу готовить качественную версию модели
- Понимать проблемы и принимать решения в ML-проектах. Поймете, как формулировать задачи и выделять ключевые этапы, чтобы хорошо ориентироваться в проекте
- Интегрировать и масштабировать решения. Освоите разные методы интеграции ML-продукта в экосистему. Узнаете, как оптимизировать деплой, мониторить работу модели и обслуживать, чтобы она была управляемой и масштабируемой
- Обеспечивать точность системы. Улучшите навыки анализа ошибок, обучения пайплайнов, работы с фичами и тестирования модели для оценки ее производительности
Программа обучения
1 неделя. Выяснение проблемы. Исследование. Дизайн-документ
2 неделя. Функции потерь и метрики. Датасеты
3 неделя. Схемы валидаций и baseline-решения
4 неделя. Анализ ошибок
5 неделя. Пайплайны. Генерация фич и признаков
6 неделя. Репортинг и интеграция
7 неделя. Мониторинг и надежность
8 неделя. Сервинг, оптимизация инференса. Ownership
9 неделя. Разработка дизайн- документа
10 неделя. Публикация дизайн-документа
Спойлер: Подробная программа 1 неделя. Выяснение проблемы. Исследование. Дизайн-документ
Определение проблемы и постановка задачи
- Пространства проблем и решений
- Поиск проблемы
- Упрощение решений через ML
- Риски, ограничения, возможные последствия
- Цена ошибки
Первоначальное исследование
- Проблемы как источник вдохновения
- Разработка vs покупка: open-source vs проприетарные технологии
- Декомпозиция проблемы
- Выбор уровня инноваций
Дизайн-документ: основы
- Цели и «антицели»
- Структура дизайн-документа
- Дизайн-документ — это живой организм
2 неделя. Функции потерь и метрики. Датасеты
Функции потерь и метрики
- Функции потерь
- Метрики качества
Датасеты: работа с данными
- Источники данных
- Подготовка датасетов
- Данные и метаданные
- Необходимый объем данных
- Проблема холодного старта
- Характеристики устойчивого пайплайна данных
3 неделя. Схемы валидаций и baseline-решения
Схемы валидаций
- Достоверная оценка
- Стандартные схемы
- Нетривиальные схемы
- Процедура обновления моделей
Baseline-решения
- Что такое Baseline
- Константные бейзлайны
- Model-based и feature-based бейзлайны
- Бейзлайны в Deep Learning
4 неделя. Анализ ошибок
Анализ ошибок, часть 1
- Кривая обучаемости — аналитика
- Переобучение и недообучение
- Исходные бейзлайны
Анализ ошибок, часть 2
- Анализ остатков
- Поиск закономерностей в остаточных значениях
5 неделя. Пайплайны. Генерация фич и признаков
Тренировочные пайплайны
- Как устроен тренировочный пайплайн
- Необходимые инструменты и платформы
- Масштабируемость и конфигурируемость тренировочных пайплайнов
- Тестирование
Генерация фич и признаков (features and feature engineering)
- Основы генерации фич и признаков
- Анализ значимости фич
- Отбор признаков
- «Магазин» фич
6 неделя. Репортинг и интеграция
Репортинг
- Оценка результатов
- A/B-тестирование
- Формирование отчетов
Интеграция
- API-дизайн
- Цикл релиза
- Переопределение решений модели и fallback-стратегии
7 неделя. Мониторинг и надежность
Мониторинг и надёжность, часть 1
- Важность мониторинга
- Качество и целостность данных
- Метрики отслеживания проблем
Мониторинг и надёжность, часть 2
- Дата-дрифт
- Концепт-дрифт
8 неделя. Сервинг, оптимизация инференса. Ownership
Сервинг и оптимизация инференса
- Сервинг и инференс: соревнования, компромиссы и паттерны
- Инструменты и фреймворки
- Бессерверные вычисления
- Оптимизация пайплайнов инференса
Ownership и поддержка
- Ответственность и роли в команде
- Bus factor
- Комплексность и документация
9 неделя. Разработка дизайн- документа
- Как создать свой дизайн-документ
- Написание первых версий
10 неделя. Публикация дизайн-документа
- Финализация и шлифовка
- Презентация дизайн-документа
Насыщенная теория
- Пройдете 60 уроков по проектированию, обучению, развертыванию и поддержке ML-систем
- Закрепите знания на интерактивных занятиях
Практика
- Разберете два примера дизайн-документов с реальными сценариями
- Получите рекомендации, которые помогут применить знания в деле
Обмен опытом
- Обсудите истории успехов и неудач при запуске ML-продуктов
Цена 130000 ₽