Складчина: LLM для Python-разработчиков: от RAG до агентов [Stepik] [Станислав Попов]
Чему вы научитесь
- Вы научитесь использовать LLM как инженерный компонент: отправлять запросы через API и локальные движки (Ollama, llama.cpp), строить RAG на Chroma и Qdrant, и создавать агентов с памятью и инструментами на LangChain и CrewAI.
- Освоите дообучение open-source моделей (Mistral) методами LoRA — даже на бесплатной GPU в Colab — и сможете запускать их локально в формате GGUF.
- Научитесь интегрировать всё в FastAPI-приложения, покрывать тестами, оценивать качество с помощью RAGAS и кастомных метрик, а также настраивать логирование, health-check’и и защиту от промпт-инъекций.
О курсе
Этот курс создан для бэкенд-разработчиков, которые хотят начать работать с LLM и агентами, не имея бэкграунда в математике или машинном обучении.
Цель — дать не теорию, а инженерные навыки: как взять open-source LLM, дообучить её на своих данных, встроить в микросервис.
Почему именно этот курс?
- Нет академической математики — только то, что нужно для работы
- Все примеры — на Python, FastAPI
- Акцент на продакшен: тесты, логи, безопасность, масштабируемость
- Каждый модуль завершается тестами и/или практическим заданием
Что входит в курс:
- 8 тематических модулей (от основ LLM до multi-agent систем)
- Теория в формате кратких конспектов + кода
- Финальный проект: end-to-end AI-микросервис в портфолио
Для кого этот курс
— Python-разработчики, которые хотят добавить AI в свой стек
— Инженеры, планирующие внедрять LLM во внутренние инструменты (Jira, документация, чат-боты)
— Техлиды и архитекторы, оценивающие применимость LLM в инфраструктуре
— Те, кто уже пробовал LLM, но не знает, как выйти за пределы простых скриптов.
Программа курса:
1 Введение
- О курсе
2 Введение в LLM: с нуля до первого запроса
- Что такое LLM?
- Осознанное взаимодействие с LLM: промпты, параметры, security
- Выбор между облачными API и локальными моделями
- Первый запрос к LLM
- Установка и запуск LLM локально с помощью Ollama
- Base-модели и instruct-модели: в чём разница и почему это важно
- Эксперименты с промптами: few-shot и chain-of-thought
- Закрепление материала
3 Embeddings и векторные базы данных
- Что такое embeddings (эмбеддинги)?
- Векторные базы данных: зачем они и как работают?
- Создание и поиск по эмбеддингам с Chroma
- Переход на Qdrant: запуск через Docker и интеграция
- Полезные практики: чанкинг, метаданные, reranking
- Расширенные стратегии чанкинга и реранкинга
- Закрепление материала
4 RAG: Retrieval-Augmented Generation на практике
- RAG с нуля: архитектура и первый рабочий пайплайн
- RAG в продакшене: переключение на Qdrant и асинхронность
- Оценка качества RAG
- Защита от галлюцинаций и фильтрация ответов
- Введение в агентов: LLM + инструменты (tools)
- Stateful-агенты с LangGraph
- Подготовка к продакшену: логирование, мониторинг, безопасность
- Закрепление: финальный мини-проект
5 Продвинутый RAG: надёжность, безопасность и контроль в продакшен
- Почему RAG ломается в продакшене? Типичные сценарии
- Защита RAG: от индексации до ответа
- Мониторинг RAG в продакшене: логи, метрики, алерты
- Оптимизация поиска: reranking и multi-query
- Метаданные: основа безопасности и персонализации
- Закрепление материала
6 Локальные LLM: запуск без облака и без GPU
- Когда локальные LLM — не просто «можно», а «нужно»
- Выбор модели под задачу: не параметры, а измеримые метрики
- Ollama в продакшене: как обернуть демон в надёжный сервис
- Прямой inference через llama-cpp-python
- Мониторинг и алертинг для локальных LLM
- Решение типичных проблем в продакшене
- Закрепление материала
7 Дообучение LLM без GPU и PhD
- Зачем дообучать модель и когда это оправдано
- Дообучение через LoRA на бесплатной GPU (Google Colab)
- Интеграция LoRA-адаптера в локальные LLM
- Закрепление материала
8 Multi-agent системы: оркестрация и роли
- Введение в multi-agent системы
- Архитектура и оркестрация
- Реализация на CrewAI
- Альтернативы и расширения (Autogen, кастомизация)
9 Финальный проект — AI-ассистент разработчика
- Архитектура и требования
- Подготовка окружения и компонентов
- Реализация RAG-поиска (POST /search)
- Реализация генерации и сохранения (POST /generate)
- Инфраструктура и тестирование
- Компромиссы и пути развития
10 Глоссарий и закрепление по всему курсу
- Глоссарий курса
- Тесты 1
- Тесты 2
11 Заключение
- Рекомендации по железу
- Заключение
Цена: 2800 руб.