AgentOps [Тариф Инженерный трек] [proglib.academy] [Кирилл Кухарев, Екатерина Трофимова]

Складчина: AgentOps [Тариф Инженерный трек] [proglib.academy] [Кирилл Кухарев, Екатерина Трофимова]

Курс для разработчиков и LLM инженеров о том, как внедрять AI-логику в бэкенд IT-продуктов и сохранять стабильность сервиса
После курса вы сможете запускать AI-сервисы в production и контролировать их поведение.

С какими задачами вы научитесь справляться:

Встроите AI-слой в backend-архитектуру
API → оркестрация → инструменты → хранилище состояния → мониторинг
Сделаете поведение AI-агента предсказуемым
лимиты • повторные запросы • контроль действий агента
Научитесь тестировать AI-логику
датасеты • регрессионные тесты • проверки качества
Настроите наблюдаемость системы
метрики • трассировка • оповещения
Будете контролировать стоимость
лимиты токенов • бюджет на запрос • резервные модели
Настроите безопасные вызовы инструментов
валидация • политики доступа • ограничения действий

Кем вы будете после курса:

Backend-разработчик, работающий с AI-агентами

Что вы будете уметь:

Проектировать backend-сервисы с AI-логикой
Внедрять AI в существующую архитектуру
Тестировать поведение AI-агентов
Контролировать стоимость AI-запросов
Обеспечивать надежность AI-агентов
Отслеживать и отлаживать работу AI-агентов

Финальный проект – cервис с AI-логикой под вашу задачу:

Имеет API
Использует AI-инструменты
Хранит состояние
Содержит тесты
Имеет систему мониторинга
Контролирует стоимость запросов

Программа:

Где AI-агенты живут в backend-инфраструктуре
Интеграция LLM в backend
Оценка качества LLM в backend-сервисах
Инструменты агента и архитектура взаимодействия с внешними сервисами
RAG и работа с данными для AI-агента
Надёжность AI бэкенд-сервисов
Тестирование и оценка качества AI-систем
Оркестрация AI-агентов
Развертывание AI backend-сервиса
Трассировка, наблюдаемость и эксплуатация AI-сервисов
Управление затратами на AI-системы
Локальное внедрение и приватное развертывание AI-моделей
Проект: Production-ready AI backend (реальный кейс)

Спойлер: Полная программа

Где AI-агенты живут в backend-инфраструктуре
- Теория:
  - Разберете, как интегрировать AI/LLM в backend-систему и какую роль в ней играют агенты;
  - Научитесь выбирать между агентом и workflow в зависимости от задачи;
  - Освоите типовые сценарии внедрения AI через API, внутренние инструменты и автоматизацию;
  - Оцените возможности и ограничения современных AI-решений.
- Практика:
  - Соберете архитектурную карту AI-функциональности вашего сервиса;
  - Спроектируете схему интеграции AI-модулей в backend;
  - Определите зоны ответственности компонентов, чтобы избежать хаоса в разработке.
- Результат:
  - Ваш сервис станет устойчивее и надежнее благодаря грамотно выстроенной архитектуре и четко определённым зонам ответственности.
Интеграция LLM в backend
- Теория:
  - Научитесь встраивать LLM в backend-сервисы и определять место AI-логики в системе;
  - Узнаете, как правильно встраивать AI-логику в инфраструктуру приложения;
  - Разберете OpenAI-compatible API: как устроены запросы, как писать эффективные промпты и управлять параметрами модели;
  - Научитесь формировать структурированный вывод и проектировать понятные API-контракты;
  - Сравните workflow и агентный подход и выберете подходящий под задачу;
  - Поймете, как интегрировать внешние сервисы и инструменты, организовывать надежную оркестрацию запросов и обрабатывать возможные ошибки.
- Практика:
  - Соберете каркас backend-сервиса с AI-логикой;
  - Настроите слой оркестрации запросов, чтобы система работала стабильно;
  - Реализуете API-контракты и схемы взаимодействия между компонентами.
- Результат:
  - Встроите LLM в реальный backend, не нарушая архитектуру сервиса. Выберете подходящий подход (workflow или агент) под конкретную задачу, и обеспечите стабильную работу системы даже при непредсказуемом поведении модели.
Оценка качества LLM в backend-сервисах
- Теория:
  - Познакомитесь с тем, что считать качеством работы LLM в продукте и чем оно отличается от классического backend;
  - Изучите offline и online метрики: как измерять качество, а не опираться на субъективные оценки;
  - Разберёте подходы к оценке генерации: релевантность, точность, полнота и выявление галлюцинаций;
  - Освоите методы A/B-тестирования и сбора пользовательской обратной связи;
  - Поймете, как отслеживать деградацию качества и балансировать качество, скорость и стоимость.
- Практика:
  - Подготовите набор метрик для оценки качества AI-сервиса;
  - Спроектируете систему оценки и мониторинга качества в продакшене;
  - Настроите подход к тестированию и сравнению моделей, промптов и конфигураций.
- Результат:
  - Контролируете качество AI-сервиса через метрики, тестирование и мониторинг, а не субъективную оценку. Своевременно выявляете деградацию и принимаете обоснованные решения по улучшению системы.
Инструменты агента и архитектура взаимодействия с внешними сервисами
- Теория:
  - Освоите, как описывать и подключать инструменты (tools) для работы агента;
  - Научитесь писать описания инструментов так, чтобы агент вызывал их точно и в нужный момент;
  - Разберете логику выбора инструментов и спроектируете отдельный слой для работы с внешними сервисами;
  - Изучите типовые проблемы: ошибки вызовов, задержки, лимиты и способы их обработки.
- Практика:
  - Опишете и зарегистрируете инструменты для своего агента;
  - Подключите внешние сервисы и настроите обработку ошибок и таймаутов;
  - Настроите выбор инструментов в зависимости от контекста задачи.
- Результат:
  - Спроектируете слой с инструментами, который легко расширять новыми инструментами. Обеспечите устойчивость агента к сбоям внешних сервисов без падения всей системы.
RAG и работа с данными для AI-агента
- Теория:
  - Освоите принципы RAG;
  - Изучите архитектуру базы знаний агента: индексирование документов, векторные базы данных и гибридный поиск;
  - Научитесь обновлять данные без потери качества и обеспечивать непротиворечивость знаний при росте базы;
  - Освоите интеграцию RAG как отдельного инструмента агента — с автоматическим выбором, когда и что искать.
- Практика:
  - Самостоятельно настроите пайплайн индексирования и подключите векторную базу данных к своему агенту;
  - Реализуете поиск по базе знаний: векторный и по ключевым словам и сравните качество результатов;
  - Встроите RAG как инструмент: агент будет самостоятельно обращаться к базе, читать релевантные фрагменты и использовать их при генерации ответа.
- Результат:
  - Построите систему, в которой агент работает с актуальными и проверенными данными, а не галлюцинирует. Используете RAG как полноценный инструмент агента — с поиском, чтением и применением данных из базы знаний в реальном времени.
Надёжность AI бэкенд-сервисов
- Теория:
  - Изучите основные источники нестабильности в AI-сервисах: ошибки внешних API, превышение лимитов и непредсказуемые задержки LLM;
  - Освоите стратегии повторных запросов и принципы настройки оптимальных таймаутов;
  - Научитесь обеспечивать идемпотентность: гарантировать уникальность операций и избегать дублирования вызовов при повторах;
  - Освоите использование очередей сообщений как буфера между сервисами, стратегии снижения функциональности ради стабильности и схемы резервирования на случай полного отказа компонента.
- Практика:
  - Соберете библиотеку обработки ошибок и таймаутов для своего AI-сервиса;
  - Настроите конфигурацию лимитов и таймаутов под реальные условия работы с LLM API;
  - Опишете и реализуете схему обработки отказов — что делает система, когда модель недоступна или возвращает ошибку.
- Результат:
  - Построите сервис, который не падает при сбоях внешних провайдеров и корректно деградирует вместо полного отказа. Снизите число инцидентов в продакшене и настроите надежный AI backend с библиотекой обработки ошибок, таймаутами и схемой отказоустойчивости.
Тестирование и оценка качества AI-систем
- Теория:
  - Изучите особенности тестирования AI-решений: почему классические unit-тесты здесь недостаточны и как работать с недетерминированными ответами модели;
  - Освоите принципы создания бенчмарков: как формировать их, выбирать метрики и фиксировать базовый уровень качества;
  - Освоите подходы к автоматизации проверки качества и сравнению версий промптов и конфигураций;
  - Научитесь формализовывать критерии прогресса: как определить, что «новая версия лучше», и избежать субъективных оценок.
- Практика:
  - Разработаете бенчмарк качества для конкретной задачи своего агента: опишете тестовые кейсы, выберете метрики и зафиксируете показатели качества;
  - Запустите автоматизированную проверку и сравните две версии конфигураций по своему бенчмарку.
- Результат:
  - Обоснуете изменения в промптах и конфигурациях данными, а не интуицией. Выстроите процесс итеративного улучшения AI-системы с измеримым контролем качества. Создадите собственный бенчмарк, адаптированный под конкретную задачу.
Оркестрация AI-агентов
- Теория:
  - Разберете ключевые паттерны многоагентных систем и поймете, в каких сценариях применять каждый из них;
  - Освоите разделение ролей между управляющим агентом и рабочими агентами: кто принимает решения, а кто выполняет специализированные задачи;
  - Изучите механизмы передачи данных между агентами и принципы координации действий без конфликтов;
  - Освоите подходы к изоляции контекста: как обеспечивать независимую работу агентов и объединять их результаты в единый итог.
- Практика:
  - Спроектируете схему оркестрации для многоагентной системы: определите роли агентов, потоки данных и точки управления;
  - Реализуете управляющую часть сервиса, которая запускает сабагентов, агрегирует результаты и принимает решение о следующем шаге.
- Результат:
  - Декомпозируете сложную задачу на специализированных агентов и распределите нагрузку между ними. Построите систему, в которой сбой одного агента не останавливает всю оркестрацию.
Развертывание AI backend-сервиса
- Теория:
  - Разберете основные шаблоны развертывания AI-сервисов и поймете, чем они отличаются от деплоя обычного backend-приложения;
  - Освоите принципы контейнеризации: как упаковать сервис с его зависимостями так, чтобы он стабильно работал в любой среде и легко масштабировался;
  - Изучите подходы к интеграции в инфраструктуру компании: подключение к внутренним сервисам, управление секретами и доступ к ресурсам;
  - Освоите требования к продакшн-запуску: конфигурирование окружений, управление переменными, логирование и стратегии обновления.
- Практика:
  - Подготовите конфигурацию для развертывания AI-сервиса: от Dockerfile до настроек окружения;
  - Опишете сценарий обновления и релиза новой версии.
- Результат:
  - Самостоятельно подготовите AI-сервис к запуску в инфраструктуре реальной компании. Обеспечите воспроизводимый деплой и безопасное обновление без ручных операций. Сформируете конфигурацию и сценарий релиза, применимые в реальном рабочем процессе.
Трассировка, наблюдаемость и эксплуатация AI-сервисов
- Теория:
  - Разберете специфику мониторинга AI-сервисов: какие метрики и события важны для LLM-систем — латентность, стоимость токенов, качество ответов — и чем это отличается от классического backend-мониторинга;
  - Освоите принципы трассировки вызовов агентов: как отслеживать цепочку обращений к инструментам и зависимым компонентам и восстанавливать полный путь выполнения задачи;
  - Изучите подходы к наблюдению за качеством в продакшене: как фиксировать деградацию до того, как её заметят пользователи;
  - Освоите механизмы сбора пользовательской обратной связи и ее интеграцию в цикл улучшения сервиса.
- Практика:
  - Настроите систему накопления и хранения данных о работе сервиса: логи вызовов, трассы агентов, метрики качества;
  - Реализуете механизм быстрого поиска и диагностики неполадок — чтобы при инциденте за минуты находить, на каком шаге и почему произошел сбой.
- Результат:
  - Диагностируете деградацию качества AI-сервиса по данным мониторинга, а не по жалобам пользователей. Сократите время разбора инцидентов за счет полной трассировки цепочки вызовов. Получите настроенную систему наблюдаемости с трассировкой агентов, метриками качества и инструментами быстрой диагностики.
Управление затратами на AI-системы
- Теория:
  - Разберете, как структура запроса влияет на стоимость вызова модели: длина контекста, количество токенов, выбор модели — и как небольшие изменения в промпте дают ощутимую экономию;
  - Освоите принципы подбора модели под задачу: когда дорогая модель избыточна и чем её можно заменить без потери качества;
  - Изучите механизмы кэширования результатов, оптимизации частоты вызовов и настройки лимитов — как на уровне бюджета, так и на уровне нагрузки;
  - Освоите понятие «цены качества»: как формализовать баланс между точностью ответов и стоимостью их получения при масштабировании.
- Практика:
  - Сформируете схему настройки лимитов и бюджетов для своего AI-сервиса;
  - Построите карту контроля финансовых показателей: какие метрики собирать, как визуализировать расходы и где искать точки оптимизации.
- Результат:
  - Осознанно выбираете модель и конфигурацию под конкретный сценарий: дешевый или ресурсоемкий. Формируете систему лимитов и бюджетов и карту финансового контроля, готовые к применению в реальном AI-сервисе.
Локальное внедрение и приватное развертывание AI-моделей
- Теория:
  - Оцените, когда имеет смысл переходить на локальный интерфейс: контроль данных, независимость от провайдеров и предсказуемая стоимость;
  - Научитесь подбирать модель под задачу с учетом ресурсов: размер, архитектура, требования к памяти и GPU;
  - Освоите варианты инфраструктуры: оборудование, фреймворки (Ollama, vLLM, llama. cpp) и способы развертывания;
  - Освоите стратегии миграции с облачных API на локальные модели с минимальными изменениями в коде;
  - Учтете ограничения локальных решений и научитесь принимать архитектурные компромиссы.
- Практика:
  - Развернете локальную модель в своей среде и подключите ее к сервису вместо внешнего API;
  - Измерите производительность и сравните качество с облачной моделью под свою задачу.
- Результат:
  - Сможете выбирать между облаком и локальным развертыванием под требования проекта. Развернете приватную модель в инфраструктуре компании и будете контролировать данные, стоимость и производительность.
Проект: Production-ready AI backend (реальный кейс)
- Доведете сервис до уровня, который можно показать работодателю:
  - Усилите архитектуру и структуру системы
  - Подключите мониторинг и контроль качества
  - Проверите стабильность работы агента
  - Интегрируете базу знаний (RAG)
  - Подготовите демонстрацию проекта
- Результат:
  - AI backend-сервис, приближенный к продакшен-уровню и готовый для портфолио

Эксперты курса: Екатерина Трофимова, Андрей Носов, Александр Ошурков, Дмитрий Антипов, Антон Будняк, Кирилл Кухарев, Эмиль Сатаев

Тариф Инженерный трек

12 недель обучения
16 вебинаров
40+ часов практики
Интеграция LLM в backend
Работа с агентами и инструментами
Работа с данными и базой знаний
Архитектура и сложные сценарии
Деплой и интеграция в инфраструктуру
Мониторинг и диагностика в проде
Контроль стоимости и оптимизация
Доступ к материалам курса «Разработка ИИ-агентов»

Цена 109000 руб.