rss.eground-zerkalo.com

LLM Security PRO: Prompt Injection, утечки, tool-abuse [Stepik] [Алексей Малышкин]

—

от автора

rss_eground_
в

Складчина: LLM Security PRO: Prompt Injection, утечки, tool-abuse [Stepik] [Алексей Малышкин]

screen.jpg
Практический курс по LLM Security. Запустите локальный RAG/агента на реальном LLM (OpenAI API) и укрепите прод: защита от prompt/indirect injection, утечек и tool-abuse, строгий JSON-вывод (Schema/Pydantic), redaction и лимиты стоимости/циклов. Плюс профессиональные блоки: OWASP LLM Top-10, threat modeling, red-team suite и security-gates в CI/CD.
О курсе
LLM Security PRO — практический курс о том, как защищать RAG-сервисы и AI-агентов в продакшне. Мы не ограничимся “правильными промптами”: вы построите инженерные контуры, которые удерживают систему в рамках безопасности даже тогда, когда модель внушаема, ошибается или сталкивается с “вредными” документами и запросами.
Курс построен вокруг локального учебного приложения (RAG + tools + API + UI), которое вы запускаете у себя на компьютере и подключаете к реальному LLM через OpenAI API. Сначала вы увидите типовые провалы (injection, утечки, опасные tool-действия, cost-DoS), затем внедрите контроли: policy-layer, защита RAG-контекста, allowlist/scopes/approvals для инструментов, строгая валидация вывода, redaction и лимиты стоимости. Финал — red-team test suite и security-gates, чтобы регрессы не уезжали в прод.
Формат: код и шаблоны на GitHub, сервисы поднимать не нужно. API-ключ хранится только локально. В учебных заданиях используются синтетические данные (без ПДн/секретов).
Для кого курс: Python-разработчики, ML/DE инженеры, тимлиды/архитекторы и специалисты AppSec/DevSecOps, которые внедряют LLM в продукт и хотят делать это безопасно и предсказуемо.
Спойлер: Программа курса Старт

  1. Введение в курс
  2. Демо: как агент может ошибиться

Модель угроз для LLM-приложений

  1. Активы и поверхности атаки
  2. Приоритизация: что чинить первым
  3. Политики и “контракт безопасности”

Direct Prompt Injection

  1. Почему промпт не является защитой
  2. Фикс №1: разделение инструкций и данных
  3. Фикс №2: policy layer вне LLM

Indirect Injection через RAG (самый жир)

  1. Почему документы опасны
  2. Фиксы для RAG-контекста
  3. Grounding, цитирование и provenance как защита

Heavy-Hitters и Top-K на потоках

  1. Heap+hash и резервуарная выборка

Tools security (excessive agency)

  1. Почему tools опаснее текста
  2. Allowlist и валидация параметров инструментов
  3. Scopes и approvals

Insecure Output Handling

  1. Почему нельзя доверять JSON/SQL/URL от модели
  2. Строгий структурированный вывод
  3. Санитайзеры и запрет "склейки строк"

Leakage: секреты, ПДн, корпоративные данные

  1. Что такое утечка в LLM-системах
  2. Redaction и политика логов
  3. Минимизация данных и "privacy by design"

Cost-DoS, циклы, надёжность как security

  1. Как "кладут" LLM-приложения по бюджету
  2. Лимиты и stop conditions
  3. Rate limit, quotas, circuit breaker

Security testing, релизные гейты и РФ-чеклист

  1. Red-team suite: как тестировать безопасность LLM-приложения
  2. Security gate в CI/CD
  3. РФ-модуль "по минимуму": что помнить, чтобы не встрять

Финальный проект

  1. Защищаем LLM-агента

В курс входят

  • 28 уроков
  • 88 тестов
  • 24 интерактивные задачи

Автор курса: Алексей Малышкин
Цена: 12990 руб.