Складчина: Проектирование и разработка поисковых систем на базе ElasticSearch [Тариф Стандарт] [Balun.Courses] [Степан Ляхов]
Не просто изучаем ElasticSearch, а учимся проектировать поиск под любые задачи
От внутренних сервисов до системы логов и поиска под RAG. Все на примере HighLoad-проектов — маркетплейсов с миллионами товаров и архитектуры Яндекса / Гугла
1. Как устроены поисковые системы и как их проектировать
2. Как предугадывать запрос на этапе ввода в поисковую строку
3. Как отдать релевантный поисковый ответ за 200ms
4. Как найти по смыслу, если в запросе ни одного ключевого слова
5. Как использовать поисковую систему в качестве retrieval layer для LLM и AI-агентов
6. Как обеспечить отказоустойчивость, если у вас гигабайты данных
После курса будешь владеть:
- Поисковые движки и инфраструктура: ElasticSearch Apache Lucene
- Обработка данных: Веб-краулинг Парсинг Очистка текста Индексация Работа с семантикой языка
- Api, интерфейсы поиска Search API Кэширование в поиске
- Поисковые техники и типы поиска: Полнотекстовый поиск Векторный поиск Поиск по смыслу Поиск с опечатками Поиск по синонимам Гибридный поиск Автокомплит BM25
- Основы ml для разработчиков Embeddings Vector space model Cosine similarity ANN / HNSW ML Ranking Clustering Retrieval для LLM и AI Agents
Программа:
Урок №1. Основы поисковых систем
Разбираемся с фундамент всех поисковых систем — Google, Amazon, Elasticsearch-based systems: основные подходы, алгоритмы, идеи, и как они вообще устроены
В уроке:
- архитектура поисковых движков
- inverted index
- BM25, TF-IDF
- scoring и ranking
- fuzzy search (опечатки)
- синонимы и query rewriting
Урок №2. Поиск в маркетплейсе
Изучаем проектирование любого высоконагруженного поиска на основе ElasticSearch. Разбираем на примере всем известных маркетплейсов
В уроке:
- функциональные и нефункциональные требования поисковых систем
- ElasticSearch / OpenSearch / Lucene
- cluster architecture
- indexing pipeline
- search query tuning
- ELK stack
Практика:
- делаем обход Wikipedia
- сохраняем страницы в PostgreSQL
- пишем BFS обход графа
- реализуем защиту от дубликатов
Результат:
- работающий ingestion pipeline + базовая search инфраструктура
Урок №3. Web Crawler + Indexer
Разбираем, как строятся поисковики на подобии Яндекса и Гугла. Как проиндексировать весь интернет, скачать страницы и куда все положить
В уроке:
- graph traversal (BFS)
- crawling architecture
- indexing pipeline
- HTML parsing и data extraction
- scale problems
Практика:
- извлекаем title/body из HTML
- чистим текст
- реализуем bulk indexing в Elasticsearch
Результат:
- готовый пайплайн: HTML → структурированный документ → поисковый индекс
Урок №4. Search API + ML Ranking
В прошлом уроке мы проиндексировали весь интернет. Как теперь по нему искать и сделать максимально релевантную выдачу, даже если человек опечатался?
В уроке:
- search API design
- BM25 retrieval layer
- pagination & query execution
- caching in search systems
- База по ML для разработчиков: decision trees, random forest, gradient boosting, CatBoost, neural networks (overview)
- feature engineering
- clustering (K-Means)
Практика:
- реализуем BM25 Search API
Результат:
- рабочий full-text search API
Урок №5. Semantic Search (Embeddings)
Простым языком рассказываем про Embeddings и то, как реализовать поиск по смыслу, если пользователь в общей форме описал запрос и не попал ни в одно ключевое слово
В уроке:
- embeddings и vector space model
- cosine similarity
- kNN search
- approximate nearest neighbors
- HNSW algorithm
- vector search in Elasticsearch
Практика:
- пишем Embedding Service
Результат:
- поисковый движок умеет искать запросы по смыслу. Например, отдать название сериала «Гангстерленд» на запрос «как называется популярный сериал от Гая Ричи про семью бандитов»
Урок №6. Поиск для AI-систем (RAG)
К этому моменту мы умеем строить поисковую систему, которая может искать по словам, смыслу и выдерживать production-нагрузку. Но что происходит, когда потребителем становится не только человек, но и AI?
В уроке:
- внутреннее устройство RAG-систем и роль поиска в ней
- как построить retrieval pipeline для LLM
- как объединить BM25 и vector search в hybrid search
- как применять reranking для повышения качества retrieval
- как превратить search API в tool для AI Agent
Практика:
- реализуем semantic search API и объединяем полнотекстовый и векторный поиск
Результат:
- готовый hybrid retrieval layer: поиск по ключевым словам + поиск по смыслу, который можно использовать как retrieval layer для RAG или как search tool для AI-агентов
Тариф Стандарт
Цена 37900 руб.