ELK Stack: как собрать логи через Logstash в Elasticsearch и искать инциденты в Kibana
ELK Stack — связка трёх программ для централизованного сбора журналов. Logstash принимает строки логов и разбирает их на поля, Elasticsearch хранит эти поля в индексах и быстро ищет по ним, Kibana даёт строку поиска, графики и дашборды. Позже к стеку добавились Beats — лёгкие агенты вроде Filebeat, которые читают журналы прямо на серверах. Инженер настраивает доставку логов, типы полей и срок хранения, а дежурный или аналитик SOC находит в Kibana ошибки и подозрительные запросы, не заходя на каждый сервер.
Содержание

Главное заблуждение новичка — что ELK достаточно установить, и поиск заработает сам. Строка лога nginx, попавшая в Elasticsearch целиком в поле message, бесполезна для фильтров: по ней не посчитать ответы с кодом 500 и не выбрать запросы с одного адреса. Основная работа — разобрать строку на поля, задать им типы и решить, сколько дней хранить данные. Поиск в Kibana — последний шаг.
Как одна строка лога проходит через стек
Возьмём учебную схему: веб-сервер с nginx и отдельная машина со стеком. На веб-сервере Filebeat следит за файлом /var/log/nginx/access.log, запоминает, где остановился, и отправляет новые строки на Logstash, обычно на порт 5044. Конвейер Logstash состоит из трёх частей: input принимает события, filter разбирает их, output пишет результат в Elasticsearch.
Главное происходит в фильтрах. Плагин grok сопоставляет строку с шаблоном и вынимает адрес клиента, метод, путь и код ответа. Плагин date переносит время из строки в поле @timestamp, иначе событие получит время приёма, а не время запроса. На выходе получается JSON-документ с десятком полей вместо одной длинной строки.
Elasticsearch кладёт документ в индекс — коллекцию однотипных записей, разбитую на шарды. Для логов чаще берут поток данных (data stream): запись идёт по одному имени, а за ним по мере роста создаются новые внутренние индексы. Kibana показывает события на шкале времени в разделе Discover. Filebeat умеет писать в Elasticsearch и напрямую, поэтому Logstash оставляют там, где нужна сложная обработка или много разных источников.
Индексы и маппинг: почему типы полей решают всё
Маппинг — схема индекса: какое поле считать текстом, какое числом, датой или IP-адресом. Без явной схемы Elasticsearch определит типы сам по первому документу, и строка станет полем text с подполем keyword (документация Elastic о динамических шаблонах). По text ищут отдельные слова, по keyword — точное значение, по нему же строят графики. В стандартном правиле у keyword стоит ignore_above: 256, поэтому длинные URL с параметрами в разбивку по адресам просто не попадают.
Вторая ловушка — конфликт типов. Если в одном индексе код ответа пришёл числом, а в другом строкой, запрос «код больше или равен 500» перестанет работать на части данных. Тип поля в существующем индексе не поменять без переиндексации. Поэтому для логов заранее пишут шаблон индекса с явными типами и называют поля по Elastic Common Schema: адрес клиента — source.ip, код ответа — http.response.status_code.
Хранение, ротация и место на диске
Срок хранения задают политикой ILM (index lifecycle management). В горячей фазе индекс принимает запись и по достижении размера или возраста уступает место новому (rollover), в тёплой и холодной данные переезжают на дешёвые узлы, в фазе delete удаляются. Если фазы удаления нет, индексы копятся, пока не кончится диск.
Elasticsearch проверяет заполнение диска на каждом узле по умолчанию раз в 30 секунд. При 85 % узел перестаёт получать новые шарды, при 90 % кластер пытается увезти с него шарды, а при 95 % наступает flood stage: на каждый индекс, у которого есть шард на этом узле, ставится блокировка index.blocks.readonlyallow_delete (настройки размещения шардов в документации Elasticsearch). Читать и удалять можно, писать нельзя. Блокировка снимается сама, когда заполнение опустится ниже 90 %.
На практике новые события перестают попадать в индекс. Хуже всего, что диск часто заполняется во время инцидента: сервис сыплет ошибками, логов становится в разы больше, и именно за эти часы данных может не оказаться. Отсюда два правила: в политике ILM нужна фаза удаления, а свободное место на узлах стоит мониторить отдельно, с порогом ниже 85 %.
Учебный пример: всплеск ошибок после выкладки
Ситуация учебная. После обновления API пользователи жалуются на сбои, серверов шесть. Инженер открывает Discover за последние 30 минут и пишет запрос на KQL (Kibana Query Language): http.response.status_code >= 500 and url.path : /api/*. Гистограмма показывает, что ошибки начались через минуту после выкладки. Добавив в таблицу поле host.name, инженер видит, что ошибки идут только с двух серверов, и сверяет на них конфигурацию.
Аналитику SOC тот же стек отвечает на другой вопрос. Запрос http.response.status_code : 404 and url.path : (*.env or wp-login) показывает, что один адрес за десять минут перебрал сотни путей к служебным файлам. Это сканирование: аналитик проверяет, получил ли адрес хоть один ответ 200, и решает, блокировать ли его. Оба поиска работают, только если поля были разобраны и получили верные типы.
С чего начать и в каком порядке осваивать
Осваивать стек удобнее в том же порядке, в каком идут данные. Если начать с дашбордов, непонятно, почему пропадают поля; если с кластера из трёх узлов — утонете в настройке. Каждый шаг ниже опирается на предыдущий и даёт результат, который видно глазами.
- Журналы Linux без ELK: где лежат логи nginx и служб, как читать их через journalctl, tail и grep.
- Одноузловые Elasticsearch и Kibana в Docker. В версии 8 защита включена по умолчанию: разберитесь с паролем и сертификатом, а не отключайте её.
- Filebeat с готовым модулем nginx и первые события в Discover.
- Logstash с собственным конвейером: grok для нестандартного лога, фильтр date, проверка вывода в stdout до записи в индекс.
- Шаблон индекса с явными типами и политика ILM с удалением через несколько дней.
- Запросы KQL и один дашборд, который отвечает на конкретный вопрос.
Всё это проходится на одном ноутбуке, только Docker стоит дать памяти с запасом: Elasticsearch работает на Java. Если пока тяжело даётся сама работа с серверами, начните с базы: на курсе «Системный администратор с нуля» Skillbox разбирают логирование и мониторинг в Linux, поиск причины ошибки по журналам и расследование инцидентов в сети. ELK в описании программы не назван — если нужен именно он, уточните у школы.
Упражнения, ошибки новичков и как проверить себя
Хорошее упражнение — взять лог без готового модуля, например журнал своего скрипта, и довести его до дашборда. Проверка простая: у каждого события в Discover отдельные поля с верными типами, а в @timestamp — время из строки лога. Второе упражнение — нарочно сломать разбор и найти события с тегом _grokparsefailure, который Logstash ставит при несовпадении шаблона.
Типичные ошибки: время пишут без часового пояса, и события смещаются на три часа; создают по индексу на каждый день и сервис, получая тысячи мелких шардов; открывают порт 9200 в интернет без пароля; складывают в логи токены и персональные данные, которые потом видит каждый с доступом к Kibana.
ELK в работе DevOps-инженера и аналитика SOC
DevOps-инженер и сисадмин ставят агентов, пишут конвейеры, следят за здоровьем кластера и договариваются с разработчиками о формате логов. Метрики обычно живут отдельно, в Prometheus и Grafana, — об этом статья о мониторинге серверов на нашем сайте. В Kubernetes логи подов часто собирают в Loki, а Elasticsearch выбирают для полнотекстового поиска по большим объёмам.
Аналитик SOC ищет следы атак и сохраняет запросы для повторных проверок. Готовых правил корреляции, как в SIEM, у базового ELK нет — эту сторону мы разбирали в статье о SIEM и Wazuh. На курсе «Специалист по кибербезопасности + ИИ» Skillbox ELK Stack и Wazuh указаны в модуле «Мониторинг и реагирование», где разбирают источники событий, нормализацию и корреляцию; программа рассчитана на 12 месяцев.
Лицензия, OpenSearch и доступность
В 2021 году Elastic ушла с Apache 2.0 на SSPL и собственную Elastic License, объяснив это конфликтом с AWS, а 29 августа 2024 года объявила о добавлении AGPL как ещё одного варианта (блог Elastic). Для команды, которая ставит стек у себя, это почти ничего не меняет; важно тем, кто продаёт Elasticsearch как сервис.
Ответом на смену лицензии стал OpenSearch — форк Elasticsearch 7.10.2 под Apache 2.0, с OpenSearch Dashboards вместо Kibana; проект находится под Linux Foundation (FAQ OpenSearch). Практическая деталь из того же FAQ: Beats версии 7.13 и новее с OpenSearch не работают, а своих форков Logstash и Beats у проекта нет. Российским командам стоит заранее выяснить, откуда брать дистрибутивы, обновления и поддержку: условия доступа к сервисам зарубежного вендора нередко решают выбор между Elasticsearch и OpenSearch.
Как навык влияет на доход
Отдельной должности «специалист по ELK» почти нет: стек встречается в вакансиях DevOps-инженера, SRE, сисадмина и аналитика SOC рядом с Linux, Docker и SIEM. Открытых сопоставимых данных о надбавке за ELK мы не нашли, поэтому цифр не приводим. На доход влияют задачи, которые навык позволяет брать: спроектировать сбор логов с десятков серверов, настроить хранение без переполнения, найти причину сбоя по логам за минуты. Чтобы оценить рынок, ищите вакансии по словам Elasticsearch и OpenSearch с фильтром по городу и опыту и смотрите медиану, помня, что в вакансиях — предложения работодателей, часто до вычета налога.
Чему учат на курсах и что проверить
Отдельных курсов именно по ELK немного: стек обычно входит модулем в программы по DevOps, администрированию и безопасности. На курсе «Пентестер с нуля» Skillbox ELK Stack есть только в общем списке инструментов, без отдельного модуля: программа о тестировании на проникновение, а сбор логов нужен, чтобы понимать сторону защиты.
Перед оплатой проверьте, будет ли собственный стенд, где вы пишете конвейер Logstash и шаблон индекса, а не только смотрите готовые дашборды; разбирают ли ILM и заполнение диска; есть ли задания на поиск инцидента по логам с проверкой. Если ELK назван одним словом в списке инструментов, рассчитывайте на знакомство, а не на навык.
Сравнить школы по цене и формату поможет рейтинг онлайн-школ с обучением DevOps и инфраструктуре — он общий по направлению, а не только по ELK. Быстрее всего понять, ваш ли это инструмент, — пройти за выходные первые три шага плана и найти в Kibana хотя бы одну ошибку своего сервера.