¶ Введение
Начиная с версии DION 2024.10-8 для хранения логов, анализа данных и визуализации ключевых показателей вы можете использовать инструмент OpenSearch Dashboards.
OpenSearch Dashboards позволяет:
- Выбирать данные для анализа, задавать временной диапазон для этих данных, искать их с помощью языка запросов Dashboards Query Language (DQL), а также фильтровать результаты.
- Анализировать данные с помощью запросов и фильтров, просматривать результаты в таблице и изучать их.
- Создавать гистограммы для отображения распределения данных.
¶ Установка OpenSearch Dashboards
Чтобы использовать OpenSearch Dashboards, выполните следующие действия:
-
Установите сервис OpenSearch на машину с ролью
logs. Для дополнительной информации см. Установка.Для установки сервиса рекомендуются следующие минимальные ресурсы:
- Процессор — 4 CPU
- ОЗУ — 8 ГБ
- Дисковое пространство — объём определяется из расчёта 16 МБ логов в день на 1 пользователя. Например, для хранения логов в течение 7 дней для 1000 пользователей требуется дисковое пространство размером 112 ГБ.
-
На сервере установки и администрирования
setup-vmоткройте файл/inventories/dion.YourDomain.com/group_vars/all/vars.yaml. -
Добавьте в файл переменную
opensearch_enabledсо значениемtrue:opensearch_enabled: true -
На сервере
setup-vmвыполните команду:./dion.sh -t opensearch
¶ Доступ к OpenSearch Dashboards
Для доступа к OpenSearch Dashboards выполните следующие шаги:
- Откройте веб-браузер и введите в адресной строке адрес страницы, заменив
YourDomain.comна имя вашего домена.
https://logs-dion.YourDomain.com
- Авторизуйтесь в OpenSearch Dashboards:
- Имя пользователя:
admin - Пароль: получите из конфигурационного файла, инструкция ниже.
Получение пароля
- Подключитесь к серверу Setup-VM по SSH.
- Выполните команду из примера ниже, заменив
YourDomain.comна имя вашего домена.
cat /home/dion/on_dion/inventories/dion.YourDomain.com/group_vars/all/vault.yaml | grep user_password:
В выводе команды будет отображен пароль от учетной записи admin:
user_password: your_password_here
- В навигационном меню OpenSearch Dashboards выберите Discover.
¶ Отображение данных в Discover
После успешного входа в приложение можно приступить к просмотру данных. Доступ к данным осуществляется через инструмент Discover. Для этого выполните следующие действия:
На странице Discover выберите необходимый индексный шаблон из выпадающего меню в левом верхнем углу. На странице будут отображен список полей слева и таблица с документами справа, соответствующие выбранному индексному шаблону. Каждый документ можно раскрыть для просмотра детальной информации.
Чтобы изменить временной диапазон поиска, нажмите на значок календаря или на строку с отображаемым периодом и выберите необходимый период. Затем нажмите Update.
Также для быстрого сужения временного интервала можно выделить участок на гистограмме и щёлкнуть по нему:
Можно сформировать список отображаемых столбцов таблицы. Чтобы добавить поле в качестве столбца, нажмите на значок плюса для выбранного поля:
Выбранное поле будет также отображено в разделе списка полей Selected fields.
¶ Фильтрация данных
Вы можете отфильтровать данные в логах по ключевым словам, фразам и полям, выбрав необходимое поле из списка слева и необходимое значение этого поля. При выборе поля отображается список из пяти часто встречаемых его значений в текущей выборке событий. Например, можно добавить фильтр по имени контейнера:
или по уровню логирования:
или по комбинации уровня логирования и сообщения:
Вы также можете отфильтровать данные, выбрав Add filter, а затем выбрав параметры Field, Operator и Value из раскрывающихся списков во всплывающем окне Edit Filter. Например:
Также можно воспользоваться поисковой строкой, используя язык запросов Dashboards Query Language (DQL) или Lucene.
¶ Создание отчётов
Вы можете создать отчёт по результатам поиска данных. Чтобы создать отчёт:
-
Сохраните результаты поиска, нажав на кнопку Save и указав имя объекта.
Все сохранённые объекты можно просмотреть на странице Management > Dashboards Management > Saved Objects.
-
Нажмите на кнопку Reporting и сохраните отчёт в удобном формате.
Теперь вы можете поделиться сохранённым файлом отчёта.
¶ Анализ таблиц документов
В OpenSearch таблица документов хранит неструктурированные данные. В таблице документов каждая строка представляет собой один документ, а каждый столбец содержит атрибуты документа.
Чтобы просмотреть атрибуты документа, выполните следующие действия:
- Чтобы открыть окно Document Details, в левом столбце таблицы данных щёлкните значок просмотра. Чтобы закрыть окно, щёлкните значок сворачивания.
- Изучите метаданные. Вы можете переключаться между вкладками Table и JSON, чтобы просмотреть данные в удобном для вас формате.
Щёлкните View surrounding documents, чтобы просмотреть данные для других записей журнала, предшествующих или следующих за текущим документом, или View single document, чтобы просмотреть текущую запись журнала в отдельном окне.
¶ Очистка данных
При переполнении дискового пространства сервис OpenSearch переходит в режим "только чтение". Можно просматривать старые логи, но новые записываться не будут.
Чтобы OpenSearch продолжил работу в штатном режиме, добавьте дисковое пространство или удалите ненужные индексы:
- Перейдите в раздел Index Management -> Indexes.
- Отсортируйте индексы по размеру (Total size).
- Выберете и удалите индексы.
После этого в течении пяти минут система перейдет в штатный режим работы.