ПРИМЕЧАНИЕ: эта функциональность требует Manticore Buddy. Если она не работает, убедитесь, что Buddy установлен.

Manticore поддерживает интеграцию с Apache Kafka для приема данных в реальном времени через источники Kafka и материализованные представления, что позволяет индексировать и искать данные в реальном времени. В настоящее время протестированы и поддерживаются apache/kafka версии 3.7.0-4.1.0.

Чтобы начать, вам необходимо:

1. Определить источник: Указать топик Kafka, из которого Manticore Search будет читать сообщения. Эта настройка включает такие детали, как хост брокера, порт и имя топика.
2. Настроить целевую таблицу: Выбрать таблицу Manticore реального времени для хранения входящих данных Kafka.
3. Создать материализованное представление: Настроить материализованное представление (mv) для обработки преобразования данных и сопоставления из Kafka в целевую таблицу в Manticore Search. Здесь вы определите сопоставления полей, преобразования данных, а также любые фильтры или условия для входящего потока данных.

CREATE SOURCE <source name> [(column type, ...)] [source_options]

allowed_field_name 'original JSON key name with special symbols' type

price_field '$price' float    -- maps JSON key '$price' to field 'price_field'
field_123 '123field' text     -- maps JSON key '123field' to field 'field_123'

CREATE SOURCE kafka
(id bigint, term text, abbrev '$abbrev' text, GlossDef json)
type='kafka'
broker_list='kafka:9092'
topic_list='my-data'
consumer_group='manticore'
num_consumers='2'
batch=50

Query OK, 2 rows affected (0.02 sec)

CREATE TABLE destination_kafka
(id bigint, name text, short_name text, received_at text, size multi);

Query OK, 0 rows affected (0.02 sec)

CREATE MATERIALIZED VIEW <materialized view name>
TO <destination table name> AS
SELECT [column|function [as <new name>], ...] FROM <source name>

CREATE MATERIALIZED VIEW view_table
TO destination_kafka AS
SELECT id, term as name, abbrev as short_name,
       UTC_TIMESTAMP() as received_at, GlossDef.size as size FROM kafka

Query OK, 2 rows affected (0.02 sec)

Данные передаются из Kafka в Manticore Search пакетами, которые очищаются после каждого запуска. Для вычислений между пакетами, таких как AVG, будьте осторожны, так как они могут работать не так, как ожидается, из-за обработки пакет за пакетом.

Вот таблица сопоставления на основе приведенных выше примеров:

SHOW SOURCES

+-------+
| name  |
+-------+
| kafka |
+-------+

SHOW SOURCE kafka;

+--------+-------------------------------------------------------------------+
| Source | Create Table                                                      |
+--------+-------------------------------------------------------------------+
| kafka  | CREATE SOURCE kafka                                               |
|        | (id bigint, term text, abbrev '$abbrev' text, GlossDef json)      |
|        | type='kafka'                                                      |
|        | broker_list='kafka:9092'                                          |
|        | topic_list='my-data'                                              |
|        | consumer_group='manticore'                                        |
|        | num_consumers='2'                                                 |
|        | batch=50                                                          |
+--------+-------------------------------------------------------------------+

SHOW MVS

+------------+
| name       |
+------------+
| view_table |
+------------+

SHOW MV view_table

+------------+--------------------------------------------------------------------------------------------------------+-----------+
| View       | Create Table                                                                                           | suspended |
+------------+--------------------------------------------------------------------------------------------------------+-----------+
| view_table | CREATE MATERIALIZED VIEW view_table TO destination_kafka AS                                            | 0         |
|            | SELECT id, term as name, abbrev as short_name, UTC_TIMESTAMP() as received_at, GlossDef.size as size   |           |
|            | FROM kafka                                                                                             |           |
+------------+--------------------------------------------------------------------------------------------------------+-----------+

ALTER MATERIALIZED VIEW view_table suspended=1

Query OK (0.02 sec)

Вы также можете указать partition_list для каждой темы Kafka. Одним из основных преимуществ такого подхода является возможность реализации шардинга вашей таблицы через Kafka. Для этого следует создать отдельную цепочку source → materialized view → destination table для каждого шарда:

Источники:

CREATE SOURCE kafka_p1 (id bigint, term text)
  type='kafka' broker_list='kafka:9092' topic_list='my-data'
  consumer_group='manticore' num_consumers='1' partition_list='0' batch=50;
CREATE SOURCE kafka_p2 (id bigint, term text)
  type='kafka' broker_list='kafka:9092' topic_list='my-data'
  consumer_group='manticore' num_consumers='1' partition_list='1' batch=50;

Таблицы назначения:

CREATE TABLE destination_shard_1 (id bigint, name text);
CREATE TABLE destination_shard_2 (id bigint, name text);

Материализованные представления:

CREATE MATERIALIZED VIEW mv_1 TO destination_shard_1 AS SELECT id, term AS name FROM kafka_p1;
CREATE MATERIALIZED VIEW mv_2 TO destination_shard_2 AS SELECT id, term AS name FROM kafka_p2;

• В этой конфигурации ребалансировка должна управляться вручную.
• По умолчанию Kafka не распределяет сообщения по схеме round-robin.
• Чтобы добиться распределения, похожего на round-robin при отправке данных, убедитесь, что ваш Kafka producer настроен с:
  • parse.key=true
  • key.separator={your_delimiter}

Иначе Kafka будет распределять сообщения по своим внутренним правилам, что может привести к неравномерному разделению по партициям.

Фиксация смещений Kafka происходит после каждой партии или при истечении времени обработки. Если процесс неожиданно остановится во время выполнения запроса материализованного представления, могут появиться дубликаты записей. Чтобы избежать этого, включите в схему поле id, позволяющее Manticore Search предотвращать дублирование в таблице.

• Инициализация работника: После настройки источника и материализованного представления Manticore Search создает выделенного работника для обработки поступления данных из Kafka.
• Отображение сообщений: Сообщения сопоставляются согласно схеме конфигурации источника, преобразуясь в структурированный формат.
• Группировка в партии: Сообщения группируются в партии для эффективной обработки. Размер партии можно настроить в зависимости от ваших требований к производительности и задержкам.
• Буферизация: Партии преобразованных данных сохраняются во вспомогательной таблице буфера для эффективных массовых операций.
• Обработка материализованного представления: К данным во вспомогательной таблице применяется логика представления, выполняются преобразования или фильтрация.
• Передача данных: Обработанные данные затем передаются в конечную таблицу реального времени.
• Очистка: Вспомогательная таблица очищается после каждой партии, чтобы подготовиться к приему следующего набора данных.

ПРИМЕЧАНИЕ: Интеграция с DBeaver требует наличия Manticore Buddy. Если она не работает, убедитесь, что Buddy установлен.

DBeaver — это программное приложение SQL-клиента и инструмент администрирования баз данных. Для баз данных MySQL он использует программный интерфейс JDBC для взаимодействия с ними через JDBC-драйвер.

Manticore позволяет использовать DBeaver для работы с данными, хранящимися в таблицах Manticore, так же, как если бы они хранились в базе данных MySQL. В настоящее время протестирована и рекомендуется версия 25.2.0. Другие версии могут работать, но могут вызывать проблемы.

Чтобы начать работу с Manticore в DBeaver, выполните следующие шаги:

• Выберите опцию New database connection в интерфейсе DBeaver
• Выберите SQL -> MySQL в качестве драйвера базы данных DBeaver
• Установите параметры Server host и Port в соответствии с хостом и портом вашего экземпляра Manticore (оставьте поле database пустым)
• Установите root/<пустой пароль> в качестве учетных данных для аутентификации

Поскольку Manticore не полностью поддерживает MySQL, при работе с Manticore доступна только часть функциональности DBeaver.

Вы сможете:

• Просматривать, создавать, удалять и переименовывать таблицы
• Добавлять и удалять столбцы таблиц
• Вставлять, удалять и обновлять данные столбцов

Вы не сможете:

• Использовать механизмы проверки целостности базы данных (MyISAM будет установлен как единственный доступный механизм хранения)
• Использовать процедуры, триггеры, события MySQL и т.д.
• Управлять пользователями базы данных
• Устанавливать другие параметры администрирования базы данных

Некоторые типы данных MySQL в настоящее время не поддерживаются Manticore и, следовательно, не могут быть использованы при создании новой таблицы с помощью DBeaver. Кроме того, несколько поддерживаемых типов данных преобразуются в наиболее похожие типы Manticore, при этом точность типа игнорируется при таком преобразовании. Ниже приведен список поддерживаемых типов данных MySQL, а также типы Manticore, в которые они преобразуются:

• BIGINT UNSIGNED => bigint
• BOOL => boolean
• DATE, DATETIME, TIMESTAMP => timestamp
• FLOAT => float
• INT => int
• INT UNSIGNED, SMALLINT UNSIGNED, TINYINT UNSIGNED, BIT => uint
• JSON => json
• TEXT, LONGTEXT, MEDIUMTEXT, TINYTEXT, BLOB, LONGBLOB, MEDIUMBLOB, TINYBLOB => text
• VARCHAR, LONG VARCHAR, BINARY, CHAR, VARBINARY, LONG VARBINARY => string

Более подробную информацию о типах данных Manticore вы можете найти здесь.

Manticore способен обрабатывать типы данных DATE, DATETIME и TIMESTAMP, однако для этого требуется, чтобы Buddy Manticore был включен. В противном случае попытка работы с одним из этих типов приведет к ошибке.

Обратите внимание, что тип TIME не поддерживается.

• Опция Preferences -> Connections -> Client identification в DBeaver не должна быть отключена или переопределена. Для корректной работы с DBeaver Manticore необходимо отличать его запросы от других. Для этого он использует информацию об уведомлении клиента, отправляемую DBeaver в заголовках запросов. Отключение уведомления клиента нарушит это обнаружение и, следовательно, корректную функциональность Manticore.

• При попытке обновить данные в вашей таблице в первый раз вы увидите всплывающее сообщение No unique key и вам будет предложено определить пользовательский уникальный ключ. Когда вы получите это сообщение, выполните следующие шаги:

  • Выберите опцию Custom Unique Key
  • Выберите только столбец id в списке столбцов
  • Нажмите Ok

  После этого вы сможете безопасно обновлять свои данные.

ПРИМЕЧАНИЕ: Интеграция с Apache Superset требует Manticore Buddy. Если она не работает, убедитесь, что Buddy установлен.

Apache Superset — это современная платформа для исследования и визуализации данных. Manticore Search может быть интегрирован с Apache Superset, что позволяет пользователям использовать весь потенциал Manticore Search для анализа и визуализации данных.

Примечание: Эта интеграция работает только с веткой Apache Superset 3.x и пока недоступна для версии 4 и новее.

Перед интеграцией Manticore Search с Apache Superset убедитесь, что:

1. Manticore Search (версия 6.2.0 или новее) правильно установлен и настроен на вашем сервере. Обратитесь к официальному руководству по установке Manticore Search для получения помощи.
2. Apache Superset установлен в вашей системе. Следуйте официальному руководству по установке Apache Superset для получения инструкций по установке.

Чтобы подключить Manticore Search к Apache Superset:

1. Войдите в свою панель управления Apache Superset.
2. Нажмите на "+" в верхней панели навигации и выберите «Database Connections» (Подключения к базам данных).
3. Нажмите "+ DATABASE", чтобы добавить новую базу данных.
4. Выберите "MySQL" в качестве типа базы данных.
5. На странице настройки укажите следующие данные:
   • Имя базы данных: имя для базы данных (например, "Manticore")
   • Хост: хост сервера Manticore Search
   • Порт: порт, на котором запущен Manticore Search
   • Имя пользователя: ваше имя пользователя Manticore Search
   • Отображаемое имя: отображаемое имя для подключения
6. Нажмите "Connect" (Подключиться), чтобы проверить соединение и сохранить его.

После подключения Manticore Search к Apache Superset вы можете создавать диаграммы и панели с использованием данных Manticore:

1. В панели управления Apache Superset нажмите «Dashboards» (Панели) в верхней навигационной панели и выберите «New dashboard» (Новая панель).
2. Откройте панель и нажмите на значок "+" для добавления новой диаграммы.
3. Выберите набор данных, подключенный к Manticore Search.
4. Выберите тип диаграммы, которую хотите создать (например, столбчатая диаграмма, линейный график, круговая диаграмма).
5. Используйте конструктор запросов Apache Superset или напишите SQL-запрос для получения данных из вашей базы Manticore Search.
6. Настройте внешний вид диаграммы, подписи и другие параметры по необходимости.
7. Нажмите «UPDATE CHART» (Обновить диаграмму), чтобы обновить диаграмму.
8. Добавьте имя диаграммы и нажмите «Save» (Сохранить), чтобы сохранить её на панели навигации.

При работе с Manticore Search через Apache Superset вы можете:

• Просматривать и выполнять запросы к данным из таблиц Manticore Search
• Создавать различные типы визуализаций на основе ваших данных Manticore
• Строить и настраивать панели с использованием этих визуализаций

Типы данных Manticore Search сопоставляются с типами данных MySQL при работе с Apache Superset. Подробнее о поддерживаемых типах данных и их сопоставлениях смотрите в документации Manticore Search.

• Некоторые расширенные функции MySQL могут быть недоступны при работе с Manticore Search через Apache Superset.
• Некоторые операции манипуляции данными могут быть ограничены по сравнению с работой напрямую с базами данных MySQL.

Следуя этим шагам и рекомендациям, вы сможете эффективно интегрировать Manticore Search с Apache Superset для мощных возможностей исследования и визуализации данных.

Обратитесь к следующим ресурсам для получения дополнительной информации об Apache Superset и Manticore Search:

• Интеграция Apache Superset