ПРИМЕЧАНИЕ: эта функциональность требует Manticore Buddy. Если не работает, убедитесь, что Buddy установлен.

Manticore поддерживает интеграцию с Apache Kafka для потокового приема данных в реальном времени через источники Kafka и материализованные представления, что позволяет индексировать и искать данные в реальном времени. В настоящее время поддерживаются и протестированы версии apache/kafka 3.7.0-4.1.0.

Чтобы начать, необходимо:

1. Определить источник: Указать тему Kafka, из которой Manticore Search будет читать сообщения. Эта настройка включает детали, такие как хост брокера, порт и имя темы.
2. Настроить таблицу назначения: Выбрать таблицу реального времени Manticore для хранения входящих данных из Kafka.
3. Создать материализованное представление: Настроить материализованное представление (mv) для обработки преобразования данных и сопоставления из Kafka в таблицу назначения Manticore Search. Здесь вы определите сопоставления полей, преобразования данных и любые фильтры или условия для входящего потока данных.

CREATE SOURCE <source name> [(column type, ...)] [source_options]

allowed_field_name 'original JSON key name with special symbols' type

price_field '$price' float    -- maps JSON key '$price' to field 'price_field'
field_123 '123field' text     -- maps JSON key '123field' to field 'field_123'

CREATE SOURCE kafka
(id bigint, term text, abbrev '$abbrev' text, GlossDef json)
type='kafka'
broker_list='kafka:9092'
topic_list='my-data'
consumer_group='manticore'
num_consumers='2'
batch=50

Query OK, 2 rows affected (0.02 sec)

CREATE TABLE destination_kafka
(id bigint, name text, short_name text, received_at text, size multi);

Query OK, 0 rows affected (0.02 sec)

CREATE MATERIALIZED VIEW <materialized view name>
TO <destination table name> AS
SELECT [column|function [as <new name>], ...] FROM <source name>

CREATE MATERIALIZED VIEW view_table
TO destination_kafka AS
SELECT id, term as name, abbrev as short_name,
       UTC_TIMESTAMP() as received_at, GlossDef.size as size FROM kafka

Query OK, 2 rows affected (0.02 sec)

Данные передаются из Kafka в Manticore Search партиями, которые очищаются после каждого запуска. Для вычислений по партиям, таких как AVG, будьте осторожны, так как они могут работать не так, как ожидается, из-за обработки по партиям.

Вот таблица сопоставления на основе приведенных выше примеров:

SHOW SOURCES

+-------+
| name  |
+-------+
| kafka |
+-------+

SHOW SOURCE kafka;

+--------+-------------------------------------------------------------------+
| Source | Create Table                                                      |
+--------+-------------------------------------------------------------------+
| kafka  | CREATE SOURCE kafka                                               |
|        | (id bigint, term text, abbrev '$abbrev' text, GlossDef json)      |
|        | type='kafka'                                                      |
|        | broker_list='kafka:9092'                                          |
|        | topic_list='my-data'                                              |
|        | consumer_group='manticore'                                        |
|        | num_consumers='2'                                                 |
|        | batch=50                                                          |
+--------+-------------------------------------------------------------------+

SHOW MVS

+------------+
| name       |
+------------+
| view_table |
+------------+

SHOW MV view_table

+------------+--------------------------------------------------------------------------------------------------------+-----------+
| View       | Create Table                                                                                           | suspended |
+------------+--------------------------------------------------------------------------------------------------------+-----------+
| view_table | CREATE MATERIALIZED VIEW view_table TO destination_kafka AS                                            | 0         |
|            | SELECT id, term as name, abbrev as short_name, UTC_TIMESTAMP() as received_at, GlossDef.size as size   |           |
|            | FROM kafka                                                                                             |           |
+------------+--------------------------------------------------------------------------------------------------------+-----------+

ALTER MATERIALIZED VIEW view_table suspended=1

Query OK (0.02 sec)

Вы также можете указать partition_list для каждой темы Kafka. Одним из основных преимуществ такого подхода является возможность реализовать sharding для вашей таблицы через Kafka. Для этого следует создать отдельную цепочку source → materialized view → destination table для каждого шарда:

Источники:

CREATE SOURCE kafka_p1 (id bigint, term text)
  type='kafka' broker_list='kafka:9092' topic_list='my-data'
  consumer_group='manticore' num_consumers='1' partition_list='0' batch=50;
CREATE SOURCE kafka_p2 (id bigint, term text)
  type='kafka' broker_list='kafka:9092' topic_list='my-data'
  consumer_group='manticore' num_consumers='1' partition_list='1' batch=50;

Таблицы назначения:

CREATE TABLE destination_shard_1 (id bigint, name text);
CREATE TABLE destination_shard_2 (id bigint, name text);

Материализованные представления:

CREATE MATERIALIZED VIEW mv_1 TO destination_shard_1 AS SELECT id, term AS name FROM kafka_p1;
CREATE MATERIALIZED VIEW mv_2 TO destination_shard_2 AS SELECT id, term AS name FROM kafka_p2;

• В этой конфигурации ребалансировка должна управляться вручную.
• По умолчанию Kafka не распределяет сообщения по принципу round-robin.
• Чтобы добиться распределения, похожего на round-robin при отправке данных, убедитесь, что ваш Kafka producer настроен с:
  • parse.key=true
  • key.separator={your_delimiter}

В противном случае Kafka будет распределять сообщения согласно своим внутренним правилам, что может привести к неравномерному распределению по партициям.

Коммиты смещений Kafka происходят после каждой партии или при истечении времени обработки. Если процесс неожиданно остановится во время запроса к материализованному представлению, вы можете увидеть дублирующиеся записи. Чтобы этого избежать, включите поле id в вашу схему, что позволит Manticore Search предотвращать дублирование в таблице.

• Инициализация воркера: После настройки источника и материализованного представления Manticore Search запускает выделенного воркера для обработки данных из Kafka.
• Отображение сообщений: Сообщения сопоставляются согласно схеме конфигурации источника, преобразуясь в структурированный формат.
• Группировка: Сообщения группируются в партии для эффективной обработки. Размер партии можно настроить под ваши требования по производительности и задержке.
• Буферизация: Партии отображенных данных сохраняются в буферной таблице для эффективных пакетных операций.
• Обработка материализованного представления: Логика представления применяется к данным в буферной таблице, выполняя необходимые преобразования или фильтрацию.
• Передача данных: Обработанные данные затем передаются в целевую таблицу реального времени.
• Очистка: Буферная таблица очищается после каждой партии, чтобы быть готовой к следующему набору данных.

ПРИМЕЧАНИЕ: Интеграция с DBeaver требует Manticore Buddy. Если она не работает, убедитесь, что Buddy установлен.

DBeaver — это программное обеспечение-клиент SQL и инструмент администрирования баз данных. Для баз данных MySQL он использует интерфейс программирования приложений JDBC для взаимодействия с ними через JDBC-драйвер.

Manticore позволяет использовать DBeaver для работы с данными, хранящимися в таблицах Manticore, так же, как если бы они хранились в базе данных MySQL. В настоящее время тестируется и рекомендуется версия 25.2.0. Другие версии могут работать, но могут вызвать проблемы.

Чтобы начать работу с Manticore в DBeaver, выполните следующие шаги:

• Выберите опцию New database connection в интерфейсе DBeaver
• Выберите SQL -> MySQL в качестве драйвера базы данных DBeaver
• Установите параметры Server host и Port, соответствующие хосту и порту вашего экземпляра Manticore (поле database оставьте пустым)
• Установите root/<empty password> в качестве учетных данных для аутентификации

Поскольку Manticore не полностью поддерживает MySQL, при работе с Manticore доступна только часть функционала DBeaver.

Вы сможете:

• Просматривать, создавать, удалять и переименовывать таблицы
• Добавлять и удалять столбцы таблиц
• Вставлять, удалять и обновлять данные в столбцах

Вы не сможете:

• Использовать механизмы проверки целостности базы данных (в качестве единственного доступного движка хранения будет установлен MyISAM)
• Использовать процедуры MySQL, триггеры, события и т. д.
• Управлять пользователями базы данных
• Устанавливать другие параметры администрирования базы данных

Некоторые типы данных MySQL в настоящее время не поддерживаются Manticore и, следовательно, не могут использоваться при создании новой таблицы с помощью DBeaver. Также некоторые поддерживаемые типы данных преобразуются в наиболее похожие типы Manticore с игнорированием точности типа при таком преобразовании. Ниже приведен список поддерживаемых типов данных MySQL и соответствующих им типов Manticore:

• BIGINT UNSIGNED => bigint
• BOOL => boolean
• DATE, DATETIME, TIMESTAMP => timestamp
• FLOAT => float
• INT => int
• INT UNSIGNED, SMALLINT UNSIGNED, TINYINT UNSIGNED, BIT => uint
• JSON => json
• TEXT, LONGTEXT, MEDIUMTEXT, TINYTEXT, BLOB, LONGBLOB, MEDIUMBLOB, TINYBLOB => text
• VARCHAR, LONG VARCHAR, BINARY, CHAR, VARBINARY, LONG VARBINARY => string

Более подробную информацию о типах данных Manticore можно найти здесь.

Manticore может обрабатывать типы данных DATE, DATETIME и TIMESTAMP, однако для этого требуется включенный Buddy Manticore. В противном случае попытка работать с одним из этих типов приведет к ошибке.

Обратите внимание, что тип TIME не поддерживается.

• Опция Preferences -> Connections -> Client identification в DBeaver не должна быть отключена или переопределена. Для корректной работы с DBeaver Manticore должен отличать его запросы от других. Для этого он использует информацию об идентификации клиента, отправляемую DBeaver в заголовках запросов. Отключение уведомления клиента нарушит это определение и, следовательно, корректную работу Manticore.

• При первой попытке обновить данные в вашей таблице вы увидите всплывающее сообщение No unique key и вам будет предложено определить пользовательский уникальный ключ. При появлении этого сообщения выполните следующие действия:

  • Выберите опцию Custom Unique Key
  • Выберите только столбец id в списке столбцов
  • Нажмите Ok

  После этого вы сможете безопасно обновлять свои данные.

ПРИМЕЧАНИЕ: Интеграция с Apache Superset требует Manticore Buddy. Если она не работает, убедитесь, что Buddy установлен.

Apache Superset — это современная платформа для исследования и визуализации данных. Manticore Search можно интегрировать с Apache Superset, что позволяет пользователям использовать весь потенциал Manticore Search для анализа и визуализации данных.

Примечание: Эта интеграция работает только с веткой Apache Superset 3.x и пока недоступна для версии 4 и новее.

Перед интеграцией Manticore Search с Apache Superset убедитесь, что:

1. Manticore Search (версия 6.2.0 или новее) правильно установлен и настроен на вашем сервере. Обратитесь к официальному руководству по установке Manticore Search для получения помощи.
2. Apache Superset установлен в вашей системе. Следуйте официальному руководству по установке Apache Superset для инструкций по установке.

Чтобы подключить Manticore Search к Apache Superset:

1. Войдите в панель управления Apache Superset.
2. Нажмите на "+" в верхней навигационной панели и выберите "Database Connections".
3. Нажмите "+ DATABASE", чтобы добавить новую базу данных.
4. Выберите "MySQL" в качестве типа базы данных.
5. На странице конфигурации укажите следующие данные:
   • Database Name: имя базы данных (например, "Manticore")
   • Host: хост вашего сервера Manticore Search
   • Port: порт, на котором работает Manticore Search
   • Username: имя пользователя Manticore Search
   • Display Name: отображаемое имя для подключения
6. Нажмите "Connect", чтобы проверить подключение и сохранить его.

После подключения Manticore Search к Apache Superset вы можете создавать диаграммы и панели мониторинга с использованием данных Manticore:

1. В панели управления Apache Superset нажмите "Dashboards" в верхней навигационной панели и выберите "New dashboard".
2. Откройте панель и нажмите на значок "+" для добавления новой диаграммы.
3. Выберите набор данных, подключенный к Manticore Search.
4. Выберите тип диаграммы, которую хотите создать (например, столбчатая диаграмма, линейная диаграмма, круговая диаграмма).
5. Используйте конструктор запросов Apache Superset или напишите SQL-запрос для получения данных из вашей базы данных Manticore Search.
6. Настройте внешний вид диаграммы, подписи и другие параметры по необходимости.
7. Нажмите "UPDATE CHART", чтобы обновить диаграмму.
8. Добавьте имя диаграммы и нажмите "Save", чтобы сохранить её в панели мониторинга.

При работе с Manticore Search через Apache Superset вы можете:

• Просматривать и выполнять запросы к данным из таблиц Manticore Search
• Создавать различные типы визуализаций на основе данных Manticore
• Строить и настраивать панели мониторинга с использованием этих визуализаций

Типы данных Manticore Search сопоставляются с типами данных MySQL при работе с Apache Superset. Обратитесь к документации Manticore Search для получения подробной информации о поддерживаемых типах данных и их сопоставлениях.

• Некоторые расширенные функции MySQL могут быть недоступны при работе с Manticore Search через Apache Superset.
• Некоторые операции с данными могут быть ограничены по сравнению с работой напрямую с базами данных MySQL.

Следуя этим шагам и рекомендациям, вы сможете эффективно интегрировать Manticore Search с Apache Superset для мощных возможностей исследования и визуализации данных.

Пожалуйста, обратитесь к следующим ресурсам для получения дополнительной информации об Apache Superset и Manticore Search:

• Интеграция Apache Superset