注意：与 Logstash 的集成需要 Manticore Buddy。如果无法正常工作，请确保已安装 Buddy。

Logstash 是一个日志管理工具，可以收集来自多种来源的数据，实时转换并发送到您期望的目标。它通常用作 Elasticsearch 的数据管道，Elasticsearch 是一个开源的分析和搜索引擎。

现在，Manticore 支持使用 Logstash 作为处理管道。这允许收集和转换后的数据像发送到 Elasticsearch 一样发送到 Manticore。目前支持的版本为 7.6-9.3。

让我们查看一个用于索引 dpkg.log 的简单 Logstash 配置文件示例，dpkg.log 是 Debian 包管理器的标准日志文件。该日志本身结构简单，如下所示：

2023-05-31 10:42:55 status triggers-awaited ca-certificates-java:all 20190405ubuntu1.1
2023-05-31 10:42:55 trigproc libc-bin:amd64 2.31-0ubuntu9.9 <none>
2023-05-31 10:42:55 status half-configured libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 status installed libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 trigproc systemd:amd64 245.4-4ubuntu3.21 <none>

以下是一个 Logstash 配置示例：

input {
  file {
    path => ["/var/log/dpkg.log"]
    start_position => "beginning"
    sincedb_path => "/dev/null"
    mode => "read"
    exit_after_read => "true"
   file_completed_action => "log"
   file_completed_log_path => "/dev/null"
  }
}
output {
  elasticsearch {
   index => " dpkg_log"
   hosts => ["http://localhost:9308"]
   ilm_enabled => false
   manage_template => false
  }
}

请注意，在继续之前，需要解决一个关键的注意事项：Manticore 不支持 Elasticsearch 的日志模板管理和索引生命周期管理功能。由于这些功能在 Logstash 中默认启用，因此必须在配置中显式禁用它们。此外，输出配置部分的 hosts 选项必须对应 Manticore 的 HTTP 监听端口（默认是 localhost:9308）。

配置因所使用的 Logstash 版本而异。

对于 Logstash 7.17，基本配置比较简单，不需要额外的 ILM 设置：

input {
  file {
    path => ["/var/log/dpkg.log"]
    start_position => "beginning"
    sincedb_path => "/dev/null"
    mode => "read"
    exit_after_read => "true"
    file_completed_action => "log"
    file_completed_log_path => "/dev/null"
  }
}
output {
  elasticsearch {
    index => "dpkg_log"
    hosts => ["http://localhost:9308"]
  }
}

运行命令：

logstash -f logstash.conf

从 8.0 版本开始，ILM（索引生命周期管理）和模板管理默认启用，必须显式禁用以兼容 Manticore：

input {
  file {
    path => ["/var/log/dpkg.log"]
    start_position => "beginning"
    sincedb_path => "/dev/null"
    mode => "read"
    exit_after_read => "true"
    file_completed_action => "log"
    file_completed_log_path => "/dev/null"
  }
}
output {
  elasticsearch {
    index => "dpkg_log"
    hosts => ["http://localhost:9308"]
    ilm_enabled => false
    manage_template => false
  }
}

对于 9.0 和 9.1 版本，Logstash 需要以超级用户身份运行。在启动前设置环境变量：

export ALLOW_SUPERUSER=1
logstash -f logstash.conf

自 9.2 版本起，建议通过配置文件而非环境变量来配置超级用户设置，这提供了更持久且易于管理的解决方案。

配置文件（例如 logstash.conf）：

input {
  file {
    path => ["/var/log/dpkg.log"]
    start_position => "beginning"
    sincedb_path => "/dev/null"
    mode => "read"
    exit_after_read => "true"
    file_completed_action => "log"
    file_completed_log_path => "/dev/null"
  }
}
output {
  elasticsearch {
    index => "dpkg_log"
    hosts => ["http://localhost:9308"]
    ilm_enabled => false
    manage_template => false
  }
}

创建 /etc/logstash/logstash.yml：

allow_superuser: true

运行命令：

logstash --path.settings=/etc/logstash -f logstash.conf

按上述方法调整配置后，您可以运行 Logstash，dpkg 日志中的数据将传递到 Manticore 并被正确索引。

以下是创建的表的最终架构和插入文档的示例：

mysql> DESCRIBE dpkg_log;
+------------------+--------+---------------------+
| Field            | Type   | Properties          |
+------------------+--------+---------------------+
| id               | bigint |                     |
| message          | text   | indexed stored      |
| @version         | text   | indexed stored      |
| @timestamp       | text   | indexed stored      |
| path             | text   | indexed stored      |
| host             | text   | indexed stored      |
+------------------+--------+---------------------+

mysql> SELECT * FROM dpkg_log LIMIT 1\G
*************************** 1. row ***************************
id: 7280000849080746110
host: logstash-db848f65f-lnlf9
message: 2023-04-12 02:03:21 status unpacked libc-bin:amd64 2.31-0ubuntu9
path: /var/log/dpkg.log
@timestamp: 2023-06-16T09:23:57.405Z
@version: 1

NOTE: 与Filebeat的集成需要Manticore Buddy。如果不起作用，请确保已安装Buddy。

Filebeat 是一个轻量级的转发器，用于转发和集中日志数据。安装并作为代理运行后，它会监控您指定的日志文件或位置，收集日志事件，并将它们转发进行索引，通常到Elasticsearch或Logstash。

现在，Manticore 也支持使用 Filebeat 作为处理管道。这允许收集和转换后的数据像发送到 Elasticsearch 一样发送到 Manticore。目前支持的版本为 7.17-9.3。

配置取决于您使用的Filebeat版本。

重要: Filebeat版本7.17.0, 8.0.0和8.1.0与glibc 2.35+（用于Ubuntu 22.04及更高版本的发行版）存在已知问题。这些版本可能会因“致命glibc错误：rseq注册失败”而崩溃。要修复此问题，请按以下所示添加seccomp配置。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/dpkg.log
  close_eof: true
  scan_frequency: 1s
output.elasticsearch:
  hosts: ["http://localhost:9308"]
  index: "dpkg_log"
  compression_level: 0
  allow_older_versions: true  # Required for 8.1
# Fix for glibc 2.35+ compatibility (Ubuntu 22.04+)
seccomp:
  default_action: allow
  syscalls:
    - action: allow
      names:
        - rseq
setup.ilm.enabled: false
setup.template.enabled: false
setup.template.name: "dpkg_log"
setup.template.pattern: "dpkg_log"

参考: Issue #30576，PR #30620

对于版本8.1到8.10，您需要添加allow_older_versions选项：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/dpkg.log
  close_eof: true
  scan_frequency: 1s
output.elasticsearch:
  hosts: ["http://localhost:9308"]
  index: "dpkg_log"
  compression_level: 0
  allow_older_versions: true
setup.ilm.enabled: false
setup.template.enabled: false
setup.template.name: "dpkg_log"
setup.template.pattern: "dpkg_log"

从版本8.11开始，输出压缩默认启用，因此您必须显式设置compression_level: 0以与Manticore兼容：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/dpkg.log
  close_eof: true
  scan_frequency: 1s
output.elasticsearch:
  hosts: ["http://localhost:9308"]
  index: "dpkg_log"
  compression_level: 0
  allow_older_versions: true
setup.ilm.enabled: false
setup.template.enabled: false
setup.template.name: "dpkg_log"
setup.template.pattern: "dpkg_log"

Filebeat 9.0引入了主要的架构更改，用filestream替换log输入类型。从版本9.0开始，文件识别方法也已更改，使用指纹法，这需要文件至少为1024字节（请参阅issue #44780）。为了与任何大小的文件兼容，您必须禁用指纹识别。

以下是Filebeat 9.0及更高版本所需的配置：

filebeat.inputs:
- type: filestream
  id: dpkg-log-input
  enabled: true
  paths:
    - /var/log/dpkg.log
  prospector.scanner.check_interval: 1s
  prospector.scanner.fingerprint.enabled: false
output.elasticsearch:
  hosts: ["http://localhost:9308"]
  index: "dpkg_log"
  compression_level: 0
  allow_older_versions: true
setup.ilm.enabled: false
setup.template.enabled: false
setup.template.name: "dpkg_log"
setup.template.pattern: "dpkg_log"

Filebeat 9.0+的重要注意事项:

• type: filestream输入替换旧的type: log
• prospector.scanner.fingerprint.enabled: false设置是必需的，以禁用基于指纹的文件识别，确保可靠处理小于1024字节的文件
• id字段是filestream输入所需的，并且必须是唯一的

一旦使用此配置运行Filebeat，日志数据将发送到Manticore并正确索引。以下是Manticore创建的表的结构示例以及插入的文档示例：

mysql> DESCRIBE dpkg_log;
+------------------+--------+--------------------+
| Field            | Type   | Properties         |
+------------------+--------+--------------------+
| id               | bigint |                    |
| @timestamp       | text   | indexed stored     |
| message          | text   | indexed stored     |
| log              | json   |                    |
| input            | json   |                    |
| ecs              | json   |                    |
| host             | json   |                    |
| agent            | json   |                    |
+------------------+--------+--------------------+

mysql> SELECT * FROM dpkg_log LIMIT 1\G
*************************** 1. row ***************************
id: 7280000849080753116
@timestamp: 2023-06-16T09:27:38.792Z
message: 2023-04-12 02:06:08 status half-installed libhogweed5:amd64 3.5.1+really3.5.1-2
input: {"type":"filestream"}
ecs: {"version":"1.6.0"}
host: {"name":"logstash-db848f65f-lnlf9"}
agent: {"ephemeral_id":"587c2ebc-e7e2-4e27-b772-19c611115996","id":"2e3d985b-3610-4b8b-aa3b-2e45804edd2c","name":"logstash-db848f65f-lnlf9","type":"filebeat","version":"7.10.0","hostname":"logstash-db848f65f-lnlf9"}
log: {"offset":80,"file":{"path":"/var/log/dpkg.log"}}

注意：与 Fluent Bit 的集成需要 Manticore Buddy。如果不起作用，请确保已安装 Buddy。

Fluent Bit 是一个开源的跨平台日志处理器，可以从许多来源聚合数据并将其发送到多个目的地。你可以将 Fluent Bit 的输出直接输入 Manticore，使收集的数据能够实时搜索。

以下操作指南演示了如何使用 Fluent Bit 和 Manticore 对 Debian 的 dpkg.log 进行索引。

2023-05-31 10:42:55 status triggers-awaited ca-certificates-java:all 20190405ubuntu1.1
2023-05-31 10:42:55 trigproc libc-bin:amd64 2.31-0ubuntu9.9 <none>
2023-05-31 10:42:55 status half-configured libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 status installed libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 trigproc systemd:amd64 245.4-4ubuntu3.21 <none>

创建一个配置文件，例如 fluent-bit.conf：

[SERVICE]
    flush        1
    daemon       On
    log_level    info
[INPUT]
    name tail
    path /var/log/dpkg.log
    inotify_watcher false
    read_from_head true
[OUTPUT]
    name es
    match *
    host 127.0.0.1
    port 9308
    index dpkg_log

• [SERVICE] 块以守护进程模式启动 Fluent Bit，这对于基于 Docker 的设置非常方便。如果你想在前台运行，请禁用守护进程标志。
• inotify_watcher 已关闭，以避免容器内部的文件通知限制。
• 输出插件 (name es) 可以通过端口 9308 与 Manticore 的 HTTP 端点通信。
• index 定义了当第一批数据到达时 Manticore 自动创建的表名。

使用此配置运行 Fluent Bit，它将跟踪 dpkg.log，然后将每一行转发到 Manticore。

将配置保存为 fluent-bit.conf，然后启动 Fluent Bit：

fluent-bit -c fluent-bit.conf

要在 Docker 中运行，请挂载日志文件（只读）和配置：

docker run --rm -v /var/log/dpkg.log:/var/log/dpkg.log:ro \
  -v $(pwd)/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf:ro \
  fluent/fluent-bit:latest -c /fluent-bit/etc/fluent-bit.conf

数据摄入开始后，Manticore 会自动创建 dpkg_log 表。以下是表定义和示例数据：

mysql> DESCRIBE dpkg_log;
+-------------+--------+----------------+
| Field       | Type   | Properties     |
+-------------+--------+----------------+
| id          | bigint |                |
| @timestamp  | text   | indexed stored |
| log         | text   | indexed stored |
+-------------+--------+----------------+
mysql> SELECT * FROM dpkg_log LIMIT 3\G
*************************** 1. row ***************************
id: 7856533729353662465
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 startup archives install
*************************** 2. row ***************************
id: 7856533729353662466
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 install base-passwd:amd64 <none> 3.5.47
*************************** 3. row ***************************
id: 7856533729353662467
@timestamp: 2023-08-04T15:09:21.191Z
log: 2023-06-05 14:03:04 status half-installed base-passwd:amd64 3.5.47

通过这个轻量级的管道，Fluent Bit 处理日志收集和传输，而 Manticore 对事件进行索引以实现快速搜索和分析。这种方法同样适用于其他日志源——只需添加更多输入并重用指向你 Manticore 集群的相同 Elasticsearch 兼容输出。

注意：与 Fluent Bit 的集成需要 Manticore Buddy。如果无法正常工作，请确保已安装 Buddy。

Vector by Datadog 是一个开源的可观测性数据管道，可以收集、转换和路由日志或指标。虽然 Vector 可以自行聚合数据，但将其与 Manticore 配合使用可提供专用的存储和搜索层。

以下示例展示了如何通过 Vector.dev 转发 Debian 的 dpkg.log，并将其索引到 Manticore 中。

2023-05-31 10:42:55 status triggers-awaited ca-certificates-java:all 20190405ubuntu1.1
2023-05-31 10:42:55 trigproc libc-bin:amd64 2.31-0ubuntu9.9 <none>
2023-05-31 10:42:55 status half-configured libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 status installed libc-bin:amd64 2.31-0ubuntu9.9
2023-05-31 10:42:55 trigproc systemd:amd64 245.4-4ubuntu3.21 <none>

创建一个类似于以下内容的 vector.toml：

[sources.test_file]
type = "file"
include = [ "/var/log/dpkg.log" ]
[transforms.modify_test_file]
type = "remap"
inputs = [ "test_file" ]
source = """
.vec_timestamp = del(.timestamp)"""
[sinks.manticore]
type = "elasticsearch"
inputs = [ "modify_test_file" ]
endpoints = ["http://127.0.0.1:9308"]
bulk.index = "dpkg_log"

• endpoints 指向 Manticore 的 HTTP 接口（默认端口为 9308）。如果您的实例在其他位置监听，请进行调整。
• remap 转换将 Vector 的默认 timestamp 字段移动到 vec_timestamp，因为 timestamp 在 Manticore 中是保留字段。
• bulk.index 定义了当 Vector 开始发送数据时将自动创建的表。

使用此配置启动 Vector.dev，它将跟踪日志文件，转换每个事件，并直接将其转发到 Manticore。

将配置保存为 vector.toml，然后启动代理：

vector --config vector.toml

如果在 Docker 中运行 Vector.dev，请挂载配置文件和日志目录，例如：

docker run --rm -v /var/log/dpkg.log:/var/log/dpkg.log:ro \
  -v $(pwd)/vector.toml:/etc/vector/vector.toml:ro \
  timberio/vector:latest --config /etc/vector/vector.toml

当管道运行时，Manticore 会自动创建 dpkg_log 表。其模式和示例文档如下所示：

mysql> DESCRIBE dpkg_log;
+-----------------+---------+--------------------+
| Field           | Type    | Properties         |
+-----------------+---------+--------------------+
| id              | bigint  |                    |
| file            | text    | indexed stored     |
| host            | text    | indexed stored     |
| message         | text    | indexed stored     |
| source_type     | text    | indexed stored     |
| vec_timestamp   | text    | indexed stored     |
+-----------------+---------+--------------------+
mysql> SELECT * FROM dpkg_log LIMIT 3\G
*************************** 1. row ***************************
id: 7856533729353672195
file: /var/log/dpkg.log
host: logstash-787f68f6f-nhdd2
message: 2023-06-05 14:03:04 startup archives install
source_type: file
vec_timestamp: 2023-08-04T15:32:50.203091741Z
*************************** 2. row ***************************
id: 7856533729353672196
file: /var/log/dpkg.log
host: logstash-787f68f6f-nhdd2
message: 2023-06-05 14:03:04 install base-passwd:amd64 <none> 3.5.47
source_type: file
vec_timestamp: 2023-08-04T15:32:50.203808861Z
*************************** 3. row ***************************
id: 7856533729353672197
file: /var/log/dpkg.log
host: logstash-787f68f6f-nhdd2
message: 2023-06-05 14:03:04 status half-installed base-passwd:amd64 3.5.47
source_type: file
vec_timestamp: 2023-08-04T15:32:50.203814031Z

将 Vector.dev 与 Manticore 结合使用，您可以从几乎所有来源收集日志，在传输过程中丰富或清理日志，并将结果存储在可搜索的数据库中。此工作流程在保持可观测性管道简单的同时，仍可在需要时启用高级转换。