Manticore Search 允许使用专用驱动程序或 ODBC 从数据库中获取数据。当前的驱动程序包括：

• mysql - 用于 MySQL/MariaDB/Percona MySQL 数据库
• pgsql - 用于 PostgreSQL 数据库
• mssql - 用于 Microsoft SQL 数据库
• odbc - 用于任何接受 ODBC 连接的数据库

要从数据库中获取数据，必须配置一个类型为上述之一的源。该源需要包含如何连接数据库的信息以及用于获取数据的查询。还可以设置额外的预查询和后查询——用于配置会话设置或执行获取前/后的任务。源还必须包含所获取列的数据类型定义。

源定义必须包含连接设置，这包括主机、端口、用户凭据或驱动程序的特定设置。

要连接的数据库服务器主机。注意 MySQL 客户端库会根据主机名选择是通过 TCP/IP 还是通过 UNIX 套接字进行连接。具体来说，“localhost”将强制使用 UNIX 套接字（这是默认且通常推荐的方式），而“127.0.0.1”将强制使用 TCP/IP。

要连接的服务器 IP 端口号。 对于 mysql，默认值为 3306，而对于 pgsql，默认值为 5432。

在建立连接后使用的 SQL 数据库，并在此数据库内执行进一步查询。

用于连接的用户名。

连接时使用的用户密码。如果密码包含 #（可以在配置文件中用它来添加注释），可以使用 \ 进行转义。

要连接的本地数据库服务器的 UNIX 套接字名称。请注意，是否使用此值取决于 sql_host 设置。

sql_sock = /var/lib/mysql/mysql.sock

MySQL 客户端连接标志。可选，默认值为 0（不设置任何标志）。

此选项必须包含一个整数值，该值为标志的总和。该值将原封不动地传递给 mysql_real_connect()。这些标志在 mysql_com.h 包含文件中枚举。特别感兴趣的与索引相关的标志及其相应的值如下：

• CLIENT_COMPRESS = 32；可以使用压缩协议
• CLIENT_SSL = 2048；握手后切换到 SSL
• CLIENT_SECURE_CONNECTION = 32768；新的 4.1 认证 例如，您可以指定 2080（2048 + 32）以同时使用压缩和 SSL，或者指定 32768 仅使用新认证。最初引入此选项是为了能够在不同的主机上使用压缩协议。在 1 Gbps 链路上，尽管压缩减少了网络流量，但实际测试表明，启用压缩可能会显著增加索引时间（报告的总索引时间改进幅度可达 20-30%）。您的体验可能有所不同。

mysql_connect_flags = 32 # enable compression

• mysql_ssl_cert - SSL 证书路径
• mysql_ssl_key - SSL 密钥文件路径
• mysql_ssl_ca - CA 证书路径

unpack_mysqlcompress_maxsize = 1M

要使用 MySQL UNCOMPRESS() 算法解压的列。多值，可选，默认值为空列表。

使用此指令指定的列将由索引器使用 MySQL COMPRESS() 和 UNCOMPRESS() 函数使用的修改过的 zlib 算法进行解压。当在数据库之外进行索引时，这可以让您卸载数据库并节省网络流量。此功能仅在编译时 zlib 和 zlib-devel 都可用时才可用。

unpack_mysqlcompress = body_compressed
unpack_mysqlcompress = description_compressed

默认情况下，用于解压数据的缓冲区大小为 16M。可以通过设置 unpack_mysqlcompress_maxsize 来更改此大小。

使用 unpack_mysqlcompress 时，由于实现细节的原因，无法从压缩数据中推断出所需的缓冲区大小。因此，缓冲区必须提前分配，解压后的数据不能超过缓冲区大小。

unpack_zlib = col1
unpack_zlib = col2

要使用 zlib（又称 deflate 或 gunzip）解压的列。多值，可选，默认值为空列表。仅适用于 mysql 和 pgsql 类型的源。

使用此指令指定的列将由 indexer 使用标准 zlib 算法（称为 deflate 并且也由 gunzip 实现）进行解压。当在数据库之外进行索引时，这可以让您卸载数据库并节省网络流量。此功能仅在编译时 zlib 和 zlib-devel 都可用时才可用。

MS SQL Windows 认证标志。连接到 MS SQL Server 时是否使用当前登录的 Windows 账户凭据进行身份验证。

mssql_winauth = 1

使用 ODBC 的源需要设置 DSN（数据源名称）字符串，可以通过 odbc_dsn 设置。

odbc_dsn = Driver={Oracle ODBC Driver};Dbq=myDBName;Uid=myUsername;Pwd=myPassword

请注意，格式取决于所使用的具体 ODBC 驱动程序。

使用所有 SQL 驱动程序，构建一个普通表通常按以下方式进行。

• 建立与数据库的连接。
• 执行 sql_query_pre_all 查询以进行任何必要的初始设置，例如使用 MySQL 设置每个连接的编码。这些查询在整个索引过程之前执行，也在重新连接后执行，以索引 MVA 属性和联接字段。
• 执行 sql_query_pre 预查询以进行任何必要的初始设置，例如设置临时表或维护计数器表。这些查询在整个索引过程只执行一次。
• 执行 sql_query_pre 的预查询以进行任何必要的初始设置，例如设置临时 表，或维护计数器表。这些查询在整个索引过程中只执行一次。
• 执行主查询 sql_query，并处理它返回的行。
• 执行后查询 sql_query_post 以进行必要的清理。
• 关闭与数据库的连接。
• 索引器执行排序阶段（严格来说，是表类型特定的后处理）。
• 再次建立与数据库的连接。
• 执行后处理查询 sql_query_post_index 以进行必要的最终清理。
• 再次关闭与数据库的连接。

从 MYSQL 获取数据的示例：

source mysource {
  type             = mysql
  path             = /path/to/realtime
  sql_host         = localhost
  sql_user         = myuser
  sql_pass         = mypass
  sql_db           = mydb
  sql_query_pre    = SET CHARACTER_SET_RESULTS=utf8
  sql_query_pre    = SET NAMES utf8
  sql_query        =  SELECT id, title, description, category_id  FROM mytable
  sql_query_post   = DROP TABLE view_table
  sql_query_post_index = REPLACE INTO counters ( id, val ) \
    VALUES ( 'max_indexed_id', $maxid )
  sql_attr_uint    = category_id
  sql_field_string = title
 }
table mytable {
  type   = plain
  source = mysource
  path   = /path/to/mytable
  ...
 }

这是用于从 SQL 服务器检索文档的查询。只能声明一个 sql_query，且必须有一个。另见 Processing fetched data

预取查询或预查询。这是一个多值的可选设置，默认是一个空的查询列表。预查询在 sql_query 之前按其在配置文件中的顺序执行。预查询的结果会被忽略。

预查询用途多样。它们可用于设置编码、标记将要被索引的记录、更新内部计数器、设置各种每连接的 SQL 服务器选项和变量，等等。

预查询最常见的用途可能是指定服务器返回行所用的编码。注意 Manticore 只接受 UTF-8 文本。设定编码的两个 MySQL 特定示例如下：

sql_query_pre = SET CHARACTER_SET_RESULTS=utf8
sql_query_pre = SET NAMES utf8

此外，特定于 MySQL 源，禁用查询缓存（仅限索引器连接）在预查询中很有用，因为索引查询不会频繁重跑，缓存它们的结果没有意义。 这可以通过以下方式实现：

sql_query_pre = SET SESSION query_cache_type=OFF

后取查询。此为可选设置，默认值为空。

此查询在 sql_query 成功完成后立即执行。后取查询如果出现错误，会以警告方式报告，但不会终止索引。它的结果集会被忽略。注意此时索引尚未完成，后续索引仍可能失败。因此，不应从这里执行任何永久更新。例如，永久改变最后成功索引 ID 的辅助表更新，不应从 sql_query_post 查询运行，而应从 sql_query_post_index 查询运行。

后处理查询。此为可选设置，默认值为空。

此查询在索引完全且成功完成时执行。如果此查询出现错误，会以警告方式报告，但不会终止索引。它的结果集会被忽略。文本中可以使用 $maxid 宏；它将被展开为索引期间实际从数据库获取的最大文档 ID。如果没有索引任何文档，$maxid 将被展开为 0。

示例：

sql_query_post_index = REPLACE INTO counters ( id, val ) \
    VALUES ( 'max_indexed_id', $maxid )

sql_query_post 和 sql_query_post_index 的区别在于，sql_query_post 在 Manticore 接收到所有文档时立即运行，但后续索引可能因其他原因失败。相反，在执行 sql_query_post_index 查询时，表已确保成功创建。数据库连接会断开重建，因为排序阶段可能非常长，否则会超时。