RELOAD PLUGINS FROM SONAME 'plugin_library'

从给定库重新加载所有插件（UDF、排序器等）。从某种意义上说，重新加载过程是事务性的，确保：

1. 所有插件都成功更新到新版本；
2. 更新是原子的，意味着所有插件同时被替换。该原子性确保使用重新加载库中多个函数的查询不会混用旧版本和新版本。

在 RELOAD 期间，插件集保证是一致的；它们要么全部是旧的，要么全部是新的。

重新加载过程也是无缝的，因为某个版本的重新加载插件将始终可用于并发查询，无任何临时中断。这比使用 DROP 和 CREATE 语句对重加载的改进要好。使用那些语句时，在 DROP 和随后的 CREATE 之间有一个短暂窗口期，在此期间查询在技术上引用一个未知插件，因此会失败。

如果有任何失败，RELOAD PLUGINS 不执行任何操作，保留旧插件，并报告错误。

在 Windows 上，覆盖或删除当前正在使用的 DLL 库可能会有问题。然而，你仍然可以重命名它，将新版本置于旧名称下，然后 RELOAD 将起作用。成功重新加载后，你也可以删除重命名的旧库。

mysql> RELOAD PLUGINS FROM SONAME 'udfexample.dll';
Query OK, 0 rows affected (0.00 sec)

排序插件允许您实现一个自定义排序器，该排序器接收文档中匹配的所有关键词的出现情况，并计算一个 WEIGHT() 值。它们可以按照以下方式调用：

SELECT id, attr1 FROM test WHERE match('hello') OPTION ranker=myranker('option1=1');

调用流程如下：

1. XXX_init() 在每次查询每次表时仅调用一次，在最开始时被调用。通过一个 SPH_RANKER_INIT 结构传递一些查询范围内的选项，包括用户选项字符串（例如，上面示例中的 "option1=1"）。
2. XXX_update() 对于每个匹配的文档，被多次调用，每次调用都提供一个匹配关键词的出现情况，一个 SPH_RANKER_HIT 结构。每个文档内的出现情况保证按照 hit->hit_pos 值的升序传递。
3. XXX_finalize() 在没有更多关键词出现情况时，对每个匹配的文档调用一次，必须返回 WEIGHT() 值。这是唯一必须实现的函数。
4. XXX_deinit() 在每次查询结束时调用一次。

令牌过滤器插件允许您实现根据自定义规则创建令牌的自定义分词器。有两种类型：

• 由表设置中的 index_token_filter 声明的索引时分词器
• 由 token_filter OPTION 指令声明的查询时分词器

在文本处理管道中，令牌过滤器将在基本分词器处理完成后运行（基本分词器处理来自字段或查询的文本并生成令牌）。

索引时分词器由 indexer 在将源数据索引到表中时创建，或者由 RT 表在处理 INSERT 或 REPLACE 语句时创建。

插件声明格式为 library name:plugin name:optional string of settings。插件的初始化函数可接受任意设置，这些设置可以以 option1=value1;option2=value2;.. 的字符串格式传递。

示例：

index_token_filter = my_lib.so:email_process:field=email;split=.io

索引时令牌过滤器的调用工作流程如下：

1. XXX_init() 在 indexer 创建令牌过滤器并传入空字段列表后，以及在 indexer 获取表结构及实际字段列表后被调用。它必须返回零表示初始化成功，否则返回错误描述。
2. XXX_begin_document 只在 RT 表的 INSERT/REPLACE 每个文档时调用。它必须返回零表示调用成功，否则返回错误描述。通过 OPTION token_filter_options，可以向该函数传递额外参数/设置。

   INSERT INTO rt (id, title) VALUES (1, 'some text corp@space.io') OPTION token_filter_options='.io'

3. XXX_begin_field 在处理字段的基本分词器之前对每个字段调用一次，参数为字段编号。
4. XXX_push_token 对基本分词器生成的每个新令牌调用一次，参数为源令牌。它必须返回令牌、由令牌过滤器产生的额外令牌数量及该令牌的位置偏移。
5. XXX_get_extra_token 如果 XXX_push_token 指出存在额外令牌，则多次调用。它必须返回额外令牌及其位置偏移。
6. XXX_end_field 在当前字段的源令牌处理完成后调用一次。
7. XXX_deinit 在索引结束时调用。

必须定义以下函数：XXX_begin_document、XXX_push_token 和 XXX_get_extra_token。

查询时分词器在每次全文搜索调用时，对所涉及的每个表都会创建。

查询时令牌过滤器的调用工作流程如下：

1. XXX_init() 在解析查询之前对每个表调用一次，参数为最大令牌长度和通过 token_filter 选项设置的字符串

   SELECT * FROM index WHERE MATCH ('test') OPTION token_filter='my_lib.so:query_email_process:io'

   它必须返回零表示初始化成功，否则返回错误描述。

2. XXX_push_token() 对基本分词器生成的每个令牌调用一次，参数包括基本分词器生成的令牌、源查询字符串中的原始令牌指针和原始令牌长度。它必须返回令牌及其位置偏移。
3. XXX_pre_morph() 在令牌传递给形态学处理器前调用一次，参数为令牌引用和停用词标志。该函数可能会设置停用词标志，将该令牌标记为停用词。
4. XXX_post_morph() 在令牌经过形态学处理器处理后调用一次，参数为令牌引用和停用词标志。该函数可能会设置停用词标志，将该令牌标记为停用词。它必须返回一个标志，非零表示使用形态学处理前的令牌。
5. XXX_deinit() 在查询处理结束时调用。

缺少这些函数是允许的。

indextool 是一个有用的工具，用于提取物理表的各种信息，不包括 template 或 distributed 表。以下是使用 indextool 的通用语法：

indextool <command> [options]

这些选项适用于所有命令：

• --config <file>（简写为 -c <file>）允许覆盖默认的配置文件名。
• --quiet（简写为 -q）抑制 indextool 的横幅输出等信息。
• --help（简写为 -h）显示你的 indextool 特定构建版本中可用的所有参数。
• -v 显示你的 indextool 特定构建版本的版本信息。

以下是可用的命令：

• --checkconfig 加载并验证配置文件，检查其有效性及语法错误。
• --buildidf DICTFILE1 [DICTFILE2 ...] --out IDFILE 从一个或多个字典转储文件（参见 --dumpdict）构建 IDF 文件。额外参数 --skip-uniq 会省略唯一词（df=1）。
• --build-infixes TABLENAME 为已存在的 dict=keywords 表生成中缀（原地更新 .sph, .spi 文件）。适用于已使用 dict=keywords 的传统表文件，但现在需要支持中缀搜索；使用 indextool 更新表文件可能比用 indexer 重新创建更简单或更快。
• --dumpheader FILENAME.sph 立即转储指定的表头文件，而不会干扰任何其他表文件或配置文件。报告详细显示所有表设置，尤其是完整的属性和字段列表。
• --dumpconfig FILENAME.sph 以几乎符合 manticore.conf 文件格式的格式，提取指定表头文件的表定义。
• --dumpheader TABLENAME 按表名转储表头，同时在配置文件中查找表头路径。
• --dumpdict TABLENAME 转储字典。额外的 -stats 开关会向字典转储中添加文档总数。这对于用于 IDF 文件创建的字典文件是必需的。
• --dumpdocids TABLENAME 按表名转储文档 ID。
• --dumphitlist TABLENAME KEYWORD 转储指定表中某关键词的所有实例（出现次数），关键词以文本定义。
• --dumphitlist TABLENAME --wordid ID 转储指定表中某关键词的所有实例（出现次数），关键词以内部数字 ID 表示。
• --dumpkilllist TABLENAME 转储指定表的 kill list 内容，包括目标和标记。也可用作 --dumpkilllist FILENAME.spk。
• --docextract TBL DOCID 执行整个字典/文档/命中标准表检查，收集请求文档相关的所有词和命中，然后将所有词按字段和位置排序，最终按字段分组打印结果。
• --fold TABLENAME OPTFILE 该选项帮助理解分词器如何处理输入。你可以向 indextool 提供来自指定文件的文本（若指定）或默认从 stdin 读取。输出将根据 charset_table 设置，将分隔符替换为空格，并将单词中字母转换为小写。
• --htmlstrip TABLENAME 使用指定表的 HTML 去除设置过滤 stdin，并将结果输出到 stdout。注意设置将从 manticore.conf 中获取，而非表头。
• --mergeidf NODE1.idf [NODE2.idf ...] --out GLOBAL.idf 将多个 .idf 文件合并成一个。额外参数 --skip-uniq 会忽略唯一词（df=1）。
• --morph TABLENAME 对给定的 stdin 应用形态学处理，并将结果输出到 stdout。
• --check TABLENAME 检查表数据文件是否存在由 indexer 错误或硬件故障导致的一致性错误。--check 也适用于 RT 表、RAM 和磁盘块。附加选项：
  • --check-id-dups 检查普通表和 RT 表所有磁盘块中的重复文档 ID。
  • --check-disk-chunk CHUNK_NAME 仅检查 RT 表的指定磁盘块。参数是 RT 表磁盘块的数字扩展名。
• --strip-path 移除表中引用的所有文件名（停词、词形变化、例外等）中的路径名。当验证不同机器上可能路径结构不同的表时非常有用。
• --rotate 仅兼容 --check，用于决定是否检查等待旋转的表，即带有 .new 扩展名的表。这在你希望在实际使用之前验证表时非常有用。
• --apply-killlists 加载并应用配置文件中列出的所有表的 kill-lists。更改保存到 .SPM 文件，kill-list 文件 (.SPK) 被删除。如果你想将 kill-list 的应用从服务器启动阶段转移到索引阶段，这项功能会很方便。

indextool 无法完全检查当前由守护进程服务的 RT 表。尝试检查活跃的 RT 表时，可能会遇到以下警告：

WARNING: failed to load RAM chunks, checking only N disk chunks

为避免这些警告并确保正确检查 RT 表，请考虑以下方法：

• 在运行 indextool --check 前停止守护进程。
• 确保 RT 表当前未被守护进程服务。
• 检查 RT 表的独立副本，而非在线表。

如果无法停止守护进程，可以在运行 indextool --check 之前执行以下 MySQL 语句，防止对 RT 表发生意外修改：

SET GLOBAL AUTO_OPTIMIZE=0;

此命令防止守护进程执行自动优化，确保RT表文件保持不变。执行此语句后，请等待优化线程完全停止，然后再运行 indextool --check。这确保了在检查过程中不会意外修改或删除任何磁盘块。 如果之前启用了自动优化，在检查完成后应手动重新启用它，运行：

SET GLOBAL AUTO_OPTIMIZE=1;

spelldump 命令用于从使用 ispell 或 MySpell 格式的字典文件中检索内容。当您需要为词形变化编译单词列表时，这非常有用，因为它会为您生成所有可能的形式。

以下是通用语法：

spelldump [options] <dictionary> <affix> [result] [locale-name]

主要参数是字典的主要文件和附录文件。通常，这些文件分别命名为 [language-prefix].dict 和 [language-prefix].aff。您可以在大多数标准 Linux 发行版或许多在线资源中找到这些文件。

[result] 参数是提取的字典数据将被存储的位置，[locale-name] 参数用于指定您选择的区域详细信息。

还有一个可选的 -c [file] 选项。此选项允许您指定用于大小写转换的文件。

这里有一些使用示例：

spelldump en.dict en.aff
spelldump ru.dict ru.aff ru.txt ru_RU.CP1251
spelldump ru.dict ru.aff ru.txt .1251

生成的文件将列出字典中的所有单词，按字母顺序排列并格式化为词形变化文件。然后您可以根据具体需求修改此文件。以下是一个输出文件可能的示例：

zone > zone
zoned > zoned
zoning > zoning

wordbreaker 工具旨在分解复合词，这是 URL 中的常见特征，将其分解为单独的组件。例如，它可以将 "lordoftherings" 分解为四个单独的词，或将 http://manofsteel.warnerbros.com 分解为 "man of steel warner bros"。这种能力通过消除前缀或中缀的需求来增强搜索功能。例如，搜索 "sphinx" 将不会返回 "sphinxsearch" 的结果。然而，如果应用 wordbreaker 来拆分复合词并索引分离的元素，搜索将成功，而不会像全文索引中使用前缀或中缀时那样增加文件大小。

这里有一些如何使用 wordbreaker 的示例：

echo manofsteel | bin/wordbreaker -dict dict.txt split
man of steel

-dict 字典文件用于将输入流分解为单独的词。如果没有指定字典文件，Wordbreaker 将在当前工作目录中查找名为 wordbreaker-dict.txt 的文件。（请确保字典文件与您正在处理的复合词的语言匹配。）split 命令从标准输入中拆分单词并将结果发送到标准输出。test 和 bench 命令也用于评估拆分质量并测量拆分功能的性能。

Wordbreaker 使用字典来识别给定字符串中的各个子字符串。为了区分多个潜在的拆分，它会考虑每个词在字典中的相对频率。频率越高，表示该词被拆分的可能性越大。要生成此类文件，可以使用 indexer 工具：

indexer --buildstops dict.txt 100000 --buildfreqs myindex -c /path/to/manticore.conf

这将生成一个名为 dict.txt 的文本文件，其中包含 myindex 中最常见的 100,000 个词及其各自的计数。由于此输出文件是一个简单的文本文件，您可以根据需要对其进行手动编辑。可以添加或删除词。