ES 模块
Elasticsearch 由模块组成，模块负责其功能。在这些模块的帮助下，elasticsearch 执行其功能。我们将在本章中讨论几个模块。这些模块有两个设置，可以是静态的和动态的。
静态设置:
- 需要配置静态设置。
- 必须在节点级别和每个相关节点上设置这些设置。
- 我们可以在启动 Elasticsearch 之前在配置文件(elasticsearch.yml) 中配置静态设置。
- 我们还可以在命令行中设置这些设置，或者在启动节点时将其设置为环境变量。
- 为了反映这些设置所做的更改，我们必须更新集群中的所有相关节点。
动态设置:
- 可以在 elasticsearch 中动态设置动态设置。
我们可以使用 elasticsearch 中的 cluster-update-setting API 更新实时集群上的这些设置。
| 模块 | 说明 |
| Cluster level routing and shard allocation | 它负责提供控制分片和节点所有活动的设置。这意味着这些设置控制分片分配给节点的时间、地点和方式。 |
| Discovery | 它负责发现一个集群。它还维护集群中存在的所有节点的状态。节点相互发现并形成集群。 |
| Gateway | 作为发现模块维护节点的状态。同样，网关模块维护集群的状态。它在重启时管理整个集群中的分片。 |
| HTTP | 管理 Elasticsearch API 和 HTTP 客户端之间的通信。 |
| Indices | 它有助于维护为所有索引全局设置的设置。 |
| Network | 它控制默认网络设置，因为 elasticsearch 绑定到本地主机。 |
| Node Client | 节点客户端充当主节点。它启动并加入集群中的节点但不能保存数据。 |
| Plugin | 插件以自定义方式增强了基本的 elasticsearch 功能。 |
| Painless | 一种脚本语言旨在让 elasticsearch 尽可能地受到保护。 |
| Scripting | 脚本使用户能够使用脚本并评估自定义表达式 |
| Snapshot or Restore | 可以为整个集群以及远程存储库中的单个索引创建快照。用于数据备份。 |
| Thread pools | 一个节点存储了多个线程池，这有助于提高一个节点内管理的线程内存消耗。 |
| Transport | 在elasticsearch中，传输层用于集群之间的通信。需要配置传输网络层。 |
| Tribe Nodes | 它充当整个集群的联合客户端，并负责加入集群。 |
| Cross-Cluster Search | 它允许在多个集群上执行搜索请求查询。不需要加入集群来执行这个请求。与部落节点一样，跨集群搜索也充当联合客户端。 |
我们将详细讨论它们中的每一个：
分片分配和集群级路由
集群级设置决定了分片分配到不同的节点。这些设置还决定重新分配分片以重新平衡集群。以下是用于控制分片分配的一些设置：
集群级分片分配
以下是集群级分片分配的设置列表及其可能的值和说明:
| 设置 | 可能的价值 | 说明 |
| cluster.routing.allocation.enable | All | 此设置的默认值允许为所有类型的分片分配分片。 |
| None | 此设置的可能值之一是 none 不分配任何分片。 | |
| Primaries | 由于可能的值为primaries，所以它只允许为primary shards分配shards。 | |
| new_primaries | 和主值一样，new_primaries 也负责分片分配。它只为主分片和新索引分配分片。 | |
| cluster.routing.allocation.node_concurrent_recoveries | 允许的数值(默认为 2) | 此设置限制了并发分片的恢复。 |
| cluster.routing.allocation.node_initial_primaries_recoveries | 允许的数值(默认为 4) | 此设置限制将恢复的并行初始初选数量。 |
| cluster.routing.allocation.same_shard.host | 允许布尔值(默认值为false) | 在同一个物理节点上，限制了同一个shard的多个副本的分配。 |
| indices.recovery.concurrent_streams | 允许的数值(默认为 3) | 在从对等分片恢复分片时，它控制开放网络流的数量。 |
| Indices.recovery.concurrent_small_file_streams | 允许的数值(默认为 2) | 对于小文件，它控制每个节点的打开流数。在分片恢复时，这个小文件的大小小于 5 Mb。 |
| Cluster.routing.rebalance.enable | All | 允许平衡各种分片。 |
| None | 它不允许任何类型的分片平衡。 | |
| Primary | 此设置仅允许主分片的分片平衡，而不是所有分片。 | |
| Replica | 顾名思义，只有副本分片才允许分片平衡。 | |
| cluster.routing.allocation.cluster_concurrent_rebalance | 允许的数值(默认为 2) | 集群中的并发分片平衡数受此设置限制。 |
| cluster.routing.allocation。 balance.shard | 只允许浮点值(默认为 0.45f) | 在每个节点上，它定义了分片分配的权重因子。 |
| cluster.routing.allocation。 balance.index | 允许浮点值(默认为 0.55f) | 它有助于定义在特定节点上分配的每个节点的分片数量的比率。
|
| cluster.routing.allocation。 balance.threshold | 浮点数但只允许非负值(默认为 1.0f) | 是操作的最小优化值。 |
| cluster.routing.allocation.allow_rebalance | Always | 这是此设置的默认值，始终允许重新平衡。 |
| Indices_primaries_active | 当所有主分片都分配在一个集群中时，它允许重新平衡。 | |
| Indices_all_active | 当所有的主分片和副本分片都被分配时，它允许重新平衡。 |
基于磁盘的分片分配
在集群级别的分片分配设置之后，我们将讨论基于磁盘的分片分配。以下是基于磁盘的分片分配的设置列表及其可能的值和说明:
| 设置 | 可能的价值 | 说明 |
| cluster.routing.allocation.disk.threshold_enabled | Boolean | 它接受布尔值(真或假)来启用和禁用磁盘分配决策程序。默认情况下，此值为 true。 |
| cluster.routing.allocation.disk.watermark.low | String | 这个基于磁盘的设置表示磁盘的最大使用量。在此之后，不允许为该磁盘分配任何其他分片。它接受字符串值，默认为 85%。 |
| cluster.routing.allocation.disk.watermark.high | String | 此设置表示分配时磁盘的最大利用率。如果此时点已达到分配时间，则 Elasticsearch 将该分片分配到另一个磁盘。默认情况下，其值为 90%。 |
| cluster.info.update.interval | String | 表示磁盘使用和检查之间的间隔。默认间隔值为 30 秒。 |
| Cluster.routing.allocation.disk.include_realocations | Boolean | 这个设置有助于决定-在计算磁盘利用率时，我们是否应该考虑当前正在分配的分片。为此，它接受一个布尔值，默认为 true。 |
Discovery
这个模块基本上有助于发现集群。在这个模块的帮助下，我们可以发现一个集群并维护其中所有可用节点的状态。因此，无论何时在集群中添加或删除节点，该集群的状态都会发生变化。集群名称设置在多个集群之间造成了逻辑差异。
云供应商提供了一些帮助我们使用 API 的模块。这些模块如下：
- Google 计算引擎发现
- 蔚蓝的发现
- 禅意发现
- EC2 发现
Gateway
该模块有助于维护集群状态以及管理整个集群重启期间的分片数据。以下是网关模块的一些静态设置及其可能的值和说明：
| 设置 | 可能的价值 | 说明 |
| gateway.expected_nodes | numeric | 此设置的默认可能值为 0(零)。对于本地分片的恢复，它是集群中预期的节点数。 |
| gateway.expected_master_nodes | numeric | 它是恢复开始前集群中预期的主节点数。此设置的默认值为 0。 |
| gateway.expected_data_nodes 接受 | numeric | 它是恢复开始前集群中预期的数据节点数。默认情况下，此设置为 0。 |
| gateway.recover_after_time | string | 此设置表示磁盘利用率和检查之间的间隔。 |
| cluster.routing.allocation.disk.include_relocations | Boolean | 基本上，此设置用于指定恢复过程将等待启动的时间，而无需担心集群中包含的节点数。 |
HTTP
- HTTP 模块负责管理 Elasticsearch API 和 HTTP 客户端之间的通信。
- 如果需要，可以禁用此模块，也可以重新启用。我们可以通过将 enabled 值更改为 false 来禁用它。
- 需要配置一个设置列表来控制此模块。这些设置在 yml 文件中可用。
下面列出了不同的http设置和描述：
| 设置 | 说明 |
| http.port | 是用来访问web上elasticsearch的http端口。默认端口号为 9200。它的范围在9200-9300之间。 |
| http.bind_host | 此http.bind_host 是http 服务的主机地址。 |
| http.publish_port | 此端口用于http 客户端。在防火墙的情况下，它也很有用。 |
| http.publish_host | 类似于http.bind_host，它是一个主机地址。此主机地址用于 http 客户端。 |
| http.max_content_length | 这用于设置http请求中内容的最大大小。它的默认大小为100mb。 |
| http.max_initial_line_length | 用于指定 URL 的最大大小。 默认 大小是8kb。 |
| http.max_header_size | 这指定了 http 标头的最大大小。默认情况下，其值为 8kb。 |
| http.compression | 此设置的默认值为false。此设置用于启用或禁用对压缩的支持。 |
| http.pipelining | http.pipelining 设置用于启用或禁用 HTTP 流水线。 |
| http.pipelining.max_events | 在关闭 http 请求之前，此设置有助于限制要排队的事件数。 |
Indices
这个模块有助于维护每个索引的设置，这些设置是全局设置的。我们将讨论一些设置，主要与内存使用有关。这些设置如下——
断路器
- Elasticsearch 中有多个断路器。
- 此断路器设置用于防止由于 OutOfMemoryError 而导致的所有操作。
- 它主要使用 index.breaker.total.limit 设置来控制 JVM 堆大小。
- 默认情况下，它是 JVM 堆的 70%。
字段数据缓存
- 在字段上聚合时使用此 fielddata 设置。
- 它必须有足够的内存来分配。
- 可以通过使用 fielddata.cache.size 设置来控制内存量。
- 此内存用于字段数据缓存。
节点查询缓存
- 节点查询缓存内存用于缓存查询结果。
- 它使用 LRU(最近最少使用)驱逐政策。
- 所有分片每个节点共享一个查询缓存。
- 为了控制此缓存的内存大小，使用了 queries.cache.size 设置。
索引缓冲区
- 索引缓冲区用于在索引中存储新创建的文档。
- 每当缓冲区已满时，它就会刷新文档。
- indices.memery.index_buffer_size 设置有助于控制堆的数量，该数量分配给此缓冲区以存储文档。
分片请求缓存
- 分片请求缓存保存每个分片的本地搜索数据。
- 默认情况下，它可以缓存搜索请求的结果。
- Elasticsearch 允许我们启用和禁用缓存。
- 我们可以在创建索引时启用缓存。通过发送 URL 参数，也可以禁用缓存。
指数恢复
- 负责在恢复过程中恢复资源。以下是一些用于控制资源的设置(及其默认值)-
| 设置 | 默认值 |
| indices.recovery.compress | 40MB |
| indices.recovery.concurrent_streams | 3 |
| indices.recovery.concurrent_small_file_streams | 2 |
| indices.recovery.file_chunk_size | 512KB |
| indices.recovery.translog_ops | 1000 |
| indices.recovery.translog_size | 512KB |
| indices.recovery.max_bytes_per_sec | true |
TTL 间隔
TTL 间隔是指生存时间间隔。 ttl interval 的主要目的是定义文档的时间，之后文档被删除。有一个重新动态设置来控制这个过程：
| 设置 | 默认值 |
| Indices.ttl.interval | 60 年代 |
| indices.ttl.bulk_size | 1000 |
节点
每个节点都可以选择是否为数据节点。如果设置值为 false，则节点将是数据节点。 Elasticsearch 允许更改此属性。通过更改 node.data 设置，我们可以更改此设置。
Elasticsearch 是一种在浏览器上运行的数据库工具，用于查询书面文字。它在其核心执行一些其他任务。它旨在遍历文本并返回与给定查询相同的文本。 Elasticsearch 是一个可扩展且支持集群的数据库工具。更具体地说， ...