Logstash 插件

Logstash 为其管道的所有三个阶段（输入、过滤器和输出）提供了各种插件。这些插件可帮助用户从各种来源（如 Web 服务器、数据库、网络协议等）捕获日志。

Logstash 捕获后，可以根据用户的要求将数据解析并转化为有意义的信息。最后，Logstash 可以将这些有意义的信息发送或存储到各种目标源，如 Elasticsearch、AWS Cloudwatch 等。

输入插件

Logstash 中的输入插件可帮助用户从各种来源提取和接收日志。使用输入插件的语法如下：

Input {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

可以使用以下命令下载输入插件：

>Logstash-plugin install Logstash-input-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表列出了 Logstash 提供的输入插件。

插件设置

所有插件都有其特定的设置，这有助于指定插件中的重要字段，如端口、路径等。我们将讨论一些输入插件的设置。

文件

此输入插件用于直接从输入源中存在的日志或文本文件中提取事件。它的工作原理类似于 UNIX 中的 tail 命令，保存上次读取的游标并仅从输入文件中读取新追加的数据，但可以使用 star_position 设置进行更改。以下是这个输入插件的设置。

Elasticsearch

这个特定的插件用于读取 Elasticsearch 集群中的搜索查询结果。以下是此插件中使用的设置：

eventlog

这个输入插件从 windows 服务器的 win32 API 读取数据。以下是此插件的设置：

Twitter

此输入插件用于从其 Streaming API 收集 twitter 的提要。下表描述了此插件的设置。

TCP

TCP 用于通过 TCP 套接字获取事件；它可以从模式设置中指定的用户连接或服务器读取。下表描述了此插件的设置：

Logstash – 输出插件

Logstash 支持各种输出源和不同的技术，如数据库、文件、电子邮件、标准输出等。

使用输出插件的语法如下：

output {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

可以使用以下命令下载输出插件：

>logstash-plugin install logstash-output-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表描述了 Logstash 提供的输出插件。

所有插件都有其特定的设置，这有助于指定插件中的重要字段，如端口、路径等。我们将讨论一些输出插件的设置。

Elasticsearch

Elasticsearch 输出插件使 Logstash 能够将输出存储在 Elasticsearch 引擎的特定集群中。这是用户的著名选择之一，因为它包含在 ELK Stack 包中，因此为 Devops 提供端到端解决方案。下表描述了此输出插件的设置。

Email

电子邮件输出插件用于在 Logstash 生成输出时通知用户。下表描述了此插件的设置。

http

此设置用于通过 http 将输出事件发送到目的地。这个插件有以下设置：

标准输出

stdout 输出插件用于在命令行界面的标准输出上写入输出事件。它是 Windows 中的命令提示符和 UNIX 中的终端。此插件具有以下设置：

统计数据

它是一个网络守护进程，用于通过 UDP 将矩阵数据发送到目标后端服务。它是 Windows 中的命令提示符和 UNIX 中的终端。这个插件有以下设置：

过滤插件

Logstash 支持各种过滤器插件来解析输入日志并将其转换为更结构化且易于查询的格式。

使用过滤器插件的语法如下：

filter {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

可以使用以下命令下载过滤器插件：

>logstash-plugin install logstash-filter-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表描述了 Logstash 提供的输出插件。

编解码器插件

编解码器插件可以是输入或输出插件的一部分。这些插件用于更改或格式化日志数据表示。 Logstash 提供多种编解码器插件，如下所示：

构建自己的插件

还可以在 Logstash 中创建自己的插件，这符合的要求。 Logstash-plugin 实用程序用于创建自定义插件。在这里，我们将创建一个过滤器插件，它将添加事件中的自定义消息。

生成基础结构

用户可以使用 logstash-plugin 实用程序的生成选项生成必要的文件，也可以在 GitHub 上找到。

>logstash-plugin generate--type filter--name myfilter--path c:/tpwork/logstash/lib

这里， type 选项用于指定插件是输入、输出或过滤器。在这个例子中，我们正在创建一个名为 myfilter 的过滤器插件。 path 选项用于指定路径，希望在其中创建插件目录。执行上述命令后，将看到创建了一个目录结构。

开发插件

可以在插件目录的 \lib\logstash\filters文件夹中找到插件的代码文件。文件扩展名为 .rb。

在我们的例子中，代码文件位于以下路径中：

C:\tpwork\logstash\lib\logstash-filter-myfilter\lib\logstash\filters\myfilter.rb

我们将消息更改为 − 默认⇒"嗨，正在lidihuo.com 上学习"并保存文件。

安装插件

安装本插件需要修改Logstash的Gemfile。你可以在Logstash的安装目录下找到这个文件。在我们的例子中，它将在 C:\tpwork\logstash 中。使用任何文本编辑器编辑此文件并在其中添加以下文本。

gem "logstash-filter-myfilter",:path => "C:/tpwork/logstash/lib/logstash-filter-myfilter"

在上面的命令中，我们指定了插件的名称以及安装位置。然后，运行 Logstash-plugin 实用程序来安装此插件。

>logstash-plugin install--no-verify

测试

在这里，我们在前面的示例之一中添加 myfilter：

logstash.conf

这个 Logstash 配置文件在 grok 过滤器插件之后的过滤器部分包含 myfilter。

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input1.log"
   } 
}
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel}-%{NOTSPACE:taskid}-
            %{NOTSPACE:logger}-%{WORD:label}(-%{INT:duration:int})?" ]
   }
   myfilter{}
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output1.log"
      codec => rubydebug
   }
}

运行logstash

我们可以使用以下命令运行 Logstash。

>logstash –f logsatsh.conf

input.log

以下代码块显示了输入日志数据。

INFO-48566-TRANSACTION_START-start

输出日志

以下代码块显示输出日志数据。

{
   "path" => "C:/tpwork/logstash/bin/log/input.log",
   "@timestamp" => 2017-01-07T06:25:25.484Z,
   "loglevel" => "INFO",
   "logger" => "TRANSACTION_END",
   "@version" => "1",
   "host" => "Dell-PC",
   "label" => "end",
   "message" => "Hi, You are learning this on lidihuo.com",
   "taskid" => "48566",
   "tags" => []
}

在 Logstash 上发布

开发人员还可以通过将其上传到 github 并按照 Elasticsearch 公司定义的标准化步骤将其自定义插件发布到 Logstash。

有关发布的更多信息，请参阅以下 URL：

https://www .elastic.co/guide/en/logstash/current/contributing-to-logstash.html

Logstash 提供 API 来监控其性能。这些监控 API 提取有关 Logstash 的运行时指标。 节点信息 API该API用于获取Logstash的节点信息。它以JSON格式返回OS、Lo ...