您好，欢迎来到二三娱乐。
科技 教育 生活 旅游 时尚 美容 美食 健康 体育 游戏 汽车 家电
搜索
您的当前位置：首页Elastic Stack学习

Elastic Stack学习

来源：二三娱乐
  • 有关支持的操作系统和产品兼容性的信息，请参阅
  • 验证您的系统满足Logstash和Elasticsearch的。

安装Elasticsearch

Elasticsearch是一个实时、分布式存储、搜索和分析引擎。它可以用于许多用途，但它擅长的一个上下文是对半结构化数据流(如日志或解码网络数据包)进行索引。

要下载和安装Elasticsearch，打开终端窗口，使用系统的命令(deb为Debian/Ubuntu, rpm为Redhat/Centos/Fedora, mac为OS X, win为Windows):

deb

rpm

mac

2.将zip文件的内容解压缩到计算机上的一个目录，例如，C:\Program Files

3.作为管理员打开命令提示符并进入到包含提取文件的目录，例如：

cd C:\Program Files\elasticsearch-6.4.0

4.启动Elasticsearch

bin\elasticsearch.bat

确保elasticsearch已经启动并运行

要测试Elasticsearch守护进程是否启动并运行，请尝试在端口9200上发送HTTP GET请求。

在Windows上，如果没有安装cURL，则将浏览器指向URL。
你会看到类似这样的回应:

{
"name" : "QtI5dUu",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "DMXhqzzjTGqEtDlkaMOzlA",
"version" : {
"number" : "6.4.0",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "00d8bc1",
"build_date" : "2018-06-06T16:48:02.249996Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}

安装kibana

Kibana是一个开源的分析和可视化平台，设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。你可以轻松地执行高级数据分析并在各种图表、表格和地图中可视化数据。
我们建议你将Kibana安装在与Elasticsearch相同的服务器上，但这不是必需的。如果将产品安装在不同的服务器上，在开始Kibana之前，则需要更改Kibana配置文件kibana.yml中的Elasticsearch服务器的URL (IP:PORT)。
要下载和安装Kibana，打开终端窗口，使用与系统匹配的命令:
deb or rpm

mac

win

  1. 从Kibana下载Kibana 6.4.0 Windows zip文件。

2.将zip文件的内容解压缩到一个目录在您的计算机上，例如，C:\Program Files
3.作为管理员打开命令提示符并导航到包含提取文件的目录，例如:

cd C:\Program Files\kibana-6.4.0-windows

4.启动Kibana

bin\kibana.bat

启动Kibana web界面

安装Beats

Beats是作为开源数据托运人代理安装在服务器上，用于向Elasticsearch发送操作数据。Beats可以直接将数据发送到Elasticsearch或通过Logstash，在Logstash里你可以进一步处理和增强数据。
每个Beat是一个单独的可安装的产品。在本教程中，你将了解如何安装、运行Metricbeat和系统模块，使之能够收集系统指标。
要了解关于安装和配置其他Beat的更多信息，请参阅入门文档:
<colgroup style="box-sizing: border-box;"><col class="col_1" style="box-sizing: border-box;"><col class="col_2" style="box-sizing: border-box;"></colgroup>

Elastic Beats To capture
Audit data
Log files
Availability monitoring
Metrics
Network traffic
Windows event logs

安装Metricbeat

要下载和安装Metricbeat，打开终端窗口并使用与您的系统匹配的命令：
deb

rpm

mac

PS > cd 'C:\Program Files\Metricbeat'
PS C:\Program Files\Metricbeat> .\install-service-metricbeat.ps1

将系统指标传到Elasticsearch

Metricbeat提供预先构建的模块，您可以使用这些模块在大约5分钟内快速实现和部署一个系统监控解决方案，包括样例指示板和数据可视化。

在本节中，您将了解如何运行系统模块，以从运行在服务器上的操作系统和服务收集指标。系统模块收集系统级指标，如CPU使用率、内存、文件系统、磁盘IO和网络IO统计数据，以及系统上运行的每个进程的顶级统计数据。

在你开始之前验证Elasticsearch和Kibana正在运行，Elasticsearch准备从Metricbeat接收数据。
建立系统模块并开始收集系统指标。
1.从Metricbeat安装目录，启用系统模块:
deb and rpm

sudo metricbeat modules enable system

mac：

./metricbeat modules enable system

win

PS C:\Program Files\Metricbeat> .\metricbeat.exe modules enable system

2.设置初始环境
deb and rpm

sudo metricbeat setup -e

mac

./metricbeat setup -e

win

PS C:\Program Files\Metricbeat> metricbeat.exe setup -e

setup命令加载Kibana仪表板。如果仪表板已经设置好，则省略此命令。e标志是可选的，并将输出发送到标准错误，而不是syslog。
3.启动Metricbeat
deb and rpm

sudo service metricbeat start

mac

./metricbeat -e

win

PS C:\Program Files\Metricbeat> Start-Service metricbeat

Metricbeat运行并开始向Elasticsearch发送系统指标。

在Kibana中可视化系统指标

TIP：如果在Kibana没有看到数据，请尝试将日期范围更改为更大的范围。默认情况下，Kibana会显示最后15分钟。如果看到错误，请确保Metricbeat正在运行，然后刷新页面。

现在你已经知道了如何为Elastic Stack建立最简单的体系结构—一个或多个Beats将事件数据直接发送到同一个服务器上运行的Elasticsearch实例—现在让我们添加Logstash。

安装Logstash

Logstash是一个强大的工具，可以集成多种部署。它提供了大量可供选择的插件，可以帮助您解析、充实、转换和缓冲各种来源的数据。

要下载和安装Logstash，打开终端窗口并使用与您的系统匹配的命令:
deb

rpm

mac

配置logstash监听beats输入

配置logstash：
1.创建一个新的日志存储管道配置文件，名为demo-metrics-pipeline.conf。如果您将Logstash作为deb或rpm包安装的，请在Logstash config目录中创建该文件。该文件必须包含:

  • 一种输入阶段，配置Logstash在端口5044上侦听传入Beats连接。
  • 一个输入阶段，将事件索引到Elasticsearch。输出阶段还配置Logstash写入Metricbeat索引。
    例如：
input {
  beats {
    port => 5044
  }
}

# The filter part of this file is commented out to indicate that it
# is optional.
# filter {
#
# }

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

当你开始使用这个管道配置Logstash时，Beats事件是通过logstash输出出来的，你可以完全访问logstach输出出来的收集、充实和转换数据的功能。

启动logstash

使用与系统匹配的命令。如果你将Logstash作为deb或rpm包安装的，请确保config文件位于config目录中。
deb

sudo /etc/init.d/logstash start

rpm

sudo service logstash start

mac

./bin/logstash -f demo-metrics-pipeline.conf

win

bin\logstash.bat -f demo-metrics-pipeline.conf

TIP：如果你收到JVM错误消息，请检查Java版本，如安装Logstash中所示。

Logstash开始侦听来自Beats输入的事件。接下来需要配置Metricbeat将事件发送到Logstash。

配置Metricbeat以发送事件到logstash

Metricbeat默认向Elasticsearch发送事件。要将事件发送到Logstash中，请修改Metricbeat配置文件Metricbeat .yml。你可以在Metricbeat安装目录下找到这个文件，或者对于rpm和deb，在找到/etc/metricbeat。

通过注释它以禁用输出到Elasticsearch，然后取消注释以启用输出到logstash：

#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]
.
.
.
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

保存文件，然后重新启动Metricbeat应用配置更改。

Logstash从Beats输入读取数据并将事件索引到Elasticsearch。你还没有定义筛选器部分，因此Logstash只是将事件转发给Elasticsearch，而没有进行额外的处理。接下来，您将学习如何定义筛选器阶段。

定义一个过滤器以使从字段中提取数据

Metricbeat收集的系统度量包括一个名为cmdline的字段，该字段包含用于启动系统进程的完整命令行参数。例如:

"cmdline": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container -childID 3
-isForBrowser -boolPrefs 36:1|299:0| -stringPrefs 285:38;{b77ae304-9f53-a248-8bd4-a243dbf2cab1}| -schedulerPrefs
0001,2 -greomni /Applications/Firefox.app/Contents/Resources/omni.ja -appomni
/Applications/Firefox.app/Contents/Resources/browser/omni.ja -appdir
/Applications/Firefox.app/Contents/Resources/browser -profile
/Users/dedemorton/Library/Application Support/Firefox/Profiles/mftvzeod.default-1468353066634
99468 gecko-crash-server-pipe.99468 org.mozilla.machname.1911848630 tab"

要提取路径，在之前创建的Logstash配置文件的输入和输出部分之间添加以下Grok过滤器:

filter {
    if [system][process] {
        if [system][process][cmdline] {
            grok {
                match => { 
                    "[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
                }
                remove_field => "[system][process][cmdline]" 
            }
        }
    }
｝
  • 使用正则模式匹配路径，然后将路径存储在一个名为cmdline_path的字段中。
  • 移除原始字段cmdline，所以它不在Elasticsearch中索引。

完成之后，完整的配置文件应该如下所示:

input {
  beats {
    port => 5044
  }
}

filter {
  if [system][process] {
    if [system][process][cmdline] {
      grok {
        match => {
          "[system][process][cmdline]" => "^%{PATH:[system][process][cmdline_path]}"
        }
        remove_field => "[system][process][cmdline]"
      }
    }
  }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

重新启动Logstash以获取更改。事件现在包含一个名为cmdline_path的字段，该字段包含命令路径:

"cmdline_path": "/Applications/Firefox.app/Contents/MacOS/plugin-container.app/Contents/MacOS/plugin-container"

接下来是什么

恭喜你! 你已经成功地建立了Elastic Stack。你学习了如何流传输系统度量到Elasticsearch中在Kibana中可视化这些数据。你还学习了如何使用Logstash来过滤Metricbeat收集的事件。

Copyright © 2019- yule263.com 版权所有 湘ICP备2023023988号-1

违法及侵权请联系：TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务