小知识:使用docker compose搭建一个elk系统的方法

找了不少使用 dockerelk 搭建的博客, 英文的阅读吃力不说, 镜像源也是慢的让人头皮发麻, 因此重新编排了一个dockercompose,源都是从 https://hub.docker.com/ 上找的, 即使拉的国内镜像源应该也能很好的支持了吧?

环境

Docker 18.06.0-ce docker-compose 1.22.0

给每个容器最少分配 1G 的内存

软件版本

logstash: 5.* elasticsearch: 5.* kibana: 5.*

启动前的配置

在各个目录下都有对应的 config 配置, 根据各自的情况自行处理

拿默认的 logstash/confg/test.conf 中的配置举例:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
input {
file {
#这里的路径指的是 logstash 容器中的路径, 外部接入需要使用 volume 进行目录映射
path => “/logs/input/*”
}
# 在 logstash 容器中的输入
stdin {}
# 因为做了本地5000端口和容器5000端口进行绑定, 所以可以用 nc 工具测试一下
# echo “Test Logstash TCP Input Plugin” | nc localhost 5000
tcp {
type => “tcp”
port => 5000
mode => “server”
}
}
output {
file {
#这里的路径指的是 logstash 容器中的路径, 外部接入需要使用 volume 进行目录映射
path => “/logs/output/%{+yyyy-MM-dd-HH}/%{host}.log”
}
stdout {
codec => rubydebug
}
elasticsearch {
hosts => “elasticsearch:9200”
# 这里设置的 index 在 kibana 中会用到
index => “file-log-%{+YYYY.MM}”
}
}

启动容器

执行

?
1
2
git clone https://github.com/gaopengfei123123/docker-elk.git && cd docker-elk
docker-compose up -d –build

等一会看到执行成功的提示

?
1
2
3
Creating docker-elk_elasticsearch_1 … done
Creating docker-elk_logstash_1   … done
Creating docker-elk_kibana_1    … done

在本地浏览器输入 http://localhost:5601/ 进入 kibana 界面

注意, 第一次启动时有可能会出现提示 elasticsearch not found 这类的问题, 可以先等个一两分钟刷新一下就好了, 如果还是不行就谷歌或者提 issue 解决一下

同目录下输入

?
1
docker-compose stop

则停止所有服务

测试一下

在 logs/input/ 目录下新增个 test.log 文件, 然后输入点东西验证一下, 或者命令行执行echo “Test Logstash TCP Input Plugin” | nc localhost 5000 通过 tcp 发送日志

?
1
docker-compose logs -f

查看各容器日志输出

TODO

引入 kafka 做缓冲 搭建 es 集群

github 地址

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:https://segmentfault.com/a/1190000016077052

声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:VMware虚拟机系统无法使用桥接联网的解决方法

2023-4-5 18:22:28

建站知识

小知识:docker实践之从新镜像启动容器报错解决

2023-4-5 18:36:53

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索