1. 树叶云首页
  2. 技术资讯

Docker搭建Elasticsearch、Kibana、Logstash 同步MySQL数据到ES

运维••技术资讯

一、前言

在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash。在思考，同步完怎么查看呢，这时Kibana映入眼帘，可视化的界面，让使用更加的得心应手哈！！这就是三剑客ELK。不过大多时候都是进行日志采集的，小编没有用，只是用来解决一个表的数据量大，查询慢的！后面小编在专门搭建日志采集的ELK。

二、三者介绍

1、Elasticsearch

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。

2、Kibana

Kibana 是一个免费且开放的用户界面​，能够让您对 Elasticsearch 数据进行可视化，并让您在 Elastic Stack 中进行导航。您可以进行各种操作，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。

3、Logstash​

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

三、版本选择

现在最新版就是8.5，最新的教程少和问题未知，小编选择7版本的，求一手稳定哈！

于是去hub.docker查看了一下，经常用的版本，最终确定为：7.17.7。

dockerHub官网地址：https://hub.docker.com/_/elasticsearch

官方规定：
安装 Elastic Stack 时，您必须在整个堆栈中使用相同的版本。例如，如果您使用的是 Elasticsearch 7.17.7，则安装 Beats 7.17.7、APM Server 7.17.7、Elasticsearch Hadoop 7.17.7、Kibana 7.17.7 和 Logstash 7.17.7

四、搭建mysql

1、拉去MySQL镜像

sudodockerpullmysql:5.7

(https://img-blog.csdnimg.cn/0709ce9181a04bfcb97504cae7189ba5.png)

2、Docker启动MySQL

sudodockerrun-p3306:3306--namemysql\
-v/mydata/mysql/log:/var/log/mysql\
-v/mydata/mysql/data:/var/lib/mysql\
-v/mydata/mysql/conf:/etc/mysql\
-eMYSQL_ROOT_PASSWORD=root\
-dmysql:5.7
####这里往下是解释,不需要粘贴到linux上#############
--name指定容器名字
-v将对应文件挂载到linux主机上
-e初始化密码
-p容器端口映射到主机的端口(把容器的3306映射到linux中3306,这样windows上就可以访问这个数据库)
-d后台运行

3、Docker配置MySQL

vim/mydata/mysql/conf/my.cnf#创建并进入编辑
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
init_cnotallow='SET collation_connection = utf8_unicode_ci'
init_cnotallow='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve

4、Docker重启MySQL使配置生效

dockerrestartmysql

5、新增数据库

6、新建测试表

DROPTABLEIFEXISTS`sys_log`;
CREATETABLE`sys_log`  (
`id`bigint(20) NOTNULLAUTO_INCREMENTCOMMENT'日志主键',
`title`varchar(50) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'模块标题',
`business_type`int(2) NULLDEFAULT0COMMENT'业务类型（0其它 1新增 2修改 3删除）',
`method`varchar(100) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'方法名称',
`request_method`varchar(10) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'请求方式',
`oper_name`varchar(50) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'操作人员',
`oper_url`varchar(255) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'请求URL',
`oper_ip`varchar(128) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'主机地址',
`oper_time`datetime(0) NULLDEFAULTNULLCOMMENT'操作时间',
PRIMARYKEY (`id`) USINGBTREE
) ENGINE=InnoDBAUTO_INCREMENT=1585197503834284034CHARACTERSET=utf8COLLATE=utf8_general_ciCOMMENT='操作日志记录'ROW_FORMAT=Dynamic;

SETFOREIGN_KEY_CHECKS=1;

五、ELK搭建准备

1、创建挂载的文件

es挂载：

mkdir-p/mydata/elk/elasticsearch/{config,plugins,data,logs}

kibana挂载：

mkdir-p/mydata/elk/kibana/config

logstash挂载：

mkdir-p/mydata/elk/logstash/config

2、ES挂载具体配置

vim/mydata/elk/elasticsearch/config/elasticsearch.yml

输入下面命令：

http.host: 0.0.0.0
xpack.security.enabled: false

http.host：任何地址都可以访问。
xpack.security.enabled：关闭密码认证

3、Kibana挂载具体配置

vim /mydata/elk/kibana/config/kibana.yml

内容：

server.host: 0.0.0.0
elasticsearch.hosts: [ "http://192.168.239.131:9200" ]

elasticsearch.hosts：指向es地址

4. Logstash挂载具体配置

vim/mydata/elk/logstash/config/logstash.yml

内容：

http.host: 0.0.0.0
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.239.131:9200" ]

记录存放：

touchlog
chmod777log
vim/mydata/elk/logstash/config/logstash.conf

内容：

jdbc_driver_library​：指定必须要自己下载mysql-connector-java-8.0.28.jar，版本自己决定，下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java；

statement：如果sql长，可以指定sql文件，直接指定文件所在位置，这里的位置都为容器内部的地址；

last_run_metadata_path：上次记录存放文件对应上方的log。

input {
stdin {
    }
jdbc {
jdbc_connection_string=>"jdbc:mysql://192.168.239.131:3306/test?useUnicode=true&characterEncoding=utf8&serverTimeznotallow=UTC"
jdbc_user=>"root"
jdbc_password=>"root"
jdbc_driver_library=>"/usr/share/logstash/config/mysql-connector-java-8.0.28.jar"
jdbc_driver_class=>"com.mysql.jdbc.Driver"
jdbc_paging_enabled=>"true"
jdbc_page_size=>"300000"
statement=>"SELECT id, title, business_type, method, request_method, oper_name, oper_url, oper_ip, oper_time FROM sys_log"
schedule=>"*/1 * * * *"
use_column_value=>false
tracking_column_type=>"timestamp"
tracking_column=>"oper_time"
record_last_run=>true
jdbc_default_timezone=>"Asia/Shanghai"
last_run_metadata_path=>"/usr/share/logstash/config/log"
    }
}

output {
elasticsearch {
hosts=> ["192.168.239.131:9200"]
index=>"sys_log"
document_id=>"%{id}"
    }
stdout {
codec=>json_lines
    }
}

流水线指定上面的配置文件：

vim/mydata/elk/logstash/config/pipelines.yml

内容：

-pipeline.id: sys_log
path.config: "/usr/share/logstash/config/logstash.conf"

最终/mydata/elk/logstash/config/下的文件。

防止保存没有修改权限，可以把上面建的文件夹和文件赋予修改权限：

chmod777文件名称

五、运行容器

1、docker compose一键搭建

在elk目录创建：

vimdocker-compose.yml

内容如下：

version: '3'
services:
elasticsearch:
image: elasticsearch:7.17.7
container_name: elasticsearch
ports:
-"9200:9200"
-"9300:9300"
environment:
-cluster.name=elasticsearch
-discovery.type=single-node
-"ES_JAVA_OPTS=-Xms512m -Xmx512m"
volumes:
-/mydata/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
-/mydata/elk/elasticsearch/data:/usr/share/elasticsearch/data
-/mydata/elk/elasticsearch/logs:/usr/share/elasticsearch/logs

kibana:
image: kibana:7.17.7
container_name: kibana
ports:
-"5601:5601"
depends_on:
-elasticsearch
environment:
I18N_LOCALE: zh-CN
volumes:
-/mydata/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml

logstash:
image: logstash:7.17.7
container_name: logstash
ports:
-"5044:5044"
volumes:
-/mydata/elk/logstash/config:/usr/share/logstash/config
depends_on:
-elasticsearch

一定要在docker-compose.yml所在目录执行命令！

运行：

dockercomposeup-d

完成后可以跳到5进行查看kibana！！

1、运行ES

dockerrun--nameelasticsearch-p9200:9200-p9300:9300-e"discovery.type=single-node"-eES_JAVA_OPTS="-Xms64m -Xmx512m"-v/mydata/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml-v/mydata/elk/elasticsearch/data:/usr/share/elasticsearch/data-v/mydata/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins-delasticsearch:7.17.7

2、运行Kibana

dockerrun--namekibana-eELASTICSEARCH_HOSTS=http://192.168.239.131:9200 -p 5601:5601 -d kibana:7.17.7

3、运行Logstash

dockerrun-d-p5044:5044-v/mydata/elk/logstash/config:/usr/share/logstash/config--namelogstashlogstash:7.17.7

4. 容器完结图

5. 访问Kibana

http://192.168.239.131:5601/app/home#/。

六、新建索引

PUT/sys_log
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0,
"index": {
"max_result_window": 100000000
    }
  },
"mappings": {
"dynamic": "strict",
"properties": {
"@timestamp": {
"type": "date"
      },
"@version": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
          }
        }
      },

"business_type": {
"type": "integer"
      },
"title": {
"type": "text"
      },
"method": {
"type": "text"
      },
"request_method": {
"type": "text"
      },
"oper_name": {
"type": "text"
      },
"oper_url": {
"type": "text"
      },
"oper_ip": {
"type": "text"
      },
"oper_time": {
"type": "date"
      },
"id": {
"type": "long"
      }
    }
  }
}

七、测试

新增几条记录，然后查看Logstash日志

dockerlogs-flogstash

我们去kibana看一下是否已存在：

输入命令：

GET /sys_log/_search
{
  "query": {
    "match_all": {}
  }
}

我们看到存在6条，和mysql一致！！

八、总结

花费了一天时间，终于搭建完成了，太不容易了！下篇文章搭建ELK日志！

文章来源网络，作者：运维，如若转载，请注明出处：https://shuyeidc.com/wp/244249.html<

赞 (0)
运维的头像运维
00
上一篇2025-04-25 15:39
下一篇 2025-04-25 15:41

相关推荐

  • 如何制作个人主题技术资讯

    个人主题怎么制作？

    制作个人主题是一个将个人风格、兴趣或专业领域转化为视觉化或结构化内容的过程，无论是用于个人博客、作品集、社交媒体账号还是品牌形象，核心都是围绕“个人特色”展开，以下从定位、内容规划、视觉设计、技术实现四个维度,详细拆解制作个人主题的完整流程，明确主题定位：找到个人特色的核心主题定位是所有工作的起点，需要先回答……

    运维的头像运维
    2025-11-20
    0
  • 如何管理社群营销技术资讯

    社群营销管理关键是什么？

    社群营销的核心在于通过建立有温度、有价值、有归属感的社群，实现用户留存、转化和品牌传播，其管理需贯穿“目标定位-内容运营-用户互动-数据驱动-风险控制”全流程,以下从五个维度展开详细说明：明确社群定位与目标社群管理的首要任务是精准定位，需明确社群的核心价值（如行业交流、产品使用指导、兴趣分享等）、目标用户画像……

    运维的头像运维
    2025-11-20
    0
  • 香港公司如何网站备案技术资讯

    香港公司网站备案需要什么材料？

    香港公司进行网站备案是一个涉及多部门协调、流程相对严谨的过程，尤其需兼顾中国内地与香港两地的监管要求，由于香港公司注册地与中国内地不同，其网站若主要服务内地用户或使用内地服务器，需根据服务器位置、网站内容性质等，选择对应的备案路径（如工信部ICP备案或公安备案），以下从备案主体资格、流程步骤、材料准备、注意事项……

    运维的头像运维
    2025-11-20
    0
  • 如何企业上云推广技术资讯

    如何企业上云推广

    企业上云已成为数字化转型的核心战略,但推广过程中需结合行业特性、企业痛点与市场需求，构建系统性、多维度的推广体系，以下从市场定位、策略设计、执行落地及效果优化四个维度，详细拆解企业上云推广的实践路径，精准定位：明确目标企业与核心价值企业上云并非“一刀切”的方案，需先锁定目标客户群体，提炼差异化价值主张，客户分层……

    运维的头像运维
    2025-11-20
    0
  • PS如何设计搜索框技术资讯

    PS设计搜索框的实用技巧有哪些？

    在PS中设计一个美观且功能性的搜索框需要结合创意构思、视觉设计和用户体验考量，以下从设计思路、制作步骤、细节优化及交互预览等方面详细说明，帮助打造符合需求的搜索框，设计前的规划明确使用场景：根据网站或APP的整体风格确定搜索框的调性，例如极简风适合细线条和纯色，科技感适合渐变和发光效果，电商类则可能需要突出搜索……

    运维的头像运维
    2025-11-20
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注