1. 树叶云首页
  2. 技术资讯

Docker搭建Elasticsearch、Kibana、Logstash 同步MySQL数据到ES

管理••技术资讯

一、前言

在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash。在思考，同步完怎么查看呢，这时Kibana映入眼帘，可视化的界面，让使用更加的得心应手哈！！这就是三剑客ELK。不过大多时候都是进行日志采集的，小编没有用，只是用来解决一个表的数据量大，查询慢的！后面小编在专门搭建日志采集的ELK。

二、三者介绍

1、Elasticsearch

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。

2、Kibana

Kibana 是一个免费且开放的用户界面​，能够让您对 Elasticsearch 数据进行可视化，并让您在 Elastic Stack 中进行导航。您可以进行各种操作，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。

3、Logstash​

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

三、版本选择

现在最新版就是8.5，最新的教程少和问题未知，小编选择7版本的，求一手稳定哈！

于是去hub.docker查看了一下，经常用的版本，最终确定为：7.17.7。

dockerHub官网地址：https://hub.docker.com/_/elasticsearch

官方规定：
安装 Elastic Stack 时，您必须在整个堆栈中使用相同的版本。例如，如果您使用的是 Elasticsearch 7.17.7，则安装 Beats 7.17.7、APM Server 7.17.7、Elasticsearch Hadoop 7.17.7、Kibana 7.17.7 和 Logstash 7.17.7

四、搭建mysql

1、拉去MySQL镜像

sudodockerpullmysql:5.7

(https://img-blog.csdnimg.cn/0709ce9181a04bfcb97504cae7189ba5.png)

2、Docker启动MySQL

sudodockerrun-p3306:3306--namemysql\
-v/mydata/mysql/log:/var/log/mysql\
-v/mydata/mysql/data:/var/lib/mysql\
-v/mydata/mysql/conf:/etc/mysql\
-eMYSQL_ROOT_PASSWORD=root\
-dmysql:5.7
####这里往下是解释,不需要粘贴到linux上#############
--name指定容器名字
-v将对应文件挂载到linux主机上
-e初始化密码
-p容器端口映射到主机的端口(把容器的3306映射到linux中3306,这样windows上就可以访问这个数据库)
-d后台运行

3、Docker配置MySQL

vim/mydata/mysql/conf/my.cnf#创建并进入编辑
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
init_cnotallow='SET collation_connection = utf8_unicode_ci'
init_cnotallow='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve

4、Docker重启MySQL使配置生效

dockerrestartmysql

5、新增数据库

6、新建测试表

DROPTABLEIFEXISTS`sys_log`;
CREATETABLE`sys_log`  (
`id`bigint(20) NOTNULLAUTO_INCREMENTCOMMENT'日志主键',
`title`varchar(50) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'模块标题',
`business_type`int(2) NULLDEFAULT0COMMENT'业务类型（0其它 1新增 2修改 3删除）',
`method`varchar(100) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'方法名称',
`request_method`varchar(10) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'请求方式',
`oper_name`varchar(50) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'操作人员',
`oper_url`varchar(255) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'请求URL',
`oper_ip`varchar(128) CHARACTERSETutf8COLLATEutf8_general_ciNULLDEFAULT''COMMENT'主机地址',
`oper_time`datetime(0) NULLDEFAULTNULLCOMMENT'操作时间',
PRIMARYKEY (`id`) USINGBTREE
) ENGINE=InnoDBAUTO_INCREMENT=1585197503834284034CHARACTERSET=utf8COLLATE=utf8_general_ciCOMMENT='操作日志记录'ROW_FORMAT=Dynamic;

SETFOREIGN_KEY_CHECKS=1;

五、ELK搭建准备

1、创建挂载的文件

es挂载：

mkdir-p/mydata/elk/elasticsearch/{config,plugins,data,logs}

kibana挂载：

mkdir-p/mydata/elk/kibana/config

logstash挂载：

mkdir-p/mydata/elk/logstash/config

2、ES挂载具体配置

vim/mydata/elk/elasticsearch/config/elasticsearch.yml

输入下面命令：

http.host: 0.0.0.0
xpack.security.enabled: false

http.host：任何地址都可以访问。
xpack.security.enabled：关闭密码认证

3、Kibana挂载具体配置

vim /mydata/elk/kibana/config/kibana.yml

内容：

server.host: 0.0.0.0
elasticsearch.hosts: [ "http://192.168.239.131:9200" ]

elasticsearch.hosts：指向es地址

4. Logstash挂载具体配置

vim/mydata/elk/logstash/config/logstash.yml

内容：

http.host: 0.0.0.0
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.239.131:9200" ]

记录存放：

touchlog
chmod777log
vim/mydata/elk/logstash/config/logstash.conf

内容：

jdbc_driver_library​：指定必须要自己下载mysql-connector-java-8.0.28.jar，版本自己决定，下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java；

statement：如果sql长，可以指定sql文件，直接指定文件所在位置，这里的位置都为容器内部的地址；

last_run_metadata_path：上次记录存放文件对应上方的log。

input {
stdin {
    }
jdbc {
jdbc_connection_string=>"jdbc:mysql://192.168.239.131:3306/test?useUnicode=true&characterEncoding=utf8&serverTimeznotallow=UTC"
jdbc_user=>"root"
jdbc_password=>"root"
jdbc_driver_library=>"/usr/share/logstash/config/mysql-connector-java-8.0.28.jar"
jdbc_driver_class=>"com.mysql.jdbc.Driver"
jdbc_paging_enabled=>"true"
jdbc_page_size=>"300000"
statement=>"SELECT id, title, business_type, method, request_method, oper_name, oper_url, oper_ip, oper_time FROM sys_log"
schedule=>"*/1 * * * *"
use_column_value=>false
tracking_column_type=>"timestamp"
tracking_column=>"oper_time"
record_last_run=>true
jdbc_default_timezone=>"Asia/Shanghai"
last_run_metadata_path=>"/usr/share/logstash/config/log"
    }
}

output {
elasticsearch {
hosts=> ["192.168.239.131:9200"]
index=>"sys_log"
document_id=>"%{id}"
    }
stdout {
codec=>json_lines
    }
}

流水线指定上面的配置文件：

vim/mydata/elk/logstash/config/pipelines.yml

内容：

-pipeline.id: sys_log
path.config: "/usr/share/logstash/config/logstash.conf"

最终/mydata/elk/logstash/config/下的文件。

防止保存没有修改权限，可以把上面建的文件夹和文件赋予修改权限：

chmod777文件名称

五、运行容器

1、docker compose一键搭建

在elk目录创建：

vimdocker-compose.yml

内容如下：

version: '3'
services:
elasticsearch:
image: elasticsearch:7.17.7
container_name: elasticsearch
ports:
-"9200:9200"
-"9300:9300"
environment:
-cluster.name=elasticsearch
-discovery.type=single-node
-"ES_JAVA_OPTS=-Xms512m -Xmx512m"
volumes:
-/mydata/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
-/mydata/elk/elasticsearch/data:/usr/share/elasticsearch/data
-/mydata/elk/elasticsearch/logs:/usr/share/elasticsearch/logs

kibana:
image: kibana:7.17.7
container_name: kibana
ports:
-"5601:5601"
depends_on:
-elasticsearch
environment:
I18N_LOCALE: zh-CN
volumes:
-/mydata/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml

logstash:
image: logstash:7.17.7
container_name: logstash
ports:
-"5044:5044"
volumes:
-/mydata/elk/logstash/config:/usr/share/logstash/config
depends_on:
-elasticsearch

一定要在docker-compose.yml所在目录执行命令！

运行：

dockercomposeup-d

完成后可以跳到5进行查看kibana！！

1、运行ES

dockerrun--nameelasticsearch-p9200:9200-p9300:9300-e"discovery.type=single-node"-eES_JAVA_OPTS="-Xms64m -Xmx512m"-v/mydata/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml-v/mydata/elk/elasticsearch/data:/usr/share/elasticsearch/data-v/mydata/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins-delasticsearch:7.17.7

2、运行Kibana

dockerrun--namekibana-eELASTICSEARCH_HOSTS=http://192.168.239.131:9200 -p 5601:5601 -d kibana:7.17.7

3、运行Logstash

dockerrun-d-p5044:5044-v/mydata/elk/logstash/config:/usr/share/logstash/config--namelogstashlogstash:7.17.7

4. 容器完结图

5. 访问Kibana

http://192.168.239.131:5601/app/home#/。

六、新建索引

PUT/sys_log
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0,
"index": {
"max_result_window": 100000000
    }
  },
"mappings": {
"dynamic": "strict",
"properties": {
"@timestamp": {
"type": "date"
      },
"@version": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
          }
        }
      },

"business_type": {
"type": "integer"
      },
"title": {
"type": "text"
      },
"method": {
"type": "text"
      },
"request_method": {
"type": "text"
      },
"oper_name": {
"type": "text"
      },
"oper_url": {
"type": "text"
      },
"oper_ip": {
"type": "text"
      },
"oper_time": {
"type": "date"
      },
"id": {
"type": "long"
      }
    }
  }
}

七、测试

新增几条记录，然后查看Logstash日志

dockerlogs-flogstash

我们去kibana看一下是否已存在：

输入命令：

GET /sys_log/_search
{
  "query": {
    "match_all": {}
  }
}

我们看到存在6条，和mysql一致！！

八、总结

花费了一天时间，终于搭建完成了，太不容易了！下篇文章搭建ELK日志！

文章来源网络，作者：管理，如若转载，请注明出处：https://shuyeidc.com/wp/244249.html<

赞 (0)
管理的头像管理
00
上一篇2025-04-25 15:39
下一篇 2025-04-25 15:41

相关推荐

  • 站群服务器和普通服务器到底哪个更适合GEO，怎么选？技术资讯

    站群服务器和普通服务器到底哪个更适合GEO，怎么选？

    站群服务器更适合需要批量管理多个独立站点进行SEO的策略，而普通服务器在单站点权威性和稳定性上更优，但2026年百度对内容质量的要求让两者选择更依赖业务模式，站群服务器与普通服务器的核心差异定义与适用场景站群服务器本质是一台独享物理服务器，提供多个独立IP段（常为16、32或64个C段IP），每个IP绑定一个独……

    管理的头像管理
    2026-07-28
    0
  • 物理服务器和云服务器做站群到底选哪个，哪个更稳定？技术资讯

    物理服务器和云服务器做站群到底选哪个，哪个更稳定？

    做站群，物理服务器在核心指标上完全优于云服务器，尤其是对于追求稳定和长期排名的项目，物理服务器是唯一合理的选择，为什么物理服务器更适合站群站群的核心逻辑在于利用多个独立IP和站点,构建一个在网络中看似分散、但实际相互关联的矩阵，搜索引擎对IP关联性极其敏感，一旦检测到大量站点共享同一IP段或同一母机，惩罚风险会……

    管理的头像管理
    2026-07-28
    0
  • 国内高防服务器哪家防御真实靠谱，怎么选？技术资讯

    国内高防服务器哪家防御真实靠谱，怎么选？

    国内高防服务器哪家防御真实靠谱？答案很明确：只有那些持证上岗、自建机房、自己掌握清洗算法的服务商才靠得住，简米科技和酷番云就是这类代表，判断高防服务器真实防御能力的三个硬指标很多朋友选高防服务器，上来就问“你家多少G防御”，但数字背后水分很大，要判断防御是否真实,得看这三个方面：防御带宽是否独享？ 有些服务商宣……

    管理的头像管理
    2026-07-28
    0
  • 裸金属服务器和物理服务器有什么区别？，怎么选？技术资讯

    裸金属服务器和物理服务器有什么区别？，怎么选？

    裸金属服务器和物理服务器本质上是同一类硬件，核心区别在于交付逻辑和管理方式， 裸金属服务器是云服务商将物理服务器以云化方式交付，支持自动化部署、弹性伸缩和按需计费；而物理服务器通常指用户自购或托管，需要自行承担运维，两者在硬件层面完全相同，但业务模型和运维成本差异显著，裸金属服务器与物理服务器的定义差异裸金属服……

    管理的头像管理
    2026-07-28
    0
  • 做GEO站群选哪家服务器服务商靠谱，怎么选？技术资讯

    做GEO站群选哪家服务器服务商靠谱，怎么选？

    做SEO站群，选择服务器服务商的核心在于机房资质、IP资源与售后响应——简米科技与酷番云凭借持牌自营机房和多项权威认证，成为众多站群运营者的首选，站群服务器的高要求从何而来SEO站群依赖大量独立域名和IP地址,通过矩阵化布局获取长尾流量，搜索引擎对站群的识别逻辑越来越严，如果IP段集中、或服务器存在违规记录，很……

    管理的头像管理
    2026-07-28
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注