嘿~ 今天天气不错嘛

Elastic日报 第1245期 (2021-11-10)

1. Lucene源码解析——StoredField存储方式

2.如何在 Kibana 的 Discover 界面中让显示图片字段


3. 几种常见的查询性能问题及优化方式--字节:张超


编辑:kin122
归档:
订阅:
沙龙:
继续阅读 »
1. Lucene源码解析——StoredField存储方式

2.如何在 Kibana 的 Discover 界面中让显示图片字段


3. 几种常见的查询性能问题及优化方式--字节:张超


编辑:kin122
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1244期 (2021-11-09)

1. painless 在不同使用场景中的构建示例

2. ES 常见的一些企业使用场景

3. ES 插件开发的极简示例

编辑:斯蒂文
归档:
订阅:
沙龙:
 
继续阅读 »
1. painless 在不同使用场景中的构建示例

2. ES 常见的一些企业使用场景

3. ES 插件开发的极简示例

编辑:斯蒂文
归档:
订阅:
沙龙:
  收起阅读 »

Elastic日报 第1243期 (2021-11-07)

1. 高容错!银行如何搞定PB级非结构化数据的存储与快速搜索


2.作业帮 PB 级低成本日志检索服务


3.多虑了?Elastic中国:我们与云厂商关系很好


编辑:cyberdak
归档:
订阅:
沙龙:
继续阅读 »
1. 高容错!银行如何搞定PB级非结构化数据的存储与快速搜索


2.作业帮 PB 级低成本日志检索服务


3.多虑了?Elastic中国:我们与云厂商关系很好


编辑:cyberdak
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1242期 (2021-11-06)

1.基于es构建影视类知识图谱

2.基于es实现的医学诊断系统]

3.一周热点:双十一买买买防套路指南

继续阅读 »

1.基于es构建影视类知识图谱

2.基于es实现的医学诊断系统]

3.一周热点:双十一买买买防套路指南

收起阅读 »

Elastic日报 第1241期 (2021-11-5)


1、kafka同步Elasticsearch 实战

2、Go语言使用Elasticsearch 指南

3、Elasticsearch 分词器介绍



编辑:铭毅天下
归档:
订阅:
沙龙:
继续阅读 »

1、kafka同步Elasticsearch 实战

2、Go语言使用Elasticsearch 指南

3、Elasticsearch 分词器介绍



编辑:铭毅天下
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1240期 (2021-11-4)

1.腾讯万亿级 Elasticsearch 内存效率提升技术解密


2.Elasticsearch 内存占用分析及 page cache 监控


3.使用 Ansible自动化部署 Elastic Stack


编辑:Se7en
归档:
订阅:
沙龙:
继续阅读 »
1.腾讯万亿级 Elasticsearch 内存效率提升技术解密


2.Elasticsearch 内存占用分析及 page cache 监控


3.使用 Ansible自动化部署 Elastic Stack


编辑:Se7en
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1239期 (2021-11-3)

1. Elasticsearch 如何做到快速检索 - 倒排索引的秘密

2. filebeat 收集 syslog 并自动归类

3. Elasticsearch 快照仓库的内部结构

 
编辑:kin122
归档:
订阅:
沙龙:
继续阅读 »
1. Elasticsearch 如何做到快速检索 - 倒排索引的秘密

2. filebeat 收集 syslog 并自动归类

3. Elasticsearch 快照仓库的内部结构

 
编辑:kin122
归档:
订阅:
沙龙: 收起阅读 »

【杭州衣科】聘: Elasticsearch平台高级工程师/技术专家

公司简介:
杭州衣科信息技术股份有限公司(/)是一家专注于为全产业链提供移动数字解决方案的新型软件公司。 
我们的数字化解决方案,覆盖从工厂,到批发,再到零售的全链路管理,实现打通上下游,连接线上线下的全过程。 
衣科开发了国内首个面向服装行业的移动应用整体解决方案——"商陆花",目前已经成为服装行业信息化领域无可争辩的领导者。2018年,衣科荣获“服装行业信息化影响力企业”奖。 
在服装领域取得巨大成就之后,衣科将多年来深厚的技术积淀与服务经验,向更多行业移植,致力于把“简单.酷科技”带给更多用户。衣科又逐步推出了笑铺日记、连锁日记等多款产品。衣科的全线产品都拥有自主知识产权,并持有多项专利技术。

招聘岗位:
Elasticsearch平台高级工程师/技术专家
地点: 杭州

岗位职责:
1. 负责公司搜索、英超平台的架构设计和建设
2. 对平台的性能、稳定性、安全性、可观测性做持续性优化
3. 和业务研发部门紧密协作,针对业务搜索、实时数据统计的需求,提供数据层架构方案

任职要求:
1. 三年以上Java开发经验,扎实的编码功底,具备独立完成开发项目的能力
2. 理解Elasticsearch集群运作基本原理,对于数据写入和读取过程有清晰的了解
3. 对数据读写存在的性能瓶颈懂得如何分析和优化
4. 熟悉JAVA虚拟机,了解各类GC运作机制
5. 强烈的求知欲,喜好研读开源项目源码,了解其底层运作远离,并具备从源码层面诊断和解决生产环境的疑难杂症的能力
6. 自我驱动力强,能够主动研究新技术、新框架,并适时引入到公司内部,降本增效。
7. 良好的跨团队沟通能力,善于总结,乐于分享

有以下经验者优先考虑:
1. TB级以上Elasticsearch集群架构和维护经历
2. 基于Elasticsearch做过搜索或者数据分析产品的研发
3. 实施过基于ELK的大数据分析和可视化方案
4. 了解Clickhouse,并具备实际项目经验

联系方式:
邮件: [email protected]
微信: kennywu76 
继续阅读 »
公司简介:
杭州衣科信息技术股份有限公司(/)是一家专注于为全产业链提供移动数字解决方案的新型软件公司。 
我们的数字化解决方案,覆盖从工厂,到批发,再到零售的全链路管理,实现打通上下游,连接线上线下的全过程。 
衣科开发了国内首个面向服装行业的移动应用整体解决方案——"商陆花",目前已经成为服装行业信息化领域无可争辩的领导者。2018年,衣科荣获“服装行业信息化影响力企业”奖。 
在服装领域取得巨大成就之后,衣科将多年来深厚的技术积淀与服务经验,向更多行业移植,致力于把“简单.酷科技”带给更多用户。衣科又逐步推出了笑铺日记、连锁日记等多款产品。衣科的全线产品都拥有自主知识产权,并持有多项专利技术。

招聘岗位:
Elasticsearch平台高级工程师/技术专家
地点: 杭州

岗位职责:
1. 负责公司搜索、英超平台的架构设计和建设
2. 对平台的性能、稳定性、安全性、可观测性做持续性优化
3. 和业务研发部门紧密协作,针对业务搜索、实时数据统计的需求,提供数据层架构方案

任职要求:
1. 三年以上Java开发经验,扎实的编码功底,具备独立完成开发项目的能力
2. 理解Elasticsearch集群运作基本原理,对于数据写入和读取过程有清晰的了解
3. 对数据读写存在的性能瓶颈懂得如何分析和优化
4. 熟悉JAVA虚拟机,了解各类GC运作机制
5. 强烈的求知欲,喜好研读开源项目源码,了解其底层运作远离,并具备从源码层面诊断和解决生产环境的疑难杂症的能力
6. 自我驱动力强,能够主动研究新技术、新框架,并适时引入到公司内部,降本增效。
7. 良好的跨团队沟通能力,善于总结,乐于分享

有以下经验者优先考虑:
1. TB级以上Elasticsearch集群架构和维护经历
2. 基于Elasticsearch做过搜索或者数据分析产品的研发
3. 实施过基于ELK的大数据分析和可视化方案
4. 了解Clickhouse,并具备实际项目经验

联系方式:
邮件: [email protected]
微信: kennywu76  收起阅读 »

Elastic日报 第 1238 期 (2021-11-02)

1. Solr VS Elasticsearch:最有名的开源搜索引擎之二的battle


2. Elastic beats 介绍以及他们在ELK中的适用场景


3. Elasticsearch 词频统计的四种方案


编辑:斯蒂文
归档:
订阅:
沙龙:
继续阅读 »
1. Solr VS Elasticsearch:最有名的开源搜索引擎之二的battle


2. Elastic beats 介绍以及他们在ELK中的适用场景


3. Elasticsearch 词频统计的四种方案


编辑:斯蒂文
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1236期 (2021-10-31)



1. Elastic 社区大会2021: Elasticsearch和GraphQL的一封情书-哔哩哔哩

2.使用 Elastic Stack 构建 Kubernetes 全栈监控

3.Elastic APM监控Springboot程序


编辑:cyberdak
归档:
订阅:
沙龙:
继续阅读 »


1. Elastic 社区大会2021: Elasticsearch和GraphQL的一封情书-哔哩哔哩

2.使用 Elastic Stack 构建 Kubernetes 全栈监控

3.Elastic APM监控Springboot程序


编辑:cyberdak
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1235期 (2021-10-30)

1.基于elasticsearch的KBQA实现及示例

2.ElasticSearch 处理自然语言流程

3.一周热点:新冠疫苗加强针开打,你关心的五个问题都有回应了

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
继续阅读 »

1.基于elasticsearch的KBQA实现及示例

2.ElasticSearch 处理自然语言流程

3.一周热点:新冠疫苗加强针开打,你关心的五个问题都有回应了

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
收起阅读 »

ES容灾技术探讨和测试

ES灾备技术调研

早就听说极限网关了,最近有个ES要做灾备,就搜集了下技术方案:

  1. 应用双写两个集群

  2. 跨集群复制CCR

  3. 极限网关

三个方案的优缺点我也简单整理了下:

  1. 优点:自主研发,想怎样就怎样;缺点:难,水平、时间都是成本

  2. 优点:实施简单;缺点:需要license

  3. 优点:部署灵活,功能齐全;缺点:不熟悉,没用过

貌似方案 3,比较理想。不熟悉,那就多用用,测试测试找找感觉。

测试环境 笔记本

主集群:A 7.14.1 10.0.2.15:9214 Rbac+tls 节点数:1
备集群:B 7.13.2 10.0.2.15:9213 Rbac+tls 节点数:2
极限网关 1.3.0 0.0.0.0:8000 tls 实例数:1

wpsF088.tmp_.jpg

wpsF089.tmp_.jpg

网关下载

先下载极限网关:https://release.www.ksh17j.com/gateway/snapshot/

解压后,可看到有几个预定义的配置,方便大家快速上车。

wpsF08A.tmp_.jpg

网关配置

这次是做灾备,应该就是在 dc-replica.yml的基础上改比较妥当,配置还是比较多的 300多行,很多都是为了保证两个集群数据一致性,解耦啥的做的判断和写队列之类的设置。我只修改了 elasticsearch资源的定义信息,还有网关也可选择tls,不用手工生成证书,非常方便。

贴下我修改的地方

wpsF08B.tmp_.jpg

wpsF08C.tmp_.jpg

启动网关

wpsF08D.tmp_.jpg

两个集群都是 available ,说明连接应该ok

测试场景:围绕主备集群之间数据复制展开

1. 主备集群间复制创建、写入、删除索引操作

目的:对网关(A集群)创建索引test,对test索引写文档,能自动同步到B集群

初始情况A、B无test

wpsF09E.tmp_.jpg
wpsF09F.tmp_.jpg

手工put test索引到网关

wpsF0A0.tmp_.jpg
wpsF0A1.tmp_.jpg
wpsF0A2.tmp_.jpg
A,B集群都创建成功

用loadgen写点文档进去吧,loadgen直接写网关

wpsF0A3.tmp_.jpg

wpsF0A4.tmp_.jpg

wpsF0A5.tmp_.jpg

都10000条写入成功,如果查看是0的话,先refresh下索引

看下文档

wpsF0A6.tmp_.jpg

简单校验一下

wpsF0A7.tmp_.jpg

wpsF0A8.tmp_.jpg

感觉没问题,删点文档看看,把那23个删了吧

wpsF0A9.tmp_.jpg

再看看

wpsF0AA.tmp_.jpg

wpsF0BA.tmp_.jpg

更新524个文档看看

wpsF0BB.tmp_.jpg

wpsF0BC.tmp_.jpg

wpsF0BD.tmp_.jpg

增、删、改 完事

2. 主集群故障的处理和恢复

目的:主集群故障后,网关如何处理收到的请求:读、写

Kill 掉 A 集群,模拟主集群故障

网关直接有报错说连不上A集群

此时对网关查询、写入数据都会报错

wpsF0BE.tmp_.jpg

重新启动主集群后,一切正常

3. 备集群故障的处理和恢复

目的:备集群故障,读、写主集群不受影响,备集群恢复后,自动追数据直到两边数据一致

Kill 掉B集群,网关报错,B集群无法连接

wpsF0BF.tmp_.jpg

对A集群进行写入一个新文档,并查询下

wpsF0C0.tmp_.jpg

wpsF0C1.tmp_.jpg

启动B集群,查看,已自动添加了新的文档

wpsF0C2.tmp_.jpg

4. 主集群容灾切换

目的:主集群故障,短时间不可用,网关切换指向备集群作为主集群,A集群作为备集群;待A集群恢复后,自动追数据

KILL A 集群 模拟A集群故障

Kill 网关,切换配置:

wpsF0C3.tmp_.jpg

启动网关,B是主了,available

wpsF0C4.tmp_.jpg

写B集群,删除前面创建的 test 索引,新建test2索引,并插入文档

wpsF0C5.tmp_.jpg

wpsF0D6.tmp_.jpg

启动A集群,检查数据,有test2索引,且文档一致

wpsF0D7.tmp_.jpg

5. 主集群故障恢复后,网关回切

目的:假设A集群已经完全恢复,网关回切,A集群为主,B集群为备

Kill网关,恢复配置,再启动网关

再次测试写入test2 检查能否同步成功

写网关

wpsF0D8.tmp_.jpg

查看A集群

wpsF0D9.tmp_.jpg

查看B集群

wpsF0DA.tmp_.jpg

两个集群数据一致,主备角色也恢复到最初了

**测试环境变更

中间工作比较忙,中断了测试,也就十来天吧

不成想 网关更新了,我就下了新版本的gateway和ES-7.15.1 继续捣鼓

环境 笔记本

主集群:es-751primary 7.15.1 10.0.2.15:7151 No:Rbac、tls 节点数:1
备集群:es-751backup 7.15.1 10.0.2.15:7152 No:Rbac、tls 节点数:1
极限网关 场景6:1.4.0场景7:1.5.0 0.0.0.0:8000 No:tls 实例数:1

wpsF0DB.tmp_.jpg

网关不光版本升级了,配置文件也稍稍有些变化,新版本示例配置如下

wpsF0DC.tmp_.jpg

本着不会就猜的原则,我还是能做到见名之知意的

我仅仅对 cross-cluster-replication.yml 做了简单的修改,就是和前面一样

6. ES由代理暴露的能否正常工作

目的:检验,比如由nginx代理ES的时候,网关能否正常工作

使用 nginx 代理后端的ES

80-->primary

81-->backup

wpsF0DD.tmp_.jpg

测试下反向代理工作是否正常

wpsF0DE.tmp_.jpg

启动网关,网关里elasticsearch资源指向nginx,没错就改了下 url

wpsF0DF.tmp_.jpg

开始测试,增删改查 once more,还是对着网关操作

创建索引

wpsF0E0.tmp_.jpg

PUT 文档

wpsF0F0.tmp_.jpg

抄家伙

wpsF0F1.tmp_.jpg

看看数量

wpsF0F2.tmp_.jpg

简单对比下

wpsF0F3.tmp_.jpg
给 code为500的文档增加一个字段 new_field

wpsF0F4.tmp_.jpg

直接通过代理查询,检验数据

wpsF0F5.tmp_.jpg

没问题,测试删除

删除单条

wpsF0F6.tmp_.jpg

wpsF0F7.tmp_.jpg

wpsF0F8.tmp_.jpg

批量删除

wpsF0F9.tmp_.jpg

看看结果

wpsF0FA.tmp_.jpg

删除索引,并确认真的删除

wpsF10B.tmp_.jpg

关调backup集群,然后primary集群创建索引后,再启动backup集群,看能否自动追平

wpsF10C.tmp_.jpg

创建test2索引

wpsF10D.tmp_.jpg

顺手put个文档

wpsF10E.tmp_.jpg

Primary上查看

wpsF10F.tmp_.jpg

OK 启动backup

wpsF110.tmp_.jpg

妈的 奇迹

7. 请求压缩功能如何

目的:看看客户端和网关分别在不同的请求压缩配置下,是否工作正常

在网关的配置中,看到了 compress 压缩,也设计几个场景测试下

网关配置里面有个压缩的配置,意思是消费线程往ES发送请求的时候是否启用gzip压缩。

默认是 true

wpsF111.tmp_.jpg

7.1 用压缩的方式写网关,但网关不启用压缩

我们把网关配置中的true改成false

wpsF112.tmp_.jpg

启动网关

wpsF113.tmp_.jpg

开始写数据,写的过程中,随机停止backup集群,等待一会儿后再启动

wpsF114.tmp_.jpg

网关可看到 backup集群,从不可用到可用

wpsF115.tmp_.jpg

看看网关的队列情况,这时候backup队列应该堆积了不少请求

wpsF116.tmp_.jpg

等待队列被消费完后,我们对比数据。

wpsF117.tmp_.jpg

简单看看文档条数

wpsF128.tmp_.jpg

wpsF129.tmp_.jpg

用网关对比下数据看看

wpsF12A.tmp_.jpg

妥妥的一致

7.2 用压缩的方式写网关,网关也启用压缩

就把前面网关贴图的false改成true

启动网关

wpsF12B.tmp_.jpg

压缩写入

wpsF12C.tmp_.jpg

写入过程中,随机重启backup集群

网关日志

wpsF12D.tmp_.jpg

等待网关backup队列消费完毕,后对比数据

wpsF12E.tmp_.jpg

wpsF12F.tmp_.jpg

没得问题,下一场

7.3 用不压缩的方式写网关,网关也不启用压缩

网关配置compress: false,后启动网关

wpsF130.tmp_.jpg

不压缩请求

wpsF131.tmp_.jpg

中途随机重启backup集群

wpsF132.tmp_.jpg

队列消费完后对比数据

wpsF133.tmp_.jpg

数据一致

7.4 用不压缩的方式写网关,网关backup队列的消费线程使用压缩

wpsF134.tmp_.jpg

写入过程中,停止backup集群,稍等一会儿后启动backup集群

wpsF135.tmp_.jpg

观察网关的backup 队列情况

wpsF145.tmp_.jpg

等消费完之后,我们对比数据

数量一致

wpsF146.tmp_.jpg

wpsF147.tmp_.jpg

用网关来对比下两个集群的test索引的数据

wpsF148.tmp_.jpg

至此,关于跨集群复制的场景测试可以告一段落了,功能大家也看到了确实强大,部署也很灵活,对环境无侵入,直接把应用连接ES的地址、端口改下就行。或者网关直接监听9200端口,替换原有的协调节点,应用无感知。

此外,极限网关还有很多别的使用场景和激动人心的功能,像在线修改查询、请求限流、请求流量分析,这都是保障ES集群稳定运行的手段。

看到一款国产软件如此强大很欣慰,很激动。希望各位感兴趣的小伙伴也下载测试下自己的场景,我们ES圈(论坛)多交流交流。让我也看看你们的场景和测试是怎样的。

最后一个图,我也不知道咋回事,请忽略。

继续阅读 »

ES灾备技术调研

早就听说极限网关了,最近有个ES要做灾备,就搜集了下技术方案:

  1. 应用双写两个集群

  2. 跨集群复制CCR

  3. 极限网关

三个方案的优缺点我也简单整理了下:

  1. 优点:自主研发,想怎样就怎样;缺点:难,水平、时间都是成本

  2. 优点:实施简单;缺点:需要license

  3. 优点:部署灵活,功能齐全;缺点:不熟悉,没用过

貌似方案 3,比较理想。不熟悉,那就多用用,测试测试找找感觉。

测试环境 笔记本

主集群:A 7.14.1 10.0.2.15:9214 Rbac+tls 节点数:1
备集群:B 7.13.2 10.0.2.15:9213 Rbac+tls 节点数:2
极限网关 1.3.0 0.0.0.0:8000 tls 实例数:1

wpsF088.tmp_.jpg

wpsF089.tmp_.jpg

网关下载

先下载极限网关:https://release.www.ksh17j.com/gateway/snapshot/

解压后,可看到有几个预定义的配置,方便大家快速上车。

wpsF08A.tmp_.jpg

网关配置

这次是做灾备,应该就是在 dc-replica.yml的基础上改比较妥当,配置还是比较多的 300多行,很多都是为了保证两个集群数据一致性,解耦啥的做的判断和写队列之类的设置。我只修改了 elasticsearch资源的定义信息,还有网关也可选择tls,不用手工生成证书,非常方便。

贴下我修改的地方

wpsF08B.tmp_.jpg

wpsF08C.tmp_.jpg

启动网关

wpsF08D.tmp_.jpg

两个集群都是 available ,说明连接应该ok

测试场景:围绕主备集群之间数据复制展开

1. 主备集群间复制创建、写入、删除索引操作

目的:对网关(A集群)创建索引test,对test索引写文档,能自动同步到B集群

初始情况A、B无test

wpsF09E.tmp_.jpg
wpsF09F.tmp_.jpg

手工put test索引到网关

wpsF0A0.tmp_.jpg
wpsF0A1.tmp_.jpg
wpsF0A2.tmp_.jpg
A,B集群都创建成功

用loadgen写点文档进去吧,loadgen直接写网关

wpsF0A3.tmp_.jpg

wpsF0A4.tmp_.jpg

wpsF0A5.tmp_.jpg

都10000条写入成功,如果查看是0的话,先refresh下索引

看下文档

wpsF0A6.tmp_.jpg

简单校验一下

wpsF0A7.tmp_.jpg

wpsF0A8.tmp_.jpg

感觉没问题,删点文档看看,把那23个删了吧

wpsF0A9.tmp_.jpg

再看看

wpsF0AA.tmp_.jpg

wpsF0BA.tmp_.jpg

更新524个文档看看

wpsF0BB.tmp_.jpg

wpsF0BC.tmp_.jpg

wpsF0BD.tmp_.jpg

增、删、改 完事

2. 主集群故障的处理和恢复

目的:主集群故障后,网关如何处理收到的请求:读、写

Kill 掉 A 集群,模拟主集群故障

网关直接有报错说连不上A集群

此时对网关查询、写入数据都会报错

wpsF0BE.tmp_.jpg

重新启动主集群后,一切正常

3. 备集群故障的处理和恢复

目的:备集群故障,读、写主集群不受影响,备集群恢复后,自动追数据直到两边数据一致

Kill 掉B集群,网关报错,B集群无法连接

wpsF0BF.tmp_.jpg

对A集群进行写入一个新文档,并查询下

wpsF0C0.tmp_.jpg

wpsF0C1.tmp_.jpg

启动B集群,查看,已自动添加了新的文档

wpsF0C2.tmp_.jpg

4. 主集群容灾切换

目的:主集群故障,短时间不可用,网关切换指向备集群作为主集群,A集群作为备集群;待A集群恢复后,自动追数据

KILL A 集群 模拟A集群故障

Kill 网关,切换配置:

wpsF0C3.tmp_.jpg

启动网关,B是主了,available

wpsF0C4.tmp_.jpg

写B集群,删除前面创建的 test 索引,新建test2索引,并插入文档

wpsF0C5.tmp_.jpg

wpsF0D6.tmp_.jpg

启动A集群,检查数据,有test2索引,且文档一致

wpsF0D7.tmp_.jpg

5. 主集群故障恢复后,网关回切

目的:假设A集群已经完全恢复,网关回切,A集群为主,B集群为备

Kill网关,恢复配置,再启动网关

再次测试写入test2 检查能否同步成功

写网关

wpsF0D8.tmp_.jpg

查看A集群

wpsF0D9.tmp_.jpg

查看B集群

wpsF0DA.tmp_.jpg

两个集群数据一致,主备角色也恢复到最初了

**测试环境变更

中间工作比较忙,中断了测试,也就十来天吧

不成想 网关更新了,我就下了新版本的gateway和ES-7.15.1 继续捣鼓

环境 笔记本

主集群:es-751primary 7.15.1 10.0.2.15:7151 No:Rbac、tls 节点数:1
备集群:es-751backup 7.15.1 10.0.2.15:7152 No:Rbac、tls 节点数:1
极限网关 场景6:1.4.0场景7:1.5.0 0.0.0.0:8000 No:tls 实例数:1

wpsF0DB.tmp_.jpg

网关不光版本升级了,配置文件也稍稍有些变化,新版本示例配置如下

wpsF0DC.tmp_.jpg

本着不会就猜的原则,我还是能做到见名之知意的

我仅仅对 cross-cluster-replication.yml 做了简单的修改,就是和前面一样

6. ES由代理暴露的能否正常工作

目的:检验,比如由nginx代理ES的时候,网关能否正常工作

使用 nginx 代理后端的ES

80-->primary

81-->backup

wpsF0DD.tmp_.jpg

测试下反向代理工作是否正常

wpsF0DE.tmp_.jpg

启动网关,网关里elasticsearch资源指向nginx,没错就改了下 url

wpsF0DF.tmp_.jpg

开始测试,增删改查 once more,还是对着网关操作

创建索引

wpsF0E0.tmp_.jpg

PUT 文档

wpsF0F0.tmp_.jpg

抄家伙

wpsF0F1.tmp_.jpg

看看数量

wpsF0F2.tmp_.jpg

简单对比下

wpsF0F3.tmp_.jpg
给 code为500的文档增加一个字段 new_field

wpsF0F4.tmp_.jpg

直接通过代理查询,检验数据

wpsF0F5.tmp_.jpg

没问题,测试删除

删除单条

wpsF0F6.tmp_.jpg

wpsF0F7.tmp_.jpg

wpsF0F8.tmp_.jpg

批量删除

wpsF0F9.tmp_.jpg

看看结果

wpsF0FA.tmp_.jpg

删除索引,并确认真的删除

wpsF10B.tmp_.jpg

关调backup集群,然后primary集群创建索引后,再启动backup集群,看能否自动追平

wpsF10C.tmp_.jpg

创建test2索引

wpsF10D.tmp_.jpg

顺手put个文档

wpsF10E.tmp_.jpg

Primary上查看

wpsF10F.tmp_.jpg

OK 启动backup

wpsF110.tmp_.jpg

妈的 奇迹

7. 请求压缩功能如何

目的:看看客户端和网关分别在不同的请求压缩配置下,是否工作正常

在网关的配置中,看到了 compress 压缩,也设计几个场景测试下

网关配置里面有个压缩的配置,意思是消费线程往ES发送请求的时候是否启用gzip压缩。

默认是 true

wpsF111.tmp_.jpg

7.1 用压缩的方式写网关,但网关不启用压缩

我们把网关配置中的true改成false

wpsF112.tmp_.jpg

启动网关

wpsF113.tmp_.jpg

开始写数据,写的过程中,随机停止backup集群,等待一会儿后再启动

wpsF114.tmp_.jpg

网关可看到 backup集群,从不可用到可用

wpsF115.tmp_.jpg

看看网关的队列情况,这时候backup队列应该堆积了不少请求

wpsF116.tmp_.jpg

等待队列被消费完后,我们对比数据。

wpsF117.tmp_.jpg

简单看看文档条数

wpsF128.tmp_.jpg

wpsF129.tmp_.jpg

用网关对比下数据看看

wpsF12A.tmp_.jpg

妥妥的一致

7.2 用压缩的方式写网关,网关也启用压缩

就把前面网关贴图的false改成true

启动网关

wpsF12B.tmp_.jpg

压缩写入

wpsF12C.tmp_.jpg

写入过程中,随机重启backup集群

网关日志

wpsF12D.tmp_.jpg

等待网关backup队列消费完毕,后对比数据

wpsF12E.tmp_.jpg

wpsF12F.tmp_.jpg

没得问题,下一场

7.3 用不压缩的方式写网关,网关也不启用压缩

网关配置compress: false,后启动网关

wpsF130.tmp_.jpg

不压缩请求

wpsF131.tmp_.jpg

中途随机重启backup集群

wpsF132.tmp_.jpg

队列消费完后对比数据

wpsF133.tmp_.jpg

数据一致

7.4 用不压缩的方式写网关,网关backup队列的消费线程使用压缩

wpsF134.tmp_.jpg

写入过程中,停止backup集群,稍等一会儿后启动backup集群

wpsF135.tmp_.jpg

观察网关的backup 队列情况

wpsF145.tmp_.jpg

等消费完之后,我们对比数据

数量一致

wpsF146.tmp_.jpg

wpsF147.tmp_.jpg

用网关来对比下两个集群的test索引的数据

wpsF148.tmp_.jpg

至此,关于跨集群复制的场景测试可以告一段落了,功能大家也看到了确实强大,部署也很灵活,对环境无侵入,直接把应用连接ES的地址、端口改下就行。或者网关直接监听9200端口,替换原有的协调节点,应用无感知。

此外,极限网关还有很多别的使用场景和激动人心的功能,像在线修改查询、请求限流、请求流量分析,这都是保障ES集群稳定运行的手段。

看到一款国产软件如此强大很欣慰,很激动。希望各位感兴趣的小伙伴也下载测试下自己的场景,我们ES圈(论坛)多交流交流。让我也看看你们的场景和测试是怎样的。

最后一个图,我也不知道咋回事,请忽略。

收起阅读 »

Elasticsearch:从 Spring Boot 应用中连接 Elasticsearch

我将使用库 spring-boot-starter-data-elasticsearch  来和 Elasticsearch 进行连接。这种方法非常简单直接。 
继续阅读 »
我将使用库 spring-boot-starter-data-elasticsearch  来和 Elasticsearch 进行连接。这种方法非常简单直接。  收起阅读 »

Elastic日报 第1233期 (2021-10-24)

1. 使用Elastic Stack 称为可观测性专家


2. ElasticSearch从0到集群高可用实战


3. Elasticsearch 高基数聚合性能提升3倍,改动了什么?


编辑:cyberdak
归档:
订阅:
沙龙:
继续阅读 »
1. 使用Elastic Stack 称为可观测性专家


2. ElasticSearch从0到集群高可用实战


3. Elasticsearch 高基数聚合性能提升3倍,改动了什么?


编辑:cyberdak
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1232期 (2021-10-23)

1.基于rust实现的es-dsl库

2.使用es进行url搜索

3.一周热点:央视网评|李云迪跌落神坛完全是自作孽

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
继续阅读 »

1.基于rust实现的es-dsl库

2.使用es进行url搜索

3.一周热点:央视网评|李云迪跌落神坛完全是自作孽

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
收起阅读 »