用了Elasticsearch,一口气上5T

Elastic日报 第1259期 (2021-11-23)

1. 排查Elasticsearch本机内存泄漏


2. 国外某大佬设计的一套ES练习题


3. rebalance功能及源码解析


编辑:斯蒂文
归档:[](l)  
订阅:[](b)  
沙龙:[](p)
继续阅读 »
1. 排查Elasticsearch本机内存泄漏


2. 国外某大佬设计的一套ES练习题


3. rebalance功能及源码解析


编辑:斯蒂文
归档:[](l)  
订阅:[](b)  
沙龙:[](p) 收起阅读 »

Elastic日报 第1258期 (2021-11-22)

1. Beats:使用 Filebeat 中的 HTTP JSON input 来摄入网络服务数据


2. Kibana:如何在 Maps 应用中显示图片提示


3. elasticsearch-script-painless-使用说明与实践



编辑:Word缘
归档:
订阅:
沙龙:
继续阅读 »
1. Beats:使用 Filebeat 中的 HTTP JSON input 来摄入网络服务数据


2. Kibana:如何在 Maps 应用中显示图片提示


3. elasticsearch-script-painless-使用说明与实践



编辑:Word缘
归档:
订阅:
沙龙: 收起阅读 »

发布一个免费的 Elasticsearch 多集群监控和管理平台 - 极限数据平台

随着单个 Elasticsearch 集群规模的越来越大,大家要么在拆集群的路上,要么是已经是多套集群了, 据路边社消息,一个公司超过5个集群的情况已经变得非常普遍,而管理多个集群着实是有点痛苦,比如常规的玩法可能是一套集群一个 Kibana,集群一多,切换来切换去就有点懵圈了有木有?

fansile.gif

作为一个优雅的程序员或者运维管理员,是可忍孰不可忍啊。

另外,多个集群的监控也是一个麻烦事,目前常见的几种监控如:

  • 使用 Kibana 自带的监控
  • 使用 Prometheus + Grafana
  • 使用 Zabbix

Kibana 自带的监控可以很好的满足单个集群的监控场景,不过集群规模大了之后,经常会出现指标丢失的问题,如果使用单独的监控集群,需要修改每个节点的配置,集群都需要重启,对于已经上了生产的集群,有点不方便,另外多集群监控需要商业授权。

e82a31225ca28ed8029e0681f9346ee2.gif

那 Prometheus 呢, 一个 Elasticsearch 集群如果要监控起来,首先需要部署一个 Exporter 来暴露集群指标,然后部署一套Prometheus 来采集 Elasticsearch 指标,采集完了之后再部署一套 Grafana 来进行报表分析,不同的集群要做好切换,简单的事情,搞复杂了,整个监控体系偏重,维护成本高。

Zabbix 和 Prometheus 的场景差不多,就不赘述了。

530a83558eabaa4ae4eb25501349a7a3_16590_250_187.jpeg

那么问题来了,有没有一个更加简单方便的多集群监控和管理方案呢,并且要支持不同版本的集群,最好是 v2、v5、v6、v7 以及最新的 v8 都能统统接管,哈哈,没错了,这里给大家介绍一个我们极限实验室团队最近开发出来的一款免费的多集群监控和管理工具-极限数据平台,目前版本 v0.1,新鲜出炉。

废话不多少,咱们直接看图说话:

Jietu20211122-183111.jpg

首先是多集群的纳管,目前从 1.0 到最新的 8.0 统统都可以接进来。

Jietu20211122-183020.jpg

然后就是集群的监控拉,要多简单有多简单,就是一个开关的事情,注册集群的时候,启用即开启监控,目标集群啥都不用动,费那劲干啥。

监控界面如图:

Jietu20211122-183309.jpg

集群概览,总体情况一目了然。

Jietu20211122-183438.jpg

各个节点信息,分门别类。

Jietu20211122-183504.jpg

各个索引级别的信息,挨个查看。

Jietu20211122-183558.jpg

多个集群之间的监控查看一键切换,非常方便。

查看监控的时候,发现不对劲,要操作一下集群,直接调出控制台,如下图:

Jietu20211122-183717.jpg

常用的操作命令,可以保存起来,方便下次使用。

Jietu20211122-183815.jpg

别再保存在记事本里面了,下次又找不到,直接加载执行就好了。

Jietu20211122-183924.jpg

好了,你要是用 Elasticsearch 不知道这个工具,那就 out 了,赶快耍起来吧。

下载地址:

https://release.www.ksh17j.com/console/snapshot/

安装巨简单,简直懒得说,一个二进制可执行文件,一个 yml 配置文件,里面修改 Elasticsearch 地址,结束。

可以在这里查看

最后,欢迎关注极限实验室,获取更多 Elasticsearch 免费工具及业界资讯的第一手消息。

WechatIMG700.jpeg

继续阅读 »

随着单个 Elasticsearch 集群规模的越来越大,大家要么在拆集群的路上,要么是已经是多套集群了, 据路边社消息,一个公司超过5个集群的情况已经变得非常普遍,而管理多个集群着实是有点痛苦,比如常规的玩法可能是一套集群一个 Kibana,集群一多,切换来切换去就有点懵圈了有木有?

fansile.gif

作为一个优雅的程序员或者运维管理员,是可忍孰不可忍啊。

另外,多个集群的监控也是一个麻烦事,目前常见的几种监控如:

  • 使用 Kibana 自带的监控
  • 使用 Prometheus + Grafana
  • 使用 Zabbix

Kibana 自带的监控可以很好的满足单个集群的监控场景,不过集群规模大了之后,经常会出现指标丢失的问题,如果使用单独的监控集群,需要修改每个节点的配置,集群都需要重启,对于已经上了生产的集群,有点不方便,另外多集群监控需要商业授权。

e82a31225ca28ed8029e0681f9346ee2.gif

那 Prometheus 呢, 一个 Elasticsearch 集群如果要监控起来,首先需要部署一个 Exporter 来暴露集群指标,然后部署一套Prometheus 来采集 Elasticsearch 指标,采集完了之后再部署一套 Grafana 来进行报表分析,不同的集群要做好切换,简单的事情,搞复杂了,整个监控体系偏重,维护成本高。

Zabbix 和 Prometheus 的场景差不多,就不赘述了。

530a83558eabaa4ae4eb25501349a7a3_16590_250_187.jpeg

那么问题来了,有没有一个更加简单方便的多集群监控和管理方案呢,并且要支持不同版本的集群,最好是 v2、v5、v6、v7 以及最新的 v8 都能统统接管,哈哈,没错了,这里给大家介绍一个我们极限实验室团队最近开发出来的一款免费的多集群监控和管理工具-极限数据平台,目前版本 v0.1,新鲜出炉。

废话不多少,咱们直接看图说话:

Jietu20211122-183111.jpg

首先是多集群的纳管,目前从 1.0 到最新的 8.0 统统都可以接进来。

Jietu20211122-183020.jpg

然后就是集群的监控拉,要多简单有多简单,就是一个开关的事情,注册集群的时候,启用即开启监控,目标集群啥都不用动,费那劲干啥。

监控界面如图:

Jietu20211122-183309.jpg

集群概览,总体情况一目了然。

Jietu20211122-183438.jpg

各个节点信息,分门别类。

Jietu20211122-183504.jpg

各个索引级别的信息,挨个查看。

Jietu20211122-183558.jpg

多个集群之间的监控查看一键切换,非常方便。

查看监控的时候,发现不对劲,要操作一下集群,直接调出控制台,如下图:

Jietu20211122-183717.jpg

常用的操作命令,可以保存起来,方便下次使用。

Jietu20211122-183815.jpg

别再保存在记事本里面了,下次又找不到,直接加载执行就好了。

Jietu20211122-183924.jpg

好了,你要是用 Elasticsearch 不知道这个工具,那就 out 了,赶快耍起来吧。

下载地址:

https://release.www.ksh17j.com/console/snapshot/

安装巨简单,简直懒得说,一个二进制可执行文件,一个 yml 配置文件,里面修改 Elasticsearch 地址,结束。

可以在这里查看

最后,欢迎关注极限实验室,获取更多 Elasticsearch 免费工具及业界资讯的第一手消息。

WechatIMG700.jpeg

收起阅读 »

Elastic日报 第1257期 (2021-11-21)

1.使用helm部署EFK日志平台


2.elasticsearch发展历程


3.负载均衡在elasticsearch中的应用


编辑:cyberdak
归档:
订阅:
沙龙:
继续阅读 »
1.使用helm部署EFK日志平台


2.elasticsearch发展历程


3.负载均衡在elasticsearch中的应用


编辑:cyberdak
归档:
订阅:
沙龙: 收起阅读 »

极限网关入门视频教程已发布

录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:) 

 
 
极限网关地址:
继续阅读 »
录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:) 

 
 
极限网关地址: 收起阅读 »

Elastic日报 第1256期 (2021-11-20)

1.term_enum api使用举例

2.日语分词插件

3.一周热点:北交所开市

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
继续阅读 »

1.term_enum api使用举例

2.日语分词插件

3.一周热点:北交所开市

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
收起阅读 »

Elastic日报 第1255期 (2021-11-19)

1、Elasticsearch 集群docker化部署(热乎刚开源)

2、WordPress + Elasticsearch 会发生什么?

3、基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统


编辑:铭毅天下
归档:
订阅:
沙龙:
继续阅读 »
1、Elasticsearch 集群docker化部署(热乎刚开源)

2、WordPress + Elasticsearch 会发生什么?

3、基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统


编辑:铭毅天下
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1254期 (2021-11-18)

1.剖析Elasticsearch的IndexSorting:一种查询性能优化利器


2.使用 Elasticsearch field collapse 折叠搜索结果


3. Elastic Stack 初学者快速入门课程


编辑:Se7en  
归档:
订阅:
沙龙:
继续阅读 »
1.剖析Elasticsearch的IndexSorting:一种查询性能优化利器


2.使用 Elasticsearch field collapse 折叠搜索结果


3. Elastic Stack 初学者快速入门课程


编辑:Se7en  
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1253期 (2021-11-17)

1.filebeat 源码分析

2. 一篇文章搞懂Filebeat

3. Beats:使用 Filebeat 中的 filestream 输入更快速、更轻松地读取活动日志文件


编辑:kin122
归档:
订阅:
沙龙:
继续阅读 »
1.filebeat 源码分析

2. 一篇文章搞懂Filebeat

3. Beats:使用 Filebeat 中的 filestream 输入更快速、更轻松地读取活动日志文件


编辑:kin122
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第 1252 期 (2021-11-16)

1. 聊聊 Elasticsearch 的查询毛刺


2. Elasticsearch性能调优之毫秒级搜索POI业务


3. 企业数字化转型的主要制约


编辑:斯蒂文
归档:
订阅:
沙龙:
继续阅读 »
1. 聊聊 Elasticsearch 的查询毛刺


2. Elasticsearch性能调优之毫秒级搜索POI业务


3. 企业数字化转型的主要制约


编辑:斯蒂文
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1250期 (2021-11-014)

1. 广告倒排索引架构与优化


2.【Elasticsearch源码解析】从Lucene开始


3.elasticsearch插件的开发--计算特征向量的相似度


编辑:cyberdak
归档:
订阅:
沙龙:
继续阅读 »
1. 广告倒排索引架构与优化


2.【Elasticsearch源码解析】从Lucene开始


3.elasticsearch插件的开发--计算特征向量的相似度


编辑:cyberdak
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1247期 (2021-11-12)

1. Elasticsearch 异步搜索 Async search 实战

2.TB级微服务海量日志监控平台

3. Lucene源码解析——DocValue存储方式


编辑:kin122
归档:
订阅:
沙龙:
继续阅读 »
1. Elasticsearch 异步搜索 Async search 实战

2.TB级微服务海量日志监控平台

3. Lucene源码解析——DocValue存储方式


编辑:kin122
归档:
订阅:
沙龙: 收起阅读 »

Elastic日报 第1249期 (2021-11-13)

1.知识图谱-基于ES和gAnswer构建智能问答系统

2.使用BM25F和combined_fields优化term查询打分

3.一周热点:电影推荐《扬名立万》

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
继续阅读 »

1.知识图谱-基于ES和gAnswer构建智能问答系统

2.使用BM25F和combined_fields优化term查询打分

3.一周热点:电影推荐《扬名立万》

  • 编辑:bsll

  • 归档:

  • 订阅:

  • 沙龙:
收起阅读 »

Elastic 中国开发者大会 2021 开启了,预热铁粉票已开抢,手慢无!


banner-1080x640-infini.png

Elastic 中国开发者大会 2021 是由 Elastic 官方、Elastic 足球社区和极限科技联合主办的开发者大会,作为中国国内唯一一个专门讨论 Elasticsearch 开源技术的大会,是中国最权威和最具实力干货的技术大会,其专业性和内容的质量一直以来在业内都是有口皆碑,大会最早发起于 2013 年初一个很小的线下聚会,之后每年迅速成长,往年大会的演讲嘉宾有来自 Elastic 官方、百度、腾讯、阿里巴巴、360、微博、美团、58、苏宁等众多公司的技术专家,带来过众多精彩的分享,与会听众大多为大数据领域相关的架构师、技术经理与一线开发工程师和运维工程师。

我们本着非盈利目的来举办大会,今年的大会将于2022年1月8号在深圳举行,举办开发者大会的目的是为中国广大的 Elasticsearch 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。
 
大会官网:https://conf.www.ksh17j.com

Elasticsearch铁粉福利:
预热-铁粉票(79元/张), 共计100张,数量有限,赶紧去报名抢购吧!
购票地址:
 
同时大会也在公开征集演讲议题与合作赞助商,欢迎各位Elastic相关技术大咖报名参与分享,欢迎有兴趣的赞助商金主大大前来合作。

演讲报名申请:
赞助合作申请:
 
 
继续阅读 »

banner-1080x640-infini.png

Elastic 中国开发者大会 2021 是由 Elastic 官方、Elastic 足球社区和极限科技联合主办的开发者大会,作为中国国内唯一一个专门讨论 Elasticsearch 开源技术的大会,是中国最权威和最具实力干货的技术大会,其专业性和内容的质量一直以来在业内都是有口皆碑,大会最早发起于 2013 年初一个很小的线下聚会,之后每年迅速成长,往年大会的演讲嘉宾有来自 Elastic 官方、百度、腾讯、阿里巴巴、360、微博、美团、58、苏宁等众多公司的技术专家,带来过众多精彩的分享,与会听众大多为大数据领域相关的架构师、技术经理与一线开发工程师和运维工程师。

我们本着非盈利目的来举办大会,今年的大会将于2022年1月8号在深圳举行,举办开发者大会的目的是为中国广大的 Elasticsearch 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。
 
大会官网:https://conf.www.ksh17j.com

Elasticsearch铁粉福利:
预热-铁粉票(79元/张), 共计100张,数量有限,赶紧去报名抢购吧!
购票地址:
 
同时大会也在公开征集演讲议题与合作赞助商,欢迎各位Elastic相关技术大咖报名参与分享,欢迎有兴趣的赞助商金主大大前来合作。

演讲报名申请:
赞助合作申请:
 
  收起阅读 »

Elastic日报 第1246期 (2021-11-11)

1.使用 Elasticsearch 和 Python 构建面部识别系统


2.运用 Fleet 来轻松地导入 Nginx 日志及指标


3.Elasticsearch 可视化管理工具 dejavu


编辑:Se7en
归档:
订阅:
沙龙:
继续阅读 »
1.使用 Elasticsearch 和 Python 构建面部识别系统


2.运用 Fleet 来轻松地导入 Nginx 日志及指标


3.Elasticsearch 可视化管理工具 dejavu


编辑:Se7en
归档:
订阅:
沙龙: 收起阅读 »