首页
视频
资源
登录
原
Elasticsearch 聚合分析简介
4562
人阅读
2020/12/26 16:51
总访问:
2588688
评论:
0
收藏:
1
手机
分类:
云产品
![elasticsearch](https://img.tnblog.net/arcimg/hb/5f1adabe8df94fdb8331eb80e393c4a3.jpeg "elasticsearch") >#Elasticsearch 聚合分析简介 [TOC] 什么是聚合(Aggregation) ------------ ![](https://img.tnblog.net/arcimg/hb/857e58f3719940978436cb5c22a267e5.png) tn>聚合:对有关的数据进行内容挑选、分析、归类(筛选),最后分析得到人们想要的结果。`Elasticsearch` 除搜索以外,**提供根据ES的数据进行统计分析的功能**,并且实时性高。如果用`Hadoop`来处理的话会要用1天的时间。通过聚合,我们会得到一个数据概览,是**分析和总结全套的数据**,而不是去寻找单个文档。 比如:获取多少价格之间的商品数量,最火热的销售商品排序。 同样也有**高性能**的特点,只需要一条语句,就可以从`Elasticsearch`得到分析结果。无需在客户端自己实现分析逻辑。在Kibana中也是有可视化报告的聚合分析。 集合的分类 ------------ - Bucket Aggregation - 一些列满足特定条件的文档的集合 - Metric Aggregation - 一些数学运算,可以对文档字段进行统计分析 - Pipeline Aggregation - 对其他的具体结果进行二次聚合 - Matrix Aggregation - 支持对多个字段的操作并提供一个结果矩阵 >### Bucket & Metric ![](https://img.tnblog.net/arcimg/hb/b9a3e85707ab4bf9903321679ba2055e.png) tn>Bucket 的例子(多种划分的文档) ![](https://img.tnblog.net/arcimg/hb/272b216c3c4140e5a610aab5bf617759.png) ![](https://img.tnblog.net/arcimg/hb/3c1ec278010d4e118418ef5cb3aa9730.png) tn>Metric 会基于数据集计算结果,除了支持在字段上进行计算,同样也支持在脚本产生的结果之上进行计算。大多数 Metric 是数学计算,仅输出一个值 `min / max / sum / avg / cardinality`。 部分 Metric 支持输出多个数值 `stats / percentiles / percentile_ranks`。 Demo示范 ------------ tn>首先请大家安装好航空测试数据,如不知道如何装载的请按照下图所示 ![](https://img.tnblog.net/arcimg/hb/c8e7e0e45a354fd4999edfbefb6d7a8f.png) ![](https://img.tnblog.net/arcimg/hb/6cf890e22eb6483b8e8858b317c2d031.png) ![](https://img.tnblog.net/arcimg/hb/55f54f4d6f8e48638acbb543c804c2c1.png) >### Bucket Demo tn>这里我们目的地进行分桶统计,在结果中对其进行了分组 ```bash GET kibana_sample_data_flights/_search { "size": 0, "aggs":{ "flight_dest":{ "terms":{ "field":"DestCountry" } } } } ``` ![](https://img.tnblog.net/arcimg/hb/f644bce472974219b08997164d02dd98.png) >### Metric Demo tn>查看航班目的地的统计信息,增加平均,最高最低价格 ```bash GET kibana_sample_data_flights/_search { "size": 0, "aggs":{ "flight_dest":{ "terms":{ "field":"DestCountry" }, "aggs":{ "avg_price":{ "avg":{ "field":"AvgTicketPrice" } }, "max_price":{ "max":{ "field":"AvgTicketPrice" } }, "min_price":{ "min":{ "field":"AvgTicketPrice" } } } } } } ``` ![](https://img.tnblog.net/arcimg/hb/85b20a16132649c4907da990984cc42e.png) tn>价格统计信息+天气信息(实现在字段中进行分组) ```bash GET kibana_sample_data_flights/_search { "size": 0, "aggs":{ "flight_dest":{ "terms":{ "field":"DestCountry" }, "aggs":{ "stats_price":{ "stats":{ "field":"AvgTicketPrice" } }, "wather":{ "terms": { "field": "DestWeather", "size": 5 } } } } } } ``` ![](https://img.tnblog.net/arcimg/hb/c3c279a83c4b488ca6990add95e3ac58.png)
欢迎加群讨论技术,1群:677373950(满了,可以加,但通过不了),2群:656732739
👈{{preArticle.title}}
👉{{nextArticle.title}}
评价
{{titleitem}}
{{titleitem}}
{{item.content}}
{{titleitem}}
{{titleitem}}
{{item.content}}
尘叶心繁
这一世以无限游戏为使命!
博主信息
排名
6
文章
6
粉丝
16
评论
8
文章类别
.net后台框架
168篇
linux
17篇
linux中cve
1篇
windows中cve
0篇
资源分享
10篇
Win32
3篇
前端
28篇
传说中的c
4篇
Xamarin
9篇
docker
15篇
容器编排
101篇
grpc
4篇
Go
15篇
yaml模板
1篇
理论
2篇
更多
Sqlserver
4篇
云产品
39篇
git
3篇
Unity
1篇
考证
2篇
RabbitMq
23篇
Harbor
1篇
Ansible
8篇
Jenkins
17篇
Vue
1篇
Ids4
18篇
istio
1篇
架构
2篇
网络
7篇
windbg
4篇
AI
18篇
threejs
2篇
人物
1篇
嵌入式
2篇
python
13篇
HuggingFace
8篇
pytorch
9篇
opencv
6篇
最新文章
最新评价
{{item.articleTitle}}
{{item.blogName}}
:
{{item.content}}
关于我们
ICP备案 :
渝ICP备18016597号-1
网站信息:
2018-2024
TNBLOG.NET
技术交流:
群号656732739
联系我们:
contact@tnblog.net
欢迎加群
欢迎加群交流技术