尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
elasticsearch学习笔记(三十四)——Elasticsearch 基于scoll技术滚动搜索大量数据
在实际应用中通过fromsize不可避免会出现深分页的瓶颈那么通过scoll技术就是一个很好的解决深分页的方法。比如如果我们一次性要查出10万条数据那么使用fromsize很显然性能会非常的差priority queue会非常的大。此时如果采用scroll滚动查询就可以一批一批的查直到所有数据都查询完。scroll原理scoll搜索会在第一次搜索的时候保存一个当时的视图快照之后只会基于该旧的视图快照提供数据搜索如果这个期间数据变更是不会让用户看到的。而且ES内部是基于_doc进行排序的方式性能较高。示例POST /test_index/_search?scroll1m { query: { match_all: {} }, sort: [ _doc ], size: 3 } { _scroll_id : DXF1ZXJ5QW5kRmV0Y2gBAAAAAAABu4oWUC1iLVRFdnlRT3lsTXlFY01FaEFwUQ, took : 7, timed_out : false, _shards : { total : 1, successful : 1, skipped : 0, failed : 0 }, hits : { total : { value : 10, relation : eq }, max_score : null, hits : [ { _index : test_index, _type : _doc, _id : 1, _score : null, _source : { field1 : one }, sort : [ 0 ] }, { _index : test_index, _type : _doc, _id : 2, _score : null, _source : { field1 : two }, sort : [ 1 ] }, { _index : test_index, _type : _doc, _id : 3, _score : null, _source : { field1 : three }, sort : [ 2 ] } ] } }POST /_search/scroll { scroll: 1m, scroll_id: DXF1ZXJ5QW5kRmV0Y2gBAAAAAAABu4oWUC1iLVRFdnlRT3lsTXlFY01FaEFwUQ }{ _scroll_id : DXF1ZXJ5QW5kRmV0Y2gBAAAAAAABu4oWUC1iLVRFdnlRT3lsTXlFY01FaEFwUQ, took : 1, timed_out : false, terminated_early : true, _shards : { total : 1, successful : 1, skipped : 0, failed : 0 }, hits : { total : { value : 10, relation : eq }, max_score : null, hits : [ { _index : test_index, _type : _doc, _id : 4, _score : null, _source : { field1 : four }, sort : [ 3 ] }, { _index : test_index, _type : _doc, _id : 5, _score : null, _source : { field1 : five }, sort : [ 4 ] }, { _index : test_index, _type : _doc, _id : 6, _score : null, _source : { field1 : six }, sort : [ 5 ] } ] } }
RELATED

相关推荐

elasticsearch学习笔记(三十五)——Elasticsearch 索引管理

elasticsearch学习笔记(三十五)——Elasticsearch 索引管理

索引的基本操作创建索引PUT /{index} {"settings": {},"mappings": {"properties": {}} }创建索引示例:PUT /test_index {"settings": {"number_of_replicas": 1,"number_of_shards": 5},"mappin…

📅 2026/10/24 22:52:35
Prefect工作流编排:从训练到评估的自动化实验流水线搭建

Prefect工作流编排:从训练到评估的自动化实验流水线搭建

Prefect工作流编排:从训练到评估的自动化实验流水线搭建 一、实验流水线的本质是管理依赖和容错 一个完整的机器学习实验流水线包含至少5个阶段:数据预处理 → 训练 → 评估 → 结果分析 → 模型归档。每个阶段依赖于前一阶段的产出,任意阶段…

📅 2026/10/8 6:41:23
elasticsearch学习笔记(三十六)——Elasticsearch 内核原理

elasticsearch学习笔记(三十六)——Elasticsearch 内核原理

倒排索引组成结构以及索引不可变原因对于倒排索引是非常适合用来进行搜索的 它的结构: (1)包含这个关键词的document list (2)包含这个关键词的所有document的数量:IDF(inverse document freque…

📅 2026/9/8 19:01:47
MORE NEWS

更多资讯

📰

装配线平衡的遗传算法MATLAB实现:从工序约束到工位负载优化

简介:针对装配生产线任务平衡(ALB)问题的遗传算法MATLAB源代码包,面向工业工程、智能制造方向的科研人员与算法学习者。该资源以装配线工位负载均衡为目标,基于陈永卿等人的混合遗传算法思路进行了改进,实现…

📰

OpenClaw智能办公助手:文件管理与自动化实战指南

1. OpenClaw:重新定义文件管理与办公自动化第一次听说OpenClaw是在一个技术论坛上,当时就被它"小龙虾"的代号吸引了。作为一款新兴的智能办公助手,OpenClaw正在改变我们处理日常文件管理和重复性工作的方式。它不仅仅是一个简单的自…

📰

PyTorch数据加载优化与自定义Dataset实践指南

1. PyTorch数据加载的核心价值与场景定位在深度学习项目开发中,数据管道的构建往往消耗开发者30%以上的时间成本。PyTorch通过torch.utils.data模块提供了一套高效的数据加载解决方案,其设计哲学体现在三个维度:性能优化:DataLoad…

📰

text-to-cad 技术解析:从自然语言到三维模型的实现路径

1. 从一句话到三维模型:text-to-cad 到底在解决什么问题第一次听到 “text-to-cad” 这个说法,是在一个做机械结构设计的朋友那里。他当时正对着屏幕上一堆拉伸、旋转、倒角的操作发愁,嘴里念叨着:“要是能直接打一行字&#xff0…

📰

OpenCode.AI开源平台:低门槛AI开发与部署实践

1. OpenCode.AI 项目概述OpenCode.AI 是一个新兴的开源人工智能开发平台,旨在为开发者提供一站式的AI模型训练、部署和管理解决方案。这个平台最吸引人的特点是它打破了传统AI开发的高门槛,让没有专业机器学习背景的开发者也能快速构建和部署AI应用。我在…

📰

《SEO艺术》第四版实战解读:从排名原理到技术巡检全攻略

简介:《The Art of SEO》第四版的中文PDF文档由Eric Enge、Stephan Spencer和Jessie Stricchiola三位行业资深专家合著,是SEO领域公认的经典参考书,获业界多位专家推荐。全书面向希望系统提升网站排名的运营人员、营销人员及技术开发者&#…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬