企业官网建设流程全解析

中国能源建设集团网站,百度广告销售,美食鉴赏国内网站,wordpress文章显示404作者#xff1a;来自 Elastic json Elastic Cloud Serverless ( ECS ) 的 split-tier 架构设计将 indexing 任务与 search 分离。这意味着 indexing 和 search 可以根据系统的用户需求分别扩展。在后端#xff0c;每个 tier 都有专用的 node pools#xff0c;用于相应地管理…作者来自 Elastic jsonElastic Cloud Serverless ( ECS ) 的 split-tier 架构设计将 indexing 任务与 search 分离。这意味着 indexing 和 search 可以根据系统的用户需求分别扩展。在后端每个 tier 都有专用的 node pools用于相应地管理计算资源需求。对于 indexing tier当 indexing 负载例如 indexing pressure、 CPU 和 memory 利用率、 write queue 饱和度增加时规模会以阶梯式扩展当需求缓解时则会缩减。对于 searchtier 会根据摄入的数据量增长并且可选地根据 search 负载扩展。最棒的是这个可扩展系统不需要最终用户进行管理。平台由 Elastic 完全托管。以下是一些在 Serverless 平台上优化 indexing 性能的建议。新的 Serverless projects 从尽可能少的计算资源开始。这意味着只有在需要时才会消耗计算资源。目标是将 bulk 延迟的中位数保持在 200 到 1000 毫秒之间。由于计划性的 object store flush发送到 Serverless 的 bulk 请求最小响应时间为 200ms。这些 flush 是确保数据被正确持久化到 object storage 并可用于 search 的一部分。为了获得高摄入性能需要调优 bulk size 和 workers。可以从单个客户端的单个 bulk 请求响应时间开始测试然后逐步增加。请确保在运行实验之前已加载所有 index templates。如果 index 大小和规模是一个问题请使用 data streams 而不是标准 indices。data streams 与标准 indices 的不同之处在于它们需要 timestamp 字段并由 data lifecycle policies 管理。在 serverless 中data lifecycle 仅意味着分配数据保留期。data streams 最初是为高吞吐的 observability 和 security 工作负载设计的具备超越标准 indices 的扩展能力能够充分利用 Serverless 的扩展特性。通过分散客户端工作负载来触发扩展。来自更多客户端的更多请求会促使你的 projects 扩展。从零开始扩展时预计会以 429 的形式出现 backpressure。无论你是每天 1TB 还是 1PB 的用户project 都需要逐步升温并稳定到你的工作负载水平。使用 Elasticsearch Rally 对摄入升温阶段和运行时的 indexing 吞吐量进行基准测试可以使用你自己数据的样本或者使用 Rally tracks repo 中的预定义工作负载。我整理了一个脚本用于实验不同的 bulk 请求大小和客户端数量。要使用它请先安装 Astral uv在脚本顶部设置标注的配置常量然后运行 ./async_bulk.py。脚本在完成后会输出一些统计信息Starting indexing with 24 processes... Documents per process: 4,166,666 Workers per process: 75 Bulk Indexing Statistics (Multi-Process) Number of processes: 24 Total documents indexed: 99,999,984 Total bulk requests: 200016 Elapsed time: 237.26 seconds Indexing rate: 421,480.34 docs/sec Max queue depth: 10,000 documents Min bulk response time: 204.97 ms Median bulk response time: 1285.85 ms Max bulk response time: 4273.16 ms 如果使用 data streamPUT /_index_template/advent_cal_ds_template { index_patterns: [advent-ds*], data_stream: {}, template: { mappings: { properties: { timestamp: { type: date } } } } } PUT /_data_stream/advent-ds那么就在脚本中将 index name 设为 advent-ds。尽情使用吧