大数据场景下clickhouse查询时长优化sop
创始人
2025-05-30 11:41:32
0

ClickHouse的优化需要结合实际的数据特点和查询场景,从多个方面进行综合优化,以提高系统的性能和可靠性。

数据模型设计:在使用ClickHouse之前,需要充分考虑数据模型的设计,因为数据模型的设计对查询性能有很大的影响。通常来说,ClickHouse适合存储大量的、高维度的、宽表格式的数据,尽量避免使用嵌套数据结构和频繁的JOIN操作。

数据预处理:在数据写入ClickHouse之前,需要对数据进行预处理,包括去重、数据清洗、数据格式转换等操作。同时,在进行批量写入时,可以使用管道插入方式(pipeline insert)和批量写入方式(bulk insert)来提高写入性能

索引设计:ClickHouse的索引方式与传统的B树索引不同,它采用了基于跳表的LSM-tree索引和Bloom Filter过滤器。为了提高查询性能,需要针对实际的查询场景进行索引的设计,尽量避免使用不必要的索引,以减少数据写入和查询时的开销。

配置优化:ClickHouse的性能和可靠性受到配置参数的影响,需要根据实际的硬件环境和数据规模进行调优。例如,可以调整缓存大小、线程池大小、并发度等参数,以最大限度地利用系统资源和提高查询性能。

查询优化:在进行查询时,需要注意避免全表扫描和跨分区查询等操作,可以通过预聚合、分区剪枝、数据分片等方式来优化查询。同时,ClickHouse提供了多种查询优化工具和语法,例如对于多表查询可以使用查询优化器(query optimizer)来提高查询性能。

总之,ClickHouse的优化需要结合实际的数据特点和查询场景,从多个方面进行综合优化,以提高系统的性能和可靠性。

建表方面的优化:
1.使用最小的数据类型:在定义列时,应尽可能使用最小的数据类型。例如,使用UInt8而不是UInt64,可以降低内存使用和提高查询速度。
2.使用分区:将表按照时间或其他相关维度进行分区,可以提高查询速度和降低查询成本。分区可以使得查询只需要扫描部分数据而不是整个表。
3.选择合适的引擎:ClickHouse 支持多种存储引擎,如 MergeTree、ReplacingMergeTree、SummingMergeTree 等。不同的引擎适用于不同的场景,根据数据的读写特性选择合适的引擎可以提高性能。
4.使用压缩:ClickHouse 支持对数据进行压缩存储,可以降低磁盘和网络的 IO 成本,并提高查询速度。
5.分片:选择数据粒度细的列分片。可以将数据均匀的分布在集群节点中,可以将查询任务分配给多台机器进行分布式查询
6.索引:数据重复率少的,查询频率高的在前
7.不使用nullable:每个列字段会被存储在一个.bin中,如果声明为nullable则需要单独建一个.NULL.BIN文件来保存null值,意味着读写会多出一倍的额外操作
8.在建表时,可以通过设置 max_rows_to_group_by 和 group_by_overflow_mode 参数来预分配空间,以避免数据写入时频繁进行内存分配。
9.合理设置 TTL:如果数据具有时效性,可以设置 TTL 参数来自动删除过期数据,以避免数据占用过多存储空间。
10.调整查询并发度:ClickHouse 支持调整查询并发度,可以通过调整 max_threads 参数来提高查询速度。当查询较慢时,可以适当增加并发度来提高查询速度。
11.使用预编译查询:ClickHouse 支持预编译查询,可以将查询语句缓存起来,避免重复编译查询语句,从而提高查询速度。

查询优化:
1.select:1)不使用select * 2)指定分区 3)预计算 4)拒绝子查询
2.where 1)谓词下推(把外层的查询条件移到内层,比如把分区从外层下推到内层) 2)prewhere(开启prewhere后,只有prewhere中的列会被全部读取,其余列只会读取prewhere表达式中=true的部分)
3.join查询 1)左大右小(在join的时候右表会被全部加载到内存中和左表比较) 2)谓词下推 3)避免多表join 4)global join (global关键字可以使右表只在接收查询请求的那个节点查询一次,将其分发到其他节点上,如果不加的话每个节点都会请求一次,造成很大的开销)

相关内容

热门资讯

阿联酋最大银行及另两家中东银行... 观点网讯:5月8日,路透社报道指,阿联酋最大银行第一阿布扎比银行(First Abu Dhabi B...
深圳239亿地王易主,再造万象... 2017年,世茂集团豪掷239.43亿元拿下世茂深港国际中心地块,曾规划建筑高度达700米的深圳第一...
蔚来在安庆成立新能源科技公司 ... 天眼查App显示,近日,安庆蔚来新能源科技有限公司成立,法定代表人为姚蒀,注册资本500万人民币,经...
美国牛肉商期盼峰会重启对华出口 据路透社5月8日报道,美国牛肉生产商正期待特朗普与中国于5月14日至15日的峰会推动对华出口许可恢复...
创业板首家未盈利企业,市值突破... 5月8日,大普微总市值正式突破2000亿元大关。截至午间收盘,大普微涨14.07%,报493.1元/...
招商证券:董事长霍达因工作变动... 招商证券公告,公司董事长霍达因工作变动申请辞去董事长、执行董事等全部职务,辞任自辞呈送达董事会之日生...
原创 中... 【阅读须知】本文所引用的所有信息和数据,均为作者通过查阅官方资料与网络公开数据整理、分析而成,旨在为...
原创 从... 2026年5月5日,中国商务部发布了一项具有划时代意义的专项阻断禁令,这份公告让一向倚仗长臂管辖的美...
布米普特拉北京投资基金管理有限... 美国圣路易斯联邦储备银行总裁穆萨莱姆周三发出明确信号,美联储货币政策面临的潜在风险正在发生关键转向。...
加工的秘密:超精加工设备如何做... 你知道吗? 一根头发丝的直径大约0.07毫米,也就是70微米。 超精加工设备,可切出表面,其尺寸为0...
招商证券董事长霍达因工作变动离... 北京商报讯(记者 刘宇阳 实习生 王思奕)5月8日,招商证券发布关于公司董事长离任暨推举董事代行董事...
华帝股份营收创近3年新低,37... 乐居财经李兰近日,华帝股份(002035.SZ)发布2025年年度报告。 2025年,华帝股份实现营...
大模型融资杀疯了!月之暗面狂揽... 图源:视觉中国 5月7日,据华峰资本官微消息,国内头部大模型公司月之暗面(Kimi)于近日完成新一轮...
扎根长宁二十余载,仲利国际融资... 作为总部扎根上海长宁的优质台资金融企业,仲利国际融资租赁有限公司深耕融资租赁行业二十余载,始终坚守金...
估值210亿!李彦宏又将收获一... 来源:直通IPO,文/王非 国产GPU上市潮仍然汹涌,继两家登陆A股、两家登陆H股后,这家公司正推进...
基金“盲盒”拆了 公募基金正在迎来一场让投资者“看得懂”的变革。 近日,华夏、易方达、南方、招商等12家头部及特色基金...
原创 2... 前言 十年间,中国企业在印尼镍产业链累计砸下超过140亿美元,电厂、公路、码头和全套生产线,硬生生...
原创 欧... 俄罗斯卫星通讯社5月6日报道,欧盟宣布禁止欧洲银行为含有来自不可靠供应商的关键部件的可再生能源项目提...
原创 余... 2026年5月2日,在中国理财市场扎根十三年的余额宝,终于触碰到了一个让所有人错愕的数字——7日年化...
银华基金增聘谭普景共同管理银华... 来源:新浪基金∞工作室 5月8日,银华基金管理股份有限公司发布公告称,为银华中证机器人交易型开放式指...