大数据场景下clickhouse查询时长优化sop
创始人
2025-05-30 11:41:32
0次

ClickHouse的优化需要结合实际的数据特点和查询场景,从多个方面进行综合优化,以提高系统的性能和可靠性。

数据模型设计:在使用ClickHouse之前,需要充分考虑数据模型的设计,因为数据模型的设计对查询性能有很大的影响。通常来说,ClickHouse适合存储大量的、高维度的、宽表格式的数据,尽量避免使用嵌套数据结构和频繁的JOIN操作。

数据预处理:在数据写入ClickHouse之前,需要对数据进行预处理,包括去重、数据清洗、数据格式转换等操作。同时,在进行批量写入时,可以使用管道插入方式(pipeline insert)和批量写入方式(bulk insert)来提高写入性能。

索引设计:ClickHouse的索引方式与传统的B树索引不同,它采用了基于跳表的LSM-tree索引和Bloom Filter过滤器。为了提高查询性能,需要针对实际的查询场景进行索引的设计,尽量避免使用不必要的索引,以减少数据写入和查询时的开销。

配置优化:ClickHouse的性能和可靠性受到配置参数的影响,需要根据实际的硬件环境和数据规模进行调优。例如,可以调整缓存大小、线程池大小、并发度等参数,以最大限度地利用系统资源和提高查询性能。

查询优化:在进行查询时,需要注意避免全表扫描和跨分区查询等操作,可以通过预聚合、分区剪枝、数据分片等方式来优化查询。同时,ClickHouse提供了多种查询优化工具和语法,例如对于多表查询可以使用查询优化器(query optimizer)来提高查询性能。

总之,ClickHouse的优化需要结合实际的数据特点和查询场景,从多个方面进行综合优化,以提高系统的性能和可靠性。

建表方面的优化:
1.使用最小的数据类型:在定义列时,应尽可能使用最小的数据类型。例如,使用UInt8而不是UInt64,可以降低内存使用和提高查询速度。
2.使用分区:将表按照时间或其他相关维度进行分区,可以提高查询速度和降低查询成本。分区可以使得查询只需要扫描部分数据而不是整个表。
3.选择合适的引擎:ClickHouse 支持多种存储引擎,如 MergeTree、ReplacingMergeTree、SummingMergeTree 等。不同的引擎适用于不同的场景,根据数据的读写特性选择合适的引擎可以提高性能。
4.使用压缩:ClickHouse 支持对数据进行压缩存储,可以降低磁盘和网络的 IO 成本,并提高查询速度。
5.分片:选择数据粒度细的列分片。可以将数据均匀的分布在集群节点中,可以将查询任务分配给多台机器进行分布式查询
6.索引:数据重复率少的,查询频率高的在前
7.不使用nullable:每个列字段会被存储在一个.bin中,如果声明为nullable则需要单独建一个.NULL.BIN文件来保存null值,意味着读写会多出一倍的额外操作
8.在建表时,可以通过设置 max_rows_to_group_by 和 group_by_overflow_mode 参数来预分配空间,以避免数据写入时频繁进行内存分配。
9.合理设置 TTL:如果数据具有时效性,可以设置 TTL 参数来自动删除过期数据,以避免数据占用过多存储空间。
10.调整查询并发度:ClickHouse 支持调整查询并发度,可以通过调整 max_threads 参数来提高查询速度。当查询较慢时,可以适当增加并发度来提高查询速度。
11.使用预编译查询:ClickHouse 支持预编译查询,可以将查询语句缓存起来,避免重复编译查询语句,从而提高查询速度。

查询优化:
1.select:1)不使用select * 2)指定分区 3)预计算 4)拒绝子查询
2.where 1)谓词下推(把外层的查询条件移到内层,比如把分区从外层下推到内层) 2)prewhere(开启prewhere后,只有prewhere中的列会被全部读取,其余列只会读取prewhere表达式中=true的部分)
3.join查询 1)左大右小(在join的时候右表会被全部加载到内存中和左表比较) 2)谓词下推 3)避免多表join 4)global join (global关键字可以使右表只在接收查询请求的那个节点查询一次,将其分发到其他节点上,如果不加的话每个节点都会请求一次,造成很大的开销)

相关内容

热门资讯

在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...
斗金订购APP贵金属期货交易骗...   斗金订购APP的投资者往往被铺天盖地的广告宣传所诱导——注册即送现金、充值返现券等看似诱人的福利...
警惕!云启购APP违规经营,披...   "5元起投、充值返现、稳赚不赔"——这些诱人的广告语背后,可能是一个精心设计的金融陷阱。  近期...
量子淘金APP贵金属投资不合规...   "4元起投""充值返券""月入过万"——这些极具诱惑力的广告语在短视频平台、社交软件上铺天盖地。...
鑫汇智投APP贵金属商品订购骗...   鑫汇智投APP非法期货投资骗局,受害者在投资过程中根本不懂交易,也不去研究和验证这个平台是否正规...
矅光智策APP平台违规经营非法...   矅光智策APP对外宣称是“商城订购”“现货交易”,但查询其经营范围,并未显示具备开展现货期货交易...
黄金珠宝怎么选?内侧刻字都代表... 潮新闻客户端 记者 马焱 通讯员 任倩影 9月8日下午,“云游杭州 乐购金秋”——“浙城·浙放心”活...
原创 冰... 最近全球国债市场正在上演魔幻一幕: 美债、日债、欧债遭遇猛烈抛售,收益率冲到几十年新高,美国财政部都...
日韩股市开盘表现分化 上证报中国证券网讯 9月9日,日韩股市开盘表现分化,韩国综合指数开盘上涨0.26%,报6972.87...