关于Aggrate key对数据写入效率的影响
13671653088 发布于2021-05-21 浏览:360 回复:1
0
收藏

Doris版本:0.14.7

由于业务需要考虑数据的更新,合并,当前的建表方式入下:

1.时候用的模型为 Aggrate Key

2.非主键列的聚合方式为:REPLACE_IF_NOT_NULL

 

问题:

目前所有表都是如上这种创建方式,发现一些大的Log表(不存在插入相同主键的数据,不会有数据更新),flink写入比较慢。

想要了解下,没有数据更新的日志表,修改成Duplicate key是否对数据写入效率有提升。

收藏
点赞
0
个赞
共1条回复 最后由IamStrangers回复于2021-05-21
#2IamStrangers回复于2021-05-21

不同模型对读的影响比较大,写通常没有太大影响,唯一有影响的可能是局和模型在写入的数据还在内存的memtable时,可能有一个key compare的过程,但是感觉应该不会有太大影响。

你可以建一个duplicate key 表做一下对比,看看是模型问题,还是本身写入就慢。

0
快速回复
TOP
切换版块