BE 内存限制无效
xcodeman 发布于2021-05 浏览:2871 回复:5
0
收藏
快速回复

apache doris 0.13.15 

配置中限制了 be 的内存占用,但还是会把系统所有内存都吃掉,然后 OOM 被系统杀掉。配置如下:

mem_limit = 40%
storage_page_cache_limit=4G

收藏
点赞
0
个赞
共5条回复 最后由IamStrangers回复于2021-05
#6IamStrangers回复于2021-05
#4 13671653088回复
我用的版本是0.14.7 问一下导入引起的OOM需要如何解决,有没有办法做控制 800W数据量从表A insert select到表B,BE出现了OOM被linux干掉了。
展开

可以给一下具体的insert语句看下

0
#5xcodeman回复于2021-05
#4 13671653088回复
我用的版本是0.14.7 问一下导入引起的OOM需要如何解决,有没有办法做控制 800W数据量从表A insert select到表B,BE出现了OOM被linux干掉了。
展开

我们也已经升级到 0.14.7 了,但还是会因为导入引起 OOM

0
#413671653088回复于2021-05

我用的版本是0.14.7

问一下导入引起的OOM需要如何解决,有没有办法做控制

800W数据量从表A insert select到表B,BE出现了OOM被linux干掉了。

0
#3xcodeman回复于2021-05
#2 IamStrangers回复
在0.14.7 版本中我们优化了一些内存使用上的问题,可能会缓解你的问题。 而在后续将发布的版本中,也优化了大量的内存使用,到时候可以升级看看是否解决。当前这个版本的确有一些内存使用没有纳入管控。 可以看下你这个OOM是导入引起的,还是查询引起的?
展开

看问题出现的时机应该是导入引起的,我们那段时间新增了几十个数据迁移任务,之后就出现 OOM 了

0
#2IamStrangers回复于2021-05

在0.14.7 版本中我们优化了一些内存使用上的问题,可能会缓解你的问题。

而在后续将发布的版本中,也优化了大量的内存使用,到时候可以升级看看是否解决。当前这个版本的确有一些内存使用没有纳入管控。

可以看下你这个OOM是导入引起的,还是查询引起的?

0
快速回复
TOP
切换版块