页面树结构
转至元数据结尾
转至元数据起始

问题现象:

高速缓存库抽取的时候报错,抽取日志中显示超出内存最大限制14G大小,实际上仅2-3个模型进行并发的抽取,就会将内存全部占满。


问题原因:

按照数据模型抽取逻辑,产品会将维表和事实表单独抽取到高速缓存库中之后在高速缓存库中通过关联查询将所以的表汇总成大宽表,在关联查询的时候很可能因为数据量过大且并发的查询较多的情况下高速缓存库的内存就很有可能会出现不够用的情况。

解决方案:

主要可以从以下几个方面进行优化。

1、调整数据模型维表数据量

高速缓存库会先将表全部抽取之后再进行关联,当维表的数据量很多的时候,比如维表数据量50万,事实表数据量几百万的情况下,维表与事实表通过join关联的时候就会非常的消耗内存。建议是将维表进行调整,将大维表拆分为小维表,维表的数据量越小,占用的内存越少。


2、错峰抽取

在抽取时大表关联时消耗的内存较大的问题,可以通过错峰抽取,缓存高速缓存库内存过度占用的问题。


3、调整高速缓存库的内存

当业务需求量达到一定程度时,模型优化和错峰抽取均无法满足内存过度占用的情况下,建议通过调整内存大小的方式来满足高速缓存库实际的业务需求量。




  • 无标签