页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 6 下一个 »

1.需求背景

随着自助分析的推广,越来越多的业务人员自己进行分析和使用,而运维人员需要对资源的相关信息进行统计、分析、跟踪。


需求说明:
1、要能统计宽表的使用频率,以及对应的影响,定时删除不常用的宽表
2、需要进行整体的运行情况分析,向领导进行汇报说明
3、要导出相关信息,定时备案

2.功能说明

元数据分析的数据会落地到知识库中。

3.使用说明

3.1. 扩展包部署

扩展包: PD_MetadataAnalysis

部署说明:扩展包部署

注意:更新扩展包之前,请做好知识库以及扩展包的备份。


3.2. 使用说明

3.2.1、通过“计划任务”,定时抽取元数据分析落地到物理表

通过部署扩展包后新增一个任务脚本到系统中【资源元数据分析同步任务】,和一个计划【资源元数据分析同步计划】,会在每天凌晨4点执行该计划,计划配置界面可自定义调整,如下:

任务

注意:如果资源太多,只需要统计部分资源类型的话,可以修改对应的脚本

//按资源类型统计,如果types为空数组,则全部资源统计
var types = ['SPREADSHEET_REPORT','SMARTBIX_PAGE'];
connector.remoteInvoke("MetadataAnalysisModule", "recordMetadataAnalysisByType", [types])

其中资源类型的值可参考文档获取:如何查看各个资源类型的中文名称


计划


  • 如果资源太多,需要统计部门资源类型,则可以调整【资源元数据分析同步任务】脚本如下:


其中资源类型的值可参考文档获取:

https://wiki.smartbi.com.cn/pages/viewpage.action?smt_poid=43&pageId=76678900


3、运行脚本后进行所有资源的元数据分析清单,将数据落地到数据表【t_ext_res_map_effect】、【t_ext_res_map_descent】和【t_ext_respath】,后续可基于该数据表进行数据集或报表的自定义分析,如下:


3.3. 使用说明


3.4. 数据字典

部署扩展包后,会在知识库中增加三个物理表,记录相关信息。

t_ext_res_map_effect资源影响性分析数据记录表

字段名类型说明

c_id

varchar(255)

唯一ID

c_res_id

varchar(255)

资源ID

c_effect_id

varchar(255)

影响的资源ID

t_ext_res_map_descent资源血统分析数据记录表

字段名类型说明

c_id

varchar(255)

唯一ID

c_res_id

varchar(255)

资源ID

c_descent_id

varchar(255)

影响的资源ID

t_ext_respath资源路径数据记录表

字段名类型说明

c_id

varchar(255)

唯一ID

c_res_id

varchar(255)

资源ID

c_path

varchar(1000)

路径

c_creatorvarchar(255)

创建者(可能是群组名、角色名或用户名,也是资源拥有者)

说明:资源的详情信息可以关联 t_restree 表进行查询。

t_restree资源树表

字段名类型说明

c_resid

varchar(255)

资源ID

c_resname

varchar(255)

资源名称

c_resalias

varchar(255)

资源别名

c_resdesc

varchar(255)

资源描述

c_pid

varchar(255)

资源父ID

c_restype

varchar(255)

资源类型

c_order

int(11)

节点顺序

c_perm

longtext

权限

c_created

datetime

创建时间

c_lastmodified

datetime

最后修改时间

c_extended

longtext

扩展属性字段

  • 无标签