加入收藏 | 设为首页 | 会员中心 | 我要投稿 保山站长网 (https://www.0875zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 动态 > 正文

人工智能7大关键技术

发布时间:2021-02-10 13:27:24 所属栏目:动态 来源:互联网
导读:逻辑模型设计 逻辑建模是数据仓库实施中的重要一环,因为它能直接反映出业务部门的需求,同时对系统的物理实施有着重要的指导作用。通过实体和关系勾勒出真个企业的数据蓝图。 在这一步里进行的工作主要有 : 分析丰富主题域,确定当前要装载的主题 ; 确定粒

逻辑模型设计

逻辑建模是数据仓库实施中的重要一环,因为它能直接反映出业务部门的需求,同时对系统的物理实施有着重要的指导作用。通过实体和关系勾勒出真个企业的数据蓝图。

在这一步里进行的工作主要有 :

  • 分析丰富主题域,确定当前要装载的主题 ;
  • 确定粒度层次划分 ;
  • 确定数据分割策略 ;
  • 关系模式定义 ;
  • 记录系统定义

逻辑模型设计的成果是,对每个当前要装载的主题的逻辑实现进行定义,并将相关内容记录在数据仓库的元数据中,包括 :

适当的粒度划分 ;

合理的数据分割策略 ;

适当的表划分 ;

定义合适的数据来源等。

1. 分析主题域

在概念模型设计中,我们确定了几个基本的主题域,但是,数据仓库的设计方法是一个逐步求精的过程,在进行设计时,一般是一次一个主题或一次若干个主题地逐 步完成的。所以,我们必须对概念模型设计步骤中确定的几个基本主题域进行分析,一并选择首先要实施的主题域。选择第一个主题域所要考虑的是它要足够大,以 便使得该主题域能建设成为一个可应用的系统 ; 它还要足够小,以便于开发和较快地实施。如果所选择的主题域很大并且很复杂,我们甚至可以针对它的一个有意义 的子集来进行开发。在每一次的反馈过程中,都要进行主题域的分析。具体的实施细节需要和 AAA 业务部门和信息中心沟通。

2. 粒度层次划分

数据仓库逻辑设计中要解决的一个重要问题是决定数据仓库的粒度划分层次,粒度层次划分适当与否直接影响到数据仓库中的数据量和所适合的查询类型。由于主题 数据库响应企业级业务 OLTP 需求,所以必须保存最细类度数据,同时根据业务部门的查询需求考虑确定多重粒度来提高复杂查询速度。

3. 确定数据分割策略

在这一步里,要选择适当的数据分割的标准,一般要考虑以下几方面因素 : 数据量〔而非记录行数 ) 、数据分析处理的实际情况、简单易行以及粒度划分策略等。数 据量的大小是决定是否进行数据分割和如何分割的主要因素 ; 数据分析处理的要求是选择数据分割标准的一个主要依据,因为数据分割是跟数据分析处理的对象紧密 联系的 ; 我们还要考虑到所选择的数据分割标准应是自然的、易于实施的 : 同时也要考虑数据分割的标准与粒度划分层次是适应的。

4. 关系模式定义

数据仓库的每个主题都是由多个表来实现的,这些表之间依靠主题的公共码键联系在一起,形成一个完整的主题。在概念模型设计时,我们就确定了数据仓库的基本 主题,并对每个主题的公共码键、基本内容等做了描述在这一步里,我们将要对选定的当前实施的主题进行模式划分,形成多个表,并确定各个表的关系模式。

物理模型设计

这一步所做的工作是根据信息系统的容量 , 复杂度 , 项目资源以及数据仓库项目自身的软件生命周期确定数据仓库系统的软硬件配置 , 数据仓库分层设计模式 , 数据的存储结构,确定索引策略,确定数据存放位置,确定存储分配等等。这部分应该是由项目经理和数据仓库架构师共同实施的 .

确定数据仓库实现的物理模型,要求设计人员必须做到以下几方面 :

1. 确定项目资源

根据预算和业务需求 , 并参考以往的数据仓库项目经验 , 对该项目的成本周期和资源进行估算 .

关于项目周期的估算 , 主要基于 ETL 函数功能点以及加权后的复杂度进行估算 , 因为 ETL 过程占据了整个数据仓库项目的 70%,;ETL 过程主要是基于 源 <=> 目的的原则进行处理的 , 而不同的功能点具有不同的复杂度 , 通过以往项目经验和专家评估 , 然后再根据软件生命周期的划分 , 可以有效的得 知项目的整体周期 .

关于人员的估算 , 主要取决于人员的工作经验 , 素养 , 对新技术的掌握能力 , 还要考虑到人员流动等方面的人员备份 .

(编辑:保山站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读