新闻中心 产品中心 解决方案 成功案例 服务支持 招贤纳士 关于我们
大数据
建设背景
建设目标
建设内容
建设原则
技术路线
建设方案
  首页 >> 解决方案 >> 建设方案
  建设方案
 

  6.1平台架构

  大数据平台按照基础支撑环境、基础平台层、数据层、服务层、应用层进行纵向分层设计,辅以数据标准规范、服务标准规范、安全保障体系提供支撑,共同支撑大数据平台对外提供基础资源服务、数据服务。

  1、基础支撑环境层

  基础支撑环境层是业务大数据平台及基于平台建设的应用系统的基础运行环境支撑层,包括服务器、存储、网络等等。

  2、数据资源层

  数据资源层是信息资源服务平台的主体,提供数据资源的组织、转换、增量导入、数据清洗等功能。经导入和清洗的数据资源,根据其不同的性质、数量和应用方式,将数据存放在相应的数据库系统中。
  数据层由以下部分组成:
    ETL工具:抽取生产库/资源库中的数据,使用ETL工具将数据装载至基础库
    Hadoop平台:(包含Hadoop HDFS、Yarn、Hbase、Hive、Spark),为大数据平台提供了一个海量数据处理的基础平台软件生态系统;
    MPP DB数据库:在存储池上建立基于MPP DB技术的计算池,实现对各类业务系统高性能查询需求的支撑,支持各种复杂关系型查询、点查和模糊查询;
    基于大数据架构的数据资源组织与计算:根据大数据应用要求对汇聚的数据资源进行组织、管理和高效率运算。

  3、接口服务层

  服务层提供对数据的转换和分析,以提供复杂的数据资源服务。应用系统在访问数据资源的时候,可以通过接口直接访问数据资源,也可以通过服务层所提供的复杂的,经转换、分析而得到的数据资源或统计信息。

  4、应用层

  提供各部门的业务查询、专业用户分析研判。

  6.2 基础支撑环境层建设方案

  基础支撑环境层是大数据平台及基于平台建设的基础运行环境支撑层,包括服务器、存储、网络等等。基础支撑环境既可以是实体硬件环境,也可以是基于云的虚拟化环境。

  6.3 大数据基础平台建设方案
    Hadoop平台建设方案;
    MPP DB建设方案;
    集群资源管理功能;
    工作流管理功能
    维护管理功能
  6.4 数据层建设方案

  数据资源是大数据平台的核心资产。数据层建设内容包括数据仓库设计,数据汇集、同步、整合,数据标准,数据资源目录等,也包括相关的管理系统和工具平台建设。

  6.5 接口服务层建设方案

  数据层一般不直接面向上层应用,而是需要通过接口服务层进行统一调配。所以需要建设标准化、模块化、插件式的大数据平台服务层,形成专门的服务接口配置管理工具,实现服务接口的规范化自定义配置、一体化授权和调用日志的格式化自动采集;实现外单位授权服务接口的透明访问和应用日志的格式化自动采集。在完成基础数据服务和服务接口配置管理工具基础上,重点开展数据查询、数据互操作、数据交换、数据分析等四类通用接口模板建设。通过标准化的服务接口,以数据服务的方式供上层应用使用平台数据资源。

  6.7 应用层建设方案

  紧扣实战需求部署各种应用,建设务大数据平台应用层。建设一个应用大厅,集中展现、发布所有平台应用,并作为各应用的统一入口。同时可将第三方应用也注册发布到应用大厅中来。应用层汇集了对本信息资源服务平台服务的的基本应用和针对多个信息资源服务平台的综合应用。应用层要求能方便地扩展,以接入新的应用,并提供新应用的下载和配置。为此,应用层还提供一个可扩充的开放应用平台。
    基本应用
    综合应用
    高级应用

 
 
 热点新闻
 
 联系我们
010—58714788—8001
service@bjsuccessive.com
北京索克赛思科技有限公司 版权所有 京ICP备06051017号 京公网安备110108003591号