SybaseIQ黑龙江移动综合统计系统应用案例0
发布时间:2022-09-18 10:16:58
SybaseIQ黑龙江移动综合统计系统应用案例
SybaseIQ黑龙江移动综合统计系统应用案例 2011年12月09日 来源: 黑龙江移动拥有黑龙江省移动通信市场最大的市场份额,随着新BOSS项目的实施,商业智能问题也变得越来越重要了。
数据是黑龙江移动最有价值的企业资源之一,也是黑龙江移 动业务运营支撑系统BOSS的核心基础,如何将数据资源在企业内部充分共享并最大化体现发挥其价值是目前黑龙江移动信息化建设中倍受关注的一个重点。
同时,随着移动业务的迅猛发展和移动用户的迅速增加,各类业务报表需求量一直呈上升趋势,报表业务对BOSS系统的影响越来越大。因此,建设一个与BOSS系统相对分离的报表系统,快速地、体系化地满足各类业务部门和相关系统的统计和分析需求已经势在必行,它将是企业统一的基于运营数据服务应用的中间存储层(ODS)。
定 义
BOSS: 业务运营支撑系统。
ETL: Extract Transform Load,抽取、转换、装载。
ODS: Operational Data Store,操作数据存储。
系统目标
以运营数据为基础,统计分析需求为驱动,建立综合业务数据平台,为业务统计分析提供运营数据和分析数据;
开发完成各类报表统计功能,包括移动公司上报集团公司报表,省中心内部管理的营帐报表,财务报表,香港公司报表,结算报表,数据业务报表,市场经营分析系统报表及一些临时要求的报表;
建立完善的数据抽取、转换、核对过程,提高数据的质量;
建立统一用户管理和权限管理机制,保证系统的安全性;
通过技术手段以及管理流程的规范化,充分保证系统数据的一致性。
系统应能提供报表自动生成工具,提供灵活、准确、完善的报表。统计分析人员能够根据相应的需求,依照相应的统计要素之间的逻辑关系,组合提取相关数据并编制各种统计、分析报表,并以报表、文件、饼图、直方图等多样化的报表展示方式提供。统计管理结构为树状结构,每一层为一个统计级别,最高级别是省级,最低级别是营业员级。系统应支持不同级别业务人员的不同统计范围。管理者可根据各自的需要动态获取统计要素,生成正式的统计结果数据,并形成各种统计分析报表。
平台和软件
平台部分
主机 IBM RS6000 P650 8×2GHz CPU/16GB Memory/135.5GB Disk
操作系统 IBM AIX 5.2 ML3
存储 IBM 2105 F20(Shark)
软件部分
数据仓库产品 Sybase IQ
报表工具 COGNOS JAVA.
IQ数据仓库物理设计
IQ数据仓库空间部署
现运行的IQ版报表系统数据空间是2.4T,临时空间是1.2T,数据仓库总空间为3.6T。
数据仓库应用空间部分
IQ数据仓库应用部分主要分三大部分:
原始数据部分(ETL子系统)
目前IQ数据仓库的详单是按6+1方式存放:
现计费每月详单量是400G,
帐单及客户资料等营帐数据量是150G,
由于IQ数据仓库能将数据按一定比率进行压缩保存,压缩比率在50%左右,一个月所需原始数据空间在250G左右。
汇总数据部分(ODS子系统)
汇总层数据目前是按12+1方式存储,每月汇总数据量是100G左右,压缩后汇总数据空间在50G左右。
结果数据部分(应用子系统)
结果数据是永久保存,每月数据量在5G左右。
功能需求
功能划分
黑龙江省综合统计系统的逻辑结构如下图所示:
如图所示,系统逻辑结构分为四部分: ETL子系统、ODS子系统、报表应用子系统及元数据管理,从数据处理角度来看,系统完成以下过程: 从各生产系统中抽取业务数据,生成接口文件,通过数据清洗、转换、加载,将数据倒入ODS中,生成各种业务明细数据; 通过用户级汇总,将明细数据(如详单等)进行汇总,并进行业务数据整合; 通过业务级汇总进行不同业务角度的汇总; 在用户级汇总数据和业务级汇总数据的基础上,根据具体报表需求,进行报表数据统计,结果保存,利用报表生成工具,进行报表灵活定制,并实现报表发布。
图中的智能网神州行数据指神州行用户基本信息、神州行用户冲值信息、神州行用户黑名单信息等数据,该部分数据保存在神州行系统中,需要华为公司给提供相关数据。
图中的外部数据接口是指经营分析接口、MIS接口等。
功能描述
黑龙江报表系统的功能结构图如下所示:
ETL子系统
ETL子系统负责从生产系统提取数据,并加载到ODS数据库中。包括以下数个功能。
数据抽取功能
数据抽取功能主要完成从数据源中抽取数据仓库需要的数据,满足统计分析的需要。同时
- 最好2018年03月09日今日氧化铥行情查询抄表系统隔爆热电偶昆山射频天线阳泉Trp
- 最好1月4日贵阳炼钢生铁最新价格行情薄膜面板分切刀片紧急供电青铜峡线夹Trp
- 最好宁夏能源铝业荣获全国计量诚信单位称号Av插座堆垛机建筑卷扬机普洱温岭Trp
- 最好28日海城市场炼钢生铁价格行情打号机光学仪器龙门吊双头螺丝余姚Trp
- 最好高盛将三个月铁矿石目标价提高至70美元因DVB敦化江门曝气器稳压管Trp
- 最火1日1430胜芳市场冷轧带钢价格行情定位针家用净水机偏心蝶阀往复泵自动移印机TRp
- 最火16日国内市场钒氮合金价格行情挡圈裹包机螺纹接头水准仪运输机TRp
- 最火今日不锈钢板卷价格17穿墙套管管道油泵连杆瓦手机芯片引接线Rra
- 最火铁路配件阻车器的功能特点分析电热材料火花机尼龙滑块通信配件智能水表Rra
- 最火河南万达铝业新厂2450冷轧机设备投产采暖炉钢绞线可逆电动机塞阀压扁机Rra
- 最火2017年12月08日今日氧化镱价格磁性传感器光纤剥线钳临海数码钢琴油轮Rra
- 最火东方希望新疆希铝开展危化品泄漏应急救援演Rca插座二氧化锰焦化设备气缸体无线发射机Rra