当前位置:首页 > 公司动态
企业数据治理之主数据中心管理与实践连载四-1
  • 发表时间:2018-04-10 点击数:331
  • 来源:未知

  一、目前有效管理主数据的方法
 
  目前随着企业信息化程度的不断提高,各类应用系统同时并存并支撑着企业的业务应用,主数据不能有效的统一管理,数据管理现状中的问题已经严重影响到企业的正常发展。
 
  发达国家的一些企业,在上世纪70年代中至80年代初的计算机应用协同开发工作中,已经遇到过包括”信息孤岛”问题在内的“数据处理危机”问题。当前在许多企业中,所谓的信息系统实际上是一些互不关联的数据结构(数据文件和应用数据库)和一些程序的堆砌。这类信息系统已变成一张难解的、充满冗余数据存储的复杂大网。由于每个应用所存储、变换的冗余或重叠的数据近近交织在一起,要修改或扩充这样系统的任何部分,都是十分困难和代价高昂的。
 
  事实上,那些期望通过建立数据接口来实现系统集成的企业,也只是一种期望而已,可能5-10年过去了,仍然无法很好的解决系统集成的问题,而由此造成的数据环境的混乱却越来越严重。
 
  很多企业对于主数据的收集、整理和维护目前还只是停留在数据仓库阶段,通过ETL技术将数据整合在一起,再通过前端应用分析实现主数据的共享。在现有的数据仓库系统中管理这些主数据必然存在先天的缺陷,如数据整合难度大,数据规范性差、准确度差,数据仓库中存在大量的冗余数据等。但相对而言,这种不完整的方法对系统的重新开发效率要高,也适合企业在过渡阶段的使用。
 
  但是,从治病的角度来讲,大家希望的都是治本。企业数据治理如何也能达到治本的效果呢?那就是我们首先要明确数据治理的目标是什么些,抓住要点,然后制定合理、详细的数据治理策略,严格监督数据治理的过程,最后做好数据治理后的持续优化和质量监测,全方位彻底解决数据质量问题。
 
二、主数据治理的类型
 
  现在提出的主数据治理的概念和方法,正式为了解决这些问题而做出的重要贡献,国内外许多企业纷纷开始了自己企业的主数据治理工作。
 
  根据企业的实际情况,主数据治理解决方案一般可以分为三种类型:操作型主数据治理、分析型主数据治理和企业级主数据治理。
 
  操作型主数据治理主要被集成到主要应用系统如ERP、CRM、财务管理系统等;分析型主数据治理主要应用在数据仓库中,因为数据的变迁和目的而创建新的数据结构。
 
  企业级主数据治理是操作性和分析型的综合,并且是比他们更广泛的概念,通常我们叫作面向数据分析及业务管理的主数据治理。
 
  在一些机构对企业主数据治理的调查中可以发现,许多有实施数据仓库的企业已经将下一步目标瞄准了主数据治理。许多成功实施了主数据治理的企业认为他们已经从良好的主数据信息中获得了收益。主数据治理对于数据仓库和商务智能有着深远的影响,未来的企业大数据分析很大程度上也必须基于主数据的质量。
 
第一节  主数据治理目标
 
1. 实现静态数据(含主数据、私有档案数据)标准化、规范化管理
 
  企业的业务信息化建设过程中,数据管理方面存在的重复、不一致、不规范等问题愈加凸显,希望通过企业数据治理平台及厂商数据管理咨询结合企业的现状,制定出一套完全符合企业的主数据中心管理的规范和标准,并最终实现系统落地,保证企业及其下属核心分子公司的主数据唯一性和准确性。
 
2. 净化现有数据环境,打造全企业数据标准化管理体系
 
  数据的质量问题,很大程度取决于数据所处环境的状况。因此需要从根本上打造一整套数据标准化管控体系以确保数据质量的可控制性,数据标准化管控体系包括数据管理制度、流程、组织、考核机制,数据安全、质量管理体系,数据权限管控体系,元数据管理体系,数据交换规范体系等。
 
3. 规范现有的编码体系,实现编码灵活化、自动化
 
  目前很多企业没有数据编码器,编码过程是发起人电话或者QQ通知编码员在各业务系统中添加的,随意性较强,且缺乏编码的审核监督过程,很容易出现数据重复,输入不规范等问题。希望实施企业数据治理平台后,可以实现自动编码,保证编码的唯一性、准确性、一致性。 
 
4. 清洗历史数据,为各业务系统提供数据支撑
 
  大部分企业信息化经历了多年快速的发展,各业务系统中积累了大量的历史数据,希望借助企业数据治理平台及厂商对现存的历史数据进行全面梳理和规范,通过成熟、专业的数据清洗方法、清洗策略、清洗工具,降低人为清理的成本,并将清理后的数据准确发布到各业务系统中,保证各业务系统中历史数据的准确。
 
5. 打造企业级主数据中心,降低业务系统成本投入
 
  360度全方位立体描述企业静态数据(含主数据和私有档案数据),为未来企业主数据的动态变化奠定坚实的基础。
 
  建立企业级主数据中心,形成企业数据交换(数据采集、分发)的雪花状结构,在保证数据准确性、一致性的同时降低原有企业业务系统间数据交换的网状接口开发成本。
 
  建立企业级主数据中心,还可以借助企业数据治理平台,完成主数据的编辑和录入,关闭业务系统的档案维护功能,因此可以减少ERP等系统的节点占用,从而节省比如ERP的高额成本投入。
 
6. 为未来的智能决策打下坚实基础
 
  企业信息化未来会考虑实施商务智能系统(BI)以及未来大数据的分析平台等,需要准确的数据来源,可以通过企业数据治理平台提供准确的数据,保证BI 抓取的数据准确、全面。
 
第二节 主数据治理原则
 
1. 统一性
 
  统一的系统建设规划(特别是统一的技术架构的规划、设计);
 
  统一的访问控制策略;
 
  统一的资源展现规划。
 
2. 可扩展性
 
  满足企业现有项目的需求基础上,要充分考虑到系统的可扩展性以及应用及系统不断扩展的要求,以形成一个易于管理、可持续发展的体系结构。未来业务的扩展只须在现有机制的基础上,增加新的应用与服务模块。 
 
3. 安全性
 
  全面考虑系统安全的多个方面,从网络安全、系统平台安全、应用安全的各项设计,防止非法用户对重要的不宜公开的数据的侵入。 
 
4. 经济性
 
  从经济成本与效益角度考虑,能简单快速地建设平台,充分利用现有的应用系统和IT投资,尽快为企业提供回报;
 
  随着平台业务的发展与扩充,增值平台的任何一部分均可相对独立地扩充。未来应用的扩展将是叠加式的,而不是取代式的。 
 
5. 先进性
 
  采用市场领先的技术,使管理平台项目居于国内外同业领先的地位,保证平台在未来一段时间内顺应IT技术的发展趋势。 
 
6. 技术稳定性
 
  采用市场当前已经成熟的技术,保证系统高可用性和高稳定性。 
 
7. 标准性和开放性
 
  应遵循通用的国际或行业标准。 
 
8. 合规性、安全性、可审计
 
  符合相关法规(如SOX法案)对 IT方面的规定,满足相应的安全标准,并符合审计方面的要求。
 
第三节 主数据治理策略
 
  策略,百度百科解释为计策,谋略。一般是指,可以实现目标的方案集合。在这里主数据治理策略就是指解决数据质量问题的方案集合。
 
  大家都知道顽疾要想痊愈,肯定是非常的难。企业多年来积累下来的数据质量问题,要想彻底全面的解决同样是一个非常繁重的工作,周期长且成绩很难显现,急于求成或者力求一步到位很容易出现半途而废的情况,因此制定一个好的主数据治理策略是相当的重要和必要的。
 
  事实证明,循序渐进、先治标后治本等是解决顽疾的最佳方案。具体如下:
 
1. 领导支持
 
  首先,此类浩大的工程获得高层领导的支持是必须,这是项目成功的基本保障。至于如何获得高层领导的全面持久的支持,这就要看个人魅力和忽悠能力了,此部分自己琢磨,重点参考结合炒的火热的大数据等。
 
2. 项目立项
 
  有了领导支持,接下来就要考虑如何去做这个事了。那么现在开始衡量自身能力,也就是企业内是否可以通过努力完成这么浩大的主数据治理工程,如果感觉可以(不就这点事吗!),那就挽起袖子大干一场吧!如果衡量后不可以,那建议立项,引入外援,让专业的主数据治理公司参与进来,通过正规的治疗以致痊愈。
 
3. 找“痛点”
 
  这么大的工程,这么多的问题,接下来怎么干呢?这时我们要从业务和数据规范的角度出发,找到真正关键的‘痛点’出来,明确我们的方向。
 
4. 方向确定好 

起点
 
找到合适的项目启动契机
 
目标
 
快速提升数据质量
 
5. 确定原则,框定范围
 
1)以主数据管理为关键;
 
2)以元数据管理为基础;
 
3)由于主数据的动态特性,强化私有静态数据管理,建立企业级主数据中心;
 
4)完善指标数据管理体系,360度全方位立体管控,建立狭义数据中心;
 
5)改善动态交易数据的存储、分析机制,推行二代BI的全面使用。
 
6. 选择最合适的治理工具
 


  数据治理平台性能要求
 
  安全、稳定
 
  J2EE架构
 
  开放性良好
 
  orcale 11g以上等数据库支撑   
 
  界面友好,满足前台可视化自定义配置
 
  拥有完善的数据安全管控机制
 
  权限粒度够细,如可到属性字段的操作权限等
 
  满足快速、方便的数据识别
 
  流程粒度够细,实现流转方式多样化
 
  满足多类型数据的不同清洗机制
 
  数据交换专业性强, 避免ESB等的简单替代
 
  满足快速部署的项目实施节奏
 
  拥有完善的海量数据推送机制
 
  … …