当前位置:首页 > 公司动态
企业内部的数据治理
  • 发表时间:2020-08-19 点击数:38
  • 来源:未知

       数据治理概述
      数据治理是技术与管理相结合的一套持续改善管理机制,贯穿在数据管理的整个过程中,通常包括了组织架构、政策制度、技术工具、数据标准、流程规范、监督及考核等,将其他几个数据管理职能贯穿、协同在一起,让企业的数据工作成为一个有机整体而不是各自为政。数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。
      在数据治理的整个过程中我们需要将每种类型的数据进行清晰的标识以及分类,以利于其它角色的用户进行查找以及使用,我们需要将每种数据的使用范围进行管理以及监控,以使得数据被合理、合法的使用,我们还要管理数据的生存周期以及质量溯源,以利于数据质量可以被监管,无用数据被清除.
      数据治理原本不是一个独立的课题,换而言之,有数据的地方就存在数据治理,只不过随着数据应用的迅猛发展将它提到了一个高度,作为一个独立的研究领域。数据治理并没有标准的、严格的定义,概况地讲,所有为提高数据质量而展开的业务,技术和管理活动都属于数据治理范畴,数据治理是对数据资产管理行使权力和控制的活动集合。数据治理职能指导其他数据管理职能如何执行。 
      数据治理更好的保证各行业,各业务,各模块的数据质量和数据的有效利用率,极大的挖掘数据潜力,更好的发挥数据本身的价值,提高企业的核心竞争力,使企业的决策和行为有更好的数据支撑。
      企业数据治理基本方向
      从范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统)。数据治理的范围可大可小,小到本地的独立存储数据单元,大到企业的大数据集成平台,这样平台都可以进行数据治理。
       从数据治理的特性来讲,数据治理应因地制宜,层次不同难度不同,个性化需求度很高,建立符合自身企业性质的治理标准是重中之重。每个行业之间的流程不同,所指定的标准也肯定是不同的。
       从企业数据数据本身面临的问题和形成数据混乱无序的原因来讲,随着企业内部的业务扩展和业务升级,新平台运行,旧平台下架,所产生的数据混乱问题也层出不穷,业务的条块分割 造成了业务数据的分割,至此 IT的功能应适应业务的发展而随之改变,进而IT的各项技术功能也随之条块分割,至此把本身的有业务逻辑的数据断了联系,不是普通的物理割裂,可能将本身的逻辑意义直接隔断,将整个的数据存储成为了没有利用之处的无用数据,无序数据,这些动作产生的垃圾数据我们应该有正确的方式方法进行治理。
     拿客户信息而言,客户的信息在每个企业中都是属性较多的数据,随着业务的升级客户的整体数据最难保证一致性,很有可能在两个系统中出现客户的信息不一致,普通的业务层面的割裂信息很可能引起逻辑上的割裂,对于类似这样的数据企业应该进行数据治理,保证数据的可用性。
      企业从业务层面进行梳理。将有意义的业务数据和业务场景描述清楚,避免不该流失的数据流失了,或者治理后的数据无可用性。做到数据治理的可知,可治。保证治理之后的数据安全性,对于敏感的数据进行发现和屏蔽。防止没有权限的工作人员操作进而泄漏数据。操作流程的可审计,谁操作过数据,在哪一环节出现的问题,数据治理时候能够追根溯源,切实的解决的了企业关于数据管控的难题。数据审计将伴随着数据的整个生命周期,将每一个环节都纳入审计中。保证数据定义,数据本身取值,数据完整性,数据的可访问性,数据的安全性,数据的一致性(每个系统存储的信息必须一致),数据审计等需求,最终达到我们所期望的数据可用程度。
      企业数据治理策略
      落实合适的人员负责治理。
      任何成功的数据治理计划的第一个步骤就是,要在本企业找到可以授权的人,然后让该人负责项目的具体实施。没有什么能取代强有力的领导人。
      数据治理是涉及人事的一个难题,这需要在许多不同的利益相关者之间达成共识。因而,在本企业里面选定这样的领导人是一项重要工作。治理官员一旦选定下来,就要成立由企业的利益相关者组成的治理委员会,制订监管政策、向董事会报告进度。
      调查清楚所处环境。
      一旦选定了领导小组,就要调查当前情形,并清查不同部门在不同领域的当前最佳实践。领导小组需要越过独立系统看待问题,而企业数据治理评估方法对这项工作来说必不可少。这有助于比较本企业的数据治理计划目前处于什么状态,并且提供了一份路线图以便确定以后的目标。
      制订数据治理策略。
      数据治理评估之后,治理委员会就应当考虑制订远景,希望公司的数据治理实践在接下来的几年达到何种目标,根据这种需求为未来制订远景。委员会应当向后规划,并且制订切合实际的里程碑和项目计划来填补相关的缺口。具体办法就是制订关键绩效指标来跟踪进度,并且向董事会提交年度报告来证实成果。
      算出数据价值。
      估算数据价值。要是公司不知道数据的价值,它们就无法提高、保护或者评估数据对账本底线的价值。数据不是一种普通商品,而是像水龙头里出来的水--对生命至关重要,又往往被人们认为是理所当然的。你要是不知道某物的价格,就无法算出它的价值。
      如果你想算出数据的价值,就要根据用户权限和IT服务的效用,为数据建立内部市场。当本企业的每个人都在直接付费获取IT服务和数据时,数据的价值就成了公司价目表上的一部分。
      算出风险概率。
      知道数据在过去是如何使用和滥用的,这有助于了解数据在将来会如何被危及和披露。每家企业都有一些原因,如一些事件和损失在独立系统、层次体系和商业报告中消失。这些数据已经可供使用,却没有被大多数企业所使用。收集这些数据,与其意义联系起来,并研究长期的损失趋势,这可以帮助任何企业把风险管理转变成基于事实的商业智能方法,从而可分析过去事件,预测未来损失,改变当前的政策要求,成为未来改善风险缓解策略。
      密切关注控制措施的效果。
      数据治理在很大程度上涉及企业的组织行为。企业每天在变化,因而它们的数据、价值及风险也在迅速变化。遗憾的是,大多数企业每年对自己只评估一次。要是公司无法改变组织控制措施来满足每天或者每周出现的需求,也就谈不上变化治理。
      企业数据治理总结
      每个有效的企业数据计划都离不开数据治理,也就是精心设计的政策,以明确职责、解决不同利益相关方之间的冲突,提供维护和扩展,保护敏感信息。
      每个有效的数据库都需要精心设计的模式(Schema),以保持数据干净,避免冲突,满足用户的各种需求,适应未来的扩展。同样,每个有效的企业数据计划都离不开数据治理,也就是精心设计的政策,以明确职责、解决不同利益相关方之间的冲突,提供维护和扩展,保护敏感信息。
      数据治理的关注点通常包括:
      长远规划:识别战略需求,寻求管理层对数据计划的支持,获得多年的预算承诺,除新功能之外还提供维护和升级。
      架构:预见并调和不同企业部门之间的数据策略冲突。
      职责:明确研发、运营、基础设施、商业智能和各条业务线等能力领域之间的维护、更新和扩展职责。
      数据收集:把来自各条业务线的数据整合进公司总体策略,从源头上确保数据干净。
      安全和合规:识别敏感数据及其相关的监管和专业要求,执行技术和管理保障措施。
      数据管理方面的权威西米恩·施瓦茨(Simeon Schwarz)分享过一个思维实验:假设你正在为某券商创建新的客户关系管理(CRM)分析系统,你问该系统的各个利益相关方,在他们眼中什么是“账户”?答案各不相同:
      营销部:“账户是被转化的销售线索。”
      财务部:“就财务报表而言,账户是拥有存款、能和我们交易的客户。”
      会计部:“账户是我们结算室、账簿和记录系统中的记录条目。”
      法律部:“账户是我们通过和客户签署的法律协议,向客户提供的结构化产品。”
      虽然每个定义在其利益相关方的眼中都是正确的,但这些定义可能无法调和成单一的一个定义。没有数据治理计划,各个部门的工作流程可能会以不同的方式来对待记录。结果将是各个部门的工作流程产生不同版本的真相,具有不同的监管和合规风险。报告和分析变得不可靠,并使冲突加剧。
      营销部通过网页表单收集销售线索,并为每条线索创建一条新的账户记录,但网页表单上可能有错字。法律部从头开始为每份协议创建一条新的记录,导致某些数据重复,如果其数据与包含错字的营销部数据产生冲突,那么还需要进行清理。
      由于可追溯至大型主机时代的一个传统,运行整个系统的硬件设施也许是由会计部管理,而会计部可能不想花钱改进营销部的数据收集系统。营销部的人在策划宣传活动时,习惯了直接查看会计部数据库的原始客户记录,这会产生监管和安全风险。
      数据治理计划不仅为解决这些问题和预见新的问题提供了知识和制度基础,还根据企业战略计划的推进提供相应的扩展。