2021 年（第十五届）发电企业信息化技术与应用研讨会 - 134 - 基于 Hadoop 架构的水电企业数据资源 采集治理体系研究与应用 中国长江电力股份有限公司，张辉、曾强、王刚 摘 要：随着企业数据资源总量迅速增长，企业对于数据共享与开放的需求也逐渐增加。本文通过分析企业当前背 景及现状，先对数据资源标准体系构建进行了分析，对大数据平台建设方法进行描述，最后从数据采集治理和开发利用 两方面进行了研究。 关键词：Hadoop；数据采集；数据治理 水电企业在长期的生产运营过程中积累了大量 的电力生产数据，这些数据具有产生速率跨度大、 数据源众多、数据种类繁多、交互方式复杂等特点。 但长期以来这些数据仅存储于分散的系统或进行了 有限的集成和利用，数据资源标准体系未能进行系 统的梳理，这些数据如何应当如何被采集、存储和 应用，不同系统之间数据应当如何交互、数据质量 应如何管控、数据开放和共享应如何实现等问题亟 需解决。 为了进一步提升企业信息化水平，充分发挥大 数据、云计算等新兴信息技术对智能化电厂战略的 支撑作用，需要构建科学、系统、完善的数据资源 标准体系，为生产管理数据采集治理实施提供指导 和依据。同时，通过大数据平台建设，实现对各类 数据模型与标准的落地，实现数据的统一治理管控 机制和交换同步机制，为水电站机电设备的状态趋 势预警、评估与诊断、状态检修等工业互联网高级 分析应用奠定数据基础。 构建水电数据资源标准体系是为了支撑智能化 水电厂、智慧型企业的建设需要，该体系全面反应 企业对信息资源的管控需求，为企业数据资源的采 集、传输、清洗、存储、应用提供充分的管控手段 和指导依据，为实现企业生产管理运营的全过程、 高层面的分析决策支持奠定基础。 2.1 数据资源梳理 采用问卷调研、内部走访、资料采集和外部调 研等多种方式，对企业现有生产及管理信息系统使 用情况和内部数据资源管理情况进行调研，包括系 统的部署方式、技术架构、功能组成、数据情况、 网络安全、系统集成和相关的通信网络等，梳理、 分析并汇总现有系统数据资源类型、数据采集频率、 数据使用等情况，达到“理清家底”的目的。在调 研过程中同步了解数据资源的应用需求，为数据开 放和共享建立基础。 参考国家标准和国际标准，借鉴国内企业实践 经验，从数据资源技术标准、数据资源管理制度等 方面，构建数据资源标准体系。保障数据管理工作 有法可依，实现数据资源标准有章可循，为利用大 数据技术构建企业级数据湖奠定基础。 2.2 数据资源技术标准体系编制 建立数据资源技术标准体系是充分发挥数据价 值的前提条件。建立起可管可信的数据治理体系， 是解决数据“有没有用”的关键路径。数据资源标 准是数据治理的核心要素，规范数据采集、编制资