龙源期刊网http://www.qikan.com.cn大数据分析在城市照明管理系统中的应用ﻫ作者：李今来源：《软件导刊》２01５年第05期摘要:城市照明监控历史运行数据往往蕴含着大量的潜在信息和知识，人们迫切需要对有价值的数据进行深度挖掘，并将获得的成果应用于运行状况评估、异常预警和运营参数调优中。基于城市照明监控历史运行数据,提出了一种基于大数据分析技术的应用方法,对海量运行数据进行聚类分析，以及对场景模式进行划分得到判别决策树，并对实时监测过程中的动态数据进行离群点分析，从而判别当前设备运行状况。结合应用实例对模型进行合理性验证，证明了该方法的可行性。关键词:大数据分析；聚类分析；判别决策树；离群点分析中图分类号:ＴP30１文献标识码:Ａ文章编号文章编号：1672-78００(2015）005-0００1-０4作者简介:李今（1982-),男,上海人，硕士,上海五零盛同信息科技有限公司软件部工程师，研究方向为软件项目管理、软件系统设计与开发。0引言随着社会的不断进步和计算机技术的快速发展，信息系统在各领域快速拓展，系统采集、累积和处理的数据越来越多,信息增速也不断加快，这也预示着大数据时代已经到来。麦肯锡认为,“”大数据指所涉及的数据集规模超过了传统数据库软件获取、存储、管理和分析的能力[1]。虽然现实世界产生的数据量不断增长，但其中可理解的比例却不断下降，人们迫切需要对大数据进行分析,以了解海量数据背后的重要信息和知识，大数据分析技术应运而生。大数据分析是基于IT技术、数据挖掘、统计分析等多门学科的成果应用,通过从海量数据中分析出有效模式，获取存在的关系和规则并对发展趋势作出预测,这也是大数据生态环境中的最重要一——环使数据产生价值。经过城市照明管理行业２0多年的快速发展，路灯远程自动化监控技术有了很大提高。监控系统每分钟都会产生实时监控数据，运行至今的系统大都已经存储了庞大数据,它们记录了“”照明监控设备的运行状况。但是人们更关心它们背后隐含着的知识和信息，这些数据中的“”数据可用于运行状况评估、异常预警和后续运营参数调优，对照明管理部门降本增效、不断改善服务质量具有积极指导意义。由此可见，大数据分析技术应用于城市照明管理行业尤为迫切和必要。1大数据分析理论大数据分析理论指从海量数据中分析和挖掘出知识的方法,本文主要采用聚类、分类等方法。龙源期刊网http://www.qikan.com.cn1.１数据仓库建立进行大数据分析前必须收集待分析的数据资源，虽然数据挖掘可直接从操作数据源中挖掘信息,但建议从专用性和可靠性角度考虑，不采用原有的数据库或数据结构，而是将待分析数据存入数据仓库中。数据仓库是一个集成、相对静态、面向主题的数据集合，通过建立数据仓库，可将异种数据源中的数据通过集成，从而构成语义上一致的数据存储体系结构，它可按不同的主题划分管理决策所需信息，为查询、分析和决策打下基础[2］。１．２特征提取数据仓库中的集合包含了大量特征，为了通过聚类分析发现潜在的运行模式,需要从序列数据中提取反映运行情况的重要特征向量。这主要有两方面的工作：一方面为了让模型更容易理解,需要降低数据集的维度,删除不相关的特征并降低噪声,使大数据分析算法效果更好；另一方面通过创建新属性，将一些旧属性合并或创建新的属性，这样可更有效地捕获数据集中的重要信息。最常使用的特征集提取技术都是高度针对某一具体领域,一旦大数据分析用于其它领域，首要任务就是找到新的特征并进行特征提取。１.3数据预处理由于待分析数据可能存在数值区间范围较大、且不同时间段内变化快的问题,因此在大数据分析之前必须使用转换方法进行标准化处理。数据标准化转换也是大数据分析中常见的转换措施之一，它通过将数据按照比例进行缩小，使之归入一个较小区间范围内，为数据分析建立相对平等的基础。标准分数（Z-sｃore）是一种数据标准化的重要方法，能够真实地反应一个分数距离平均数的相对标准距离，标准分数可由式（1）求出：Z＝X－μσ(1)其中,Ｘ为被标准化的数据，μ为数据集的平均值，σ为数据集的标准差。Z值代表着原始数据和数据集平均值之间的距离，它能表明原始数据在数据...
VIP
