郑州轻工业学院课程设计说明书题目:大数据处理技术研究姓名:王超田启森院(系):计算机与通信工程专业班级:计算机科学与技术学号:541007010138541007010137指导教师:钱慎一成绩:时间:2013年6月26日至2013年6月27日目录1.摘要:........................................42.大数据概况;....................................43.大数据定义:...................................54.大数据技术的发展:.............................55.大数据技术组成:...............................85.1分析技术......................................85.1.1可视化分析...................................915.1.2数据挖掘算法.................................95.1.3预测分析能力.................................95.1.4语义引擎.....................................95.1.5数据质量和数据管理...........................95.2存储数据库....................................105.3分布式计算技术................................116.Hadoop--大数据处理的核心技术..................136.1Hadoop的组成.................................136.2Hadoop的优点:...............................166.2.1高可靠性。..................................166.2.2高扩展性。..................................176.2.3高效性。....................................176.2.4高容错性。..................................176.3Hadoop的不足.................................176.4主要商业性“大数据”处理方案.................186.4.1IBMInfoSphere大数据分析平台...............186.4.2OracleBigDataApplianc..............196.4.3MicrosoftSQLServer.................196.4.4SybaseIQ...................................206.5其他“大数据”解决方案.......................206.5.1EMC.........................................206.5.2BigQuery....................................2026.6“大数据”与科技文献信息处理..................217.大数据处理技术发展前景:......................217.1大数据复杂度降低..............................217.2大数据细分市场................................227.3大数据开源....................................227.4Hadoop将加速发展.............................227.5打包的大数据行业分析应用......................227.6大数据分析的革命性方法出现....................237.7大数据与云计算:深度融合.......................237.8大数据一体机陆续发布..........................238结语;..........................................239参考文献:231.摘要:大数据浪潮汹涌来袭,与互联网的发明一样,这绝不仅仅是信息技术领域的革命,更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。2.大数据概况;大数据,IT行业的又一次技术变革,大数据的浪潮汹涌而至,对国家治理、企业决策和个人生活都在产生深远的影响,并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧3科技的时代、随着社交网络的逐渐成熟,移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络,由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。数据技术发展历史如图一所示:图一3.大数据定义:“大数据”是一个涵盖多种技术的概念,简单地说,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V,即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Value)。如图二;4图二4.大数据技术的发展:大数据技术描述了一种新一代技术和构架,用于以很经济的方式、以高速的捕获、发现和分析技术,从各种超大规模的数据中提取价值,而且未来急剧增长的数据迫切需要寻求新的处理技术手段。如图三所示:图三在“大数据”(Bigdata)时代,通过互联网、社交网络、物联网,人们能5够及时...