为了提高遥感数据的处理速度,解决遥感信息提取中的数据密集与计算密集问题,将并行计算的思想引入到遥感图像的处理与信息提取中,构建基于 Landsat ETM + 影像的分布式遥感图像水体提取模型｡以渭干河流域为研究区,利用单波段阈值法､多波段谱间关系法､水体指数法等方法进行水体信息自动提取的实验｡实验结果表明,该模型具有较高的识别精度,能够快速识别水体,并具有稳定的可扩展性和伸缩性｡

为了提高大数据环境下的数据挖掘速度，对分布式计算构架Hadoop进行分析与研究，提出一种基于Hadoop平台的大数据关联规则挖掘算法MRPrePost。该算法在PrePost算法基础上改进而来，采用Hadoop平台降低分布式编程的难度且易于管理，通过一种自底向上的深度优化策略改进PrePost算法，降低内存开销，同时采用负载均衡的分组策略，来提高并行算法的性能，最终试验表明，该算法运行速度快，适应大数据关联规则挖掘。

为了利用海量的电网客户数据对用电客户的用电行为进行分析和预测，在大数据的背景下，引入数据挖掘技术，设计了电网客户用电行为分析系统。根据客户的用电数据建立了用电客户细分及客户信用等级的分类标准。在数据挖掘方面，通过K-means算法对用电客户进行客户细分，利用ID3决策树算法对客户的信用度进行分类。最后以某电力客服中心具体数据进行测试，结果有效的反应各分类下的客户用电行为，系统满足设计要求。

传统的信息处理技术已难以满足现代数据处理的要求。因此，文中针对云计算时代数据处理计算量大、实时性要求高的特点，研究了基于Hadoop技术的大数据分析应用系统。该系统以Hadoop技术为基本框架，采用HDFS系统作为数据存储的基本单元。并在此基础上，利用Hive方式建立新的数据库系统，结合MySQL数据管理系统和Kylin进行数据分析系统完成对数据的获取、存储、分析、管理功能。最后，通过大数据可视化系统和大数据报表分析系统完成对数据分析结果的呈现。本研究内容对实现大数据的管理和分析具有重要意义。

为了充分利用运营商大数据来支撑终端产品运营，设计了一种基于运营商大数据的终端产品运营系统，主要包括终端监控子系统、终端推荐子系统、应用推荐子系统。该系统通过建立监控指标、终端推荐模型、应用推荐模型充分利用了运营商积累的通信行为数据、位置数据、上网行为数据、终端数据等大数据资源，提升了终端产品运营的效率以及终端推荐和应用推荐的效果。

针对当前大学生成绩预测系统模型设计复杂、计算量大、预测准确性差、智能化程度低、受人为因素影响大等问题，提出了一种基于大数据决策树算法的学生成绩分析与预测模型。该模型将大学生成绩预测问题转换成大学生学习状态分类问题，以简化模型设计并提高大学生成绩预测的准确性；通过引入计算量较小的决策树算法，利用与成绩相关的数据实现对学生未来成绩的预测，从而提高成绩预测系统的智能性和客观性。该预测模型与传统的成绩预测方法相比，具有模型复杂度低、实现简单、智能化程度高、预测准确性及客观性强等优点。在实际成绩预测实验中，对学生成绩预测的准确率达到94%，证明了该预测模型的有效性。

为了提高大数据的精准挖据与预测能力，解决传统数据挖据技术无法适应大数据处理环境的问题，利用云计算和大数据处理技术，提出了大数据精准挖据处理架构及基于BP神经网络的预测模型。重点研究了大数据处理平台架构、大数据分析与表达技术、基于BP神经网络的大数据挖据及预测模型。应用结果表明，该方案结合云计算平台和大数据挖掘技术，能够高效的处理海量数据的处理和表达，对于销售数据具有一定的预测能力。

传统关系数据库满足不了当前海量数据的高效存储和管理、高并发访问、高可用性、高扩展性、高容错性等特点的大数据环境，同时，NoSQL技术在海量数据存储方面展现了许多优秀性能，因此，NoSQL技术越来越受到重视。本文总结了大数据环境对数据存储的挑战，重点分析了NoSQL的理论基础、系统架构、数据模型、关键技术、安全问题等，并分析了几种典型的NoSQL数据库。

针对空间科学大数据的快速检索需求，提出了分布式区域检索算法。算法主要包括四维空间科学数据的索引方法和分布式四维空间科学数据的索引架构两部分。在KTS存储结构下，通过基于立方体的Block-Grid三维网格剖分方法建立两级空间索引结构，包括分布式节点间的全局索引和分布式节点内的局部索引；在分布式系统架构下，确定了索引在分布式主从节点的分布策略以及数据在分布式环境下的容错机制。基于Hadoop基础架构设计了NSSC-Hadoop系统，通过多组试验数据测试算法效率，并与直接基于Hadoop无索引遍历数据方式相比较，数据检索效率提高了将近50倍，随着数据量的增大，算法优势会更加明显。