# 日志分析系统 ## 系统架构 本使用kafka，spark，hbase开发日志分析系统。  ### 软件模块 * Kafka：作为日志事件的消息系统，具有分布式，可分区，可冗余的消息服务功能。 * Spark：使用spark stream功能，实时分析消息系统中的数据，完成计算分析工作。 * Hbase：做为后端存储，存储spark计算结构，供其他系统进行调用 ## 环境部署 ### 软件版本 * hadoop 版本 ： Hadoop相关软件如zookeeper、hadoop、hbase，使用的是cloudera的 cdh 5.2.0 版本。 * Kafka ： 2.9.2-0.8.1.1

该项目是关于实时数据处理和可视化的综合应用，利用了大数据技术栈中的多个组件，包括Spark、Kafka、Flume、Echarts以及Hadoop。以下是这些技术在该项目中的具体作用和相关知识点： 1. **Spark**: Apache Spark是一个快速、通用且可扩展的大数据处理框架。在该项目中，Spark可能被用于实时数据流处理，对新闻和健身数据进行实时分析。Spark Streaming可以接收到Kafka中的数据流，并进行实时计算，如聚合、过滤或复杂事件检测，为业务决策提供及时的数据支持。 2. **Kafka**: Kafka是一款高吞吐量的分布式消息系统，常用于构建实时数据管道和流处理应用。在这个项目中，Kafka可能作为数据收集和分发的中心节点，接收来自不同源头（如新闻源、健身设备）的数据，并将其分发到Spark流处理作业或者存储到Hadoop等持久化系统中。 3. **Flume**: Flume是Apache的一个数据收集工具，用于高效、可靠地聚合和移动大量日志数据。在本项目中，Flume可能被用来从各种分散的源（如网络爬虫、服务器日志）收集新闻和健身数据，然后将这些数据发送到Kafka队列，以便进一步处理。 4. **Echarts**: Echarts是百度开源的一款基于JavaScript的数据可视化库，支持丰富的图表类型，如折线图、柱状图、饼图等。在这个项目中，Echarts可能用于将Spark处理后的数据结果以直观的图表形式展示出来，帮助用户更好地理解和分析新闻、健身数据的趋势和模式。 5. **Hadoop**: Hadoop是Apache的一个分布式文件系统，设计用于处理和存储大规模数据集。在这个项目中，Hadoop可能用于离线批处理，对历史数据进行深度分析，或者作为Spark处理后的数据备份和归档存储。 项目提供的文档和教程可能涵盖了如何设置和配置这些组件，如何编写Spark Streaming作业，如何使用Flume收集数据，如何在Kafka中设置主题和消费者，以及如何用Echarts创建交互式数据可视化。同时，它还可能涉及如何将所有这些组件整合到一个工作流程中，以实现端到端的实时数据处理和分析。 通过学习和实践这个项目，你可以深入理解大数据实时处理的工作流程，提升在大数据领域的能力，包括数据采集、流处理、数据分析和可视化等多个方面。对于想要从事大数据相关工作的专业人士，这是一个非常有价值的实践案例。

# wifi 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目 项目名称：实时的用户轨迹查询项目 项目介绍：     利用企业建设的WIFI基站，实时采集用户的信息，可以基于这些信息做用户画像处理，网络安全监控，精准营销等； 项目架构： 主要是基于Flume+Kafka+Sparkstreaming +HBase+ES来实现实时的用户信息存储轨迹查询任务。 每个部分的数据运行结果以及集群的运行状况见结果文件ProjectResult！！！

前 言 大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南 一、Hadoop 分布式文件存储系统：HDFS 分布式计算框架：MapReduce 集群资源管理器：YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 开发环境搭建 Data Source Data Transformation Data Sink 窗口模型 状态管理与检查点机制 Standalone 集群部署 六、HBase 简介 系统架构及数据结构 基本环境搭建 集群环境搭建 常用 Shell 命令 Java API 过滤器详解 可显示字数有限，详细内容请看资源。

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

项目名称 电影推荐系统——烂豆瓣 项目目标 打开电影网站，脑袋就开始发大，动作片，爱情片，科幻片，中国的，欧美的，日韩的，到底哪一部最合自己的口味？茫茫影海，想要找到自己的“真爱”，谈何容易？我们知道你们找得辛苦，所以我们为你量身推荐电影！ 项目任务 任务 具体任务 负责人 工作量 数据集 负责完成收集电影、用户以及评分数据集，并对数据进行清洗，建立新的数据结构。建立并维护系统数据库。 推荐引擎 负责完成推荐系统，包括基于用户历史数据的离线推荐系统以及收集用户实时行为数据，进行精准的实时推荐。 API服务 负责完成基于烂豆瓣各产品，面向开发者的开放接口（API）服务。在这里，开发者可以接入烂豆瓣电影推荐的优质内容，以及基于各种兴趣的用户关系。 web应用 负责完成一个电影推荐web应用，利用开发接口API以及酷炫的web前端页面，实现用户与推荐系统的完美交互。 数据集 本系统所需要的电影数

1.高可靠性 2.高扩展性 3.高效性 4.高容错性 5.低成本

Yelper：基于协作过滤的推荐系统 孙传 [gmail.com的chuansun76] [twitter.com/sundeepblue] 博客： ： 或此处： : 此README文件描述了“ Yelper”的几个主要组件，Yelper是主要使用Python使用Spark框架构建的业务推荐系统。 以下是“ Yelper”的一些功能： 按城市划分原始业务数据，可以进行微调和自定义推荐 使用Spark MLlib的基于矩阵分解的推荐 在Scala中使用Spark GraphX进行用户业务图分析 使用Spark Streaming和Apache Kafka进行实时用户请求处理 使用

微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5 PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5 PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据

1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。 4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。 5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。