搭建Hadoop集群，并使用flume+kafka+storm+hbase实现日志抓取分析，使用一个主节点master、两个slave节点

第十一次课-Flume的安装和使用，包含Flume的两个实例应用

flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】

统一监控平台方案（日志监控、方法监控、调用链路监控） 包含flume采集数据、kafka缓存数据、spark计算、es索引数据

自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。详细的记录下来Kafka接收Flume数据并存储至HDFS过程

commons-io-2.4.jar，hadoop-auth-2.7.3.jar，hadoop-common-2.7.3.jar，hadoop-hdfs-2.7.3.jar，htrace-core-3.1.0-incubating.jar五个包是flume1.7连hdfs所需要的外部包

MartinHub的学习笔记 关于我 MartinHub :smiling_face_with_sunglasses: ，，热爱生活！热爱技术！ 微信公众号【MartinHub】 个人微信号【MartinHub】 项目介绍 大数据 Java 数据库 Linux 杂记 :bullseye: :hot_beverage: :floppy_disk: :cloud: :memo: :black_nib:本仓库有来源自己总结，网上收集，视频笔记，如果有区别之处，可以联系我进行删除。 :scroll:笔记仓库： GitHub上： Gitee： :scroll:笔记地址： GitHub上： Gitee： 因个人能力有限，笔记中可能还有很多错误的地方，还请大家能够多多指出交流，也欢迎各位小伙伴能够提交拉请求请求进行完善。 注意：因为构建页面的框架缓存，访问笔记地址时，为防止最新更新的笔记看不到，请浏览器打开网址后，先清除页面缓存。

Flume配置文件kafkaSource 包含Intercepter,包含正则表达式。

避免流式传输 前言：使用scala和java混编完成，其中也涉及到python脚本来自动生成日志，linux crontab调度工具来定时执行脚本生成实时日志。生成的数据主要是模拟某学习网站学习视频课程的访问量（其中*以“ / class”开头的表示实战课程，然后通过流水线Flume + Kafka + SparkStreaming进行实时日志的收集，HBase来存储数据）* 注意事项（使用的软件工具及环境配置） hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6

自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。