使用pyspark的stream操作kafka时，需要用到的jar包
2022-04-06 02:48:09
296KB
1
使用pyspark的stream操作kafka时，需要用到的jar包
2022-04-06 02:48:08
9.98MB
1
通过VirtualBox安装多台虚拟机，实现集群环境搭建。
优势：一台电脑即可。
应用场景：测试，学习。
注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。
内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
2022-03-30 14:41:24
66B
1
Twitter情绪分析
该项目是关于使用Apache Spark结构化流，Apache Kafka，Python和AFINN模块对所需Twitter主题进行情感分析的。 您可以了解所需主题的情感状态。
例如; 您可能对《权力的游戏》的新剧集感到好奇，并且您可能先前已经获得了某人对该新剧集的意见。 根据意见，答案可以是负的，中性的或正的。
代码说明
身份验证操作已通过Python的Tweepy模块完成。 您必须从Twitter API获取密钥。
名为TweetListener的StreamListener是为Twitter Streaming创建的。 StreamListener为名为“ t
2022-03-03 20:17:40
3KB
1
车流量监控
前言
目的1.对业务场景抽象，熟练的Spark编码2.增加自定义累加器，自定义UDF 3.Spark优化方式
项目数据处理架构
模块介绍
卡扣流量分析Spark Core
卡扣车流量转化率Spark Core
各区域车流量最高top5的道路统计SparkSQL
稽查布控，道路实时拥堵统计SparkStreaming
蜂巢表
monitor_flow_action表–日期日期天– monitor_id卡口号– camera_id摄像头编号–汽车车牌– action_time某个摄像头拍摄时间s –速度通过卡扣的速度– road_id道路id – area_id区域ID
monito
2022-02-27 03:26:20
17.17MB
1
大数据发展史：
Flink和storm sparkstreaming对比
实时框架如何选择1：需要关注流数据是否需要进行状态管理 2：At-least-once或者Exectly-once消息投递模式是否有特殊要求 3：对于小型独立的项目，并且需要低延迟的场景，建议使用storm 4：如果你的项目已经使用了spark，并且秒级别的实时处理可以满足需求的话，建议使用sparkStreaming5：要求消息投递语义为 Exactly Once 的场景；数据量较大，要求高吞吐低延迟的场景；需要进行状态管理或窗口统计的场景，建议使用flink
针对以上知识我们通过flink读取kafka保存到redis方式快速让大家学习flink如何使用，以及我们如果搭建高性能的flink应用，这个课程属于快速实战篇。
Flink + kafka + redis 实时计算
2022-01-20 17:48:10
1.63GB
1
wifi
基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目
项目名称：实时的用户轨迹查询项目
项目介绍：
利用企业建设的WIFI基站，实时采集用户的信息，可以基于这些信息做用户画像处理，网络安全监控，精准营销等；
项目架构：
主要是基于Flume+Kafka+Sparkstreaming +HBase+ES来实现实时的用户信息存储轨迹查询任务。
具体的项目说明请看文档：项目介绍
每个部分的数据运行结果以及集群的运行状况见结果文件ProjectResult！！！
2021-12-29 19:38:26
301.17MB
1
项目以宜信贷风控系统实时数据采集系统为背景，主要描述了技术架构、核心技术难点及代码实现全过程，涉及技术包括但不限于：Kafka\zookeeper,Spark，SparkStreaming，HBase，实时访问技术，爬虫技术等
2021-12-21 22:34:26
1.43MB
1
Dockerfiles：用于Docker和Kubernetes的50多个DockerHub公共映像-Hadoop，Kafka，ZooKeeper，HBase，Cassandra，Solr，SolrCloud，Presto，Apache Drill，Nifi，Spark，Consul，Riak，TeamCity和DevOps工具建立在主要Linux发行版上： Alpine，CentOS，Debian，Fedora，Ubuntu
2021-12-10 00:08:51
536KB
1