贝壳找房目前有1000多人的产品技术团队。从实时数据应用角度，公司内主要应用的实时数据，一个是线上的日志，大概有两千多个线上的服务，每个服务又输出了很多的日志，日志数据是流式数据应用最多的。第二部分就是埋点，在APP、web端上报的经纪人作业情况和C端用户的行为，这部分通过前端的埋点技术上报。第三部分就是业务的数据，业务用kafka做消息队列产生的实时数据。1、流式计算平台平台目前主要建设SparkStreaming、Flink两种在实时计算中比较常见的计算引擎。平台化的背景就是早期如果公司内有业务想用数据流进行计算，可能需要申请客户端，自己去搭建一个客户端，然后向集群上提交实时作业。这个产生
2021-03-01 17:06:19
1.47MB
1
本文来自于51CTO技术栈，日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双11大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。有过项目开发经验的朋友都知道：从平台的最初搭建到实现核心业务，都需要有日志平台为各种业务保驾护航。如上图所示，对于一个简单的日志应用场景，通常会准备master/slave两个应用。我们只需运行一个Shell脚
2021-02-25 09:10:24
1.92MB
1
新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后台系统支撑。微博平台第一代架构为LAMP架构，数据库使用的是MyIsam，后台用的是php，缓存为Memcache。随着应用规模的增长，衍生出的第二代架构对业务功能进行了模块化、服务化和组件化，后台系统从php替换为Java，逐渐形成SOA架构，在很长一段时间支撑了微博平台的业务发展。在此基础上又经过长时间的重构、线上运行、思索与沉淀，平台形成了第三代架构体系。我们先看一张微博的核心业务图（如下），是不
2021-02-21 09:08:14
284KB
1
分享教程——基于Flink+Hudi构建企业万亿级云上实时数据湖教程，2021年录制；本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。
项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。
2021-02-18 14:08:00
1KB
1
分享课程——基于Flink流处理的动态实时亿级全端用户画像系统，本课程基于真实的大型电商系统场景下讲解的用户画像系统，本系统采用第四代计算引擎Flink，同时采用微服务架构Spring Boot+Spring Cloud 架构 ，前端采用Vue.js+Node.js架构，完全符合目前企业级的使用标准。
2021-01-28 04:27:16
412B
1
Flink+ClickHouse构建亿级电商用户画像平台（PC、移动、小程序）教程分享，2020年10月录制，完整版131节，附源码和课件；本课程采用Flink+ClickHouse技术架构实现我们的画像系统，通过学习完本课程可以节省你摸索的时间，节省企业成本，提高企业开发效率。
2021-01-28 04:26:35
999B
1