秋华 - 博客园

2020年9月12日

摘要： 1 什么是 canal 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 canal是用java开发的基于数据库增阅读全文

posted @ 2020-09-12 21:16 秋华阅读(865) 评论(0) 推荐(0)

实时电商数仓（七）之数据采集（六）数据库数据采集（一）数据源准备

摘要： 1 建表连接hadoop103mysql数据库，利用navicat导入mysql脚本，建立表 1）gmall0105.sql 2）base_province表数据.sql 2 生成数据并导入到数据库中三个文件放在同一个文件夹下 1）修改保存application.properties loggi 阅读全文

posted @ 2020-09-12 21:04 秋华阅读(769) 评论(2) 推荐(0)

实时电商数仓（二）之数据采集（一）搭建日志采集系统的集群（一）模拟日志生成器的使用

摘要： 1 拷贝日志生成jar包到虚拟机的某个目录 2 修改application.properties # 外部配置打开 # logging.config=./logback.xml #业务日期 mock.date=2020-05-16 #模拟数据发送模式 mock.type=http #http模式下，阅读全文

posted @ 2020-09-12 15:56 秋华阅读(628) 评论(0) 推荐(0)

2020年9月11日

实时电商数仓（六）之数据采集（五）搭建日志采集系统的集群（五）搭建日志采集集群---(集群部署)(centos)

摘要： 3.1 Nginx 入门 3.1.1简介 Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。 3.1.2 N 阅读全文

posted @ 2020-09-11 22:34 秋华阅读(333) 评论(0) 推荐(0)

实时电商数仓（五）之数据采集（四）搭建日志采集系统的集群（四）日志采集模块打包部署--- (部署到服务器)

摘要： 2 日志采集模块打包部署 (部署到服务器) 2.1 修改logback中的配置文件 <?xml version="1.0" encoding="UTF-8"?> <configuration> <property name="LOG_HOME" value="/opt/applog/gmall010 阅读全文

posted @ 2020-09-11 22:29 秋华阅读(467) 评论(0) 推荐(0)

实时电商数仓（四）之数据采集（三）搭建日志采集系统的集群（三）子模块：日志采集模块 logger --（单机开发调试）

摘要： 1.1 springboot简介 Spring Boot 是由 Pivotal 团队提供的全新框架，其设计目的是用来简化新 Spring 应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。 1.1.1有了springboot 我们就可以… 1 不阅读全文

posted @ 2020-09-11 22:11 秋华阅读(463) 评论(0) 推荐(0)

实时电商数仓（三）之数据采集（二）搭建日志采集系统的集群（二）建立父工程

摘要： 1 父工程 gmall2020-parent 1.1 建立工程 (课堂中命名可能与课件中不一致) 2 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" x 阅读全文

posted @ 2020-09-11 21:45 秋华阅读(311) 评论(0) 推荐(0)

实时电商数仓（一）之系统架构

摘要： 1 实时需求概览 1.1 实时需求与离线需求的比较离线需求，一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。实时需求，主要侧重于对当日数据的实时监控，通常业务逻辑相对离线需求简单一下，统计指标也少一些，但是更注重数据的时效性，以及用户的交互性。 1.2 需求明细 1. 阅读全文

posted @ 2020-09-11 21:30 秋华阅读(551) 评论(0) 推荐(0)

互联网商业数据分析（八十）：SQL在数据分析中的应用（十）分析项目与总结

摘要：阅读全文

posted @ 2020-09-11 16:58 秋华阅读(485) 评论(0) 推荐(0)

互联网商业数据分析（七十九）：SQL在数据分析中的应用（九）SQL案例实战（三）

摘要：阅读全文

posted @ 2020-09-11 16:53 秋华阅读(310) 评论(0) 推荐(0)

秋华

公告