摘要：
Spring的起源 由于早期J2EE规范的复杂性，2003 年Spring应运而生，是一个JavaEE轻量级的一站式的开发框架，全称Spring Framework。 Spring的发展 随着时间的流逝，其他 Spring 项目已经构建在 Spring Framework 之上。例如Spring B 阅读全文
摘要：
伴随着微服务框架的流行，SpringCloud项目也变得越来越庞大，由于它是由诸多子项目组成，为了更好管理SpringCloud的发布版本与各个子项目的版本关系，SpringCloud采用了一种新的版本规则来控制整个SpringCloud的版本发布。先来了解下SpringCloud的几个相关网址： 阅读全文
摘要：
记得十多年前就开始用mysql开发系统了，那时只是单库在使用，哪管什么主从复制和读写分离。曾几何时，互联网行业兴起，阿里云这样的云平台直接将数据库进行组件化封装，并以云服务的方式（即RDS)提供给第三方使用。RDS在提供服务时，把主从复制、读写分离都做了封装，所以在互联网时代，中小型公司在使用mys 阅读全文
摘要：
个人认为在MapReduce中使用Avro可以提升数据的处理性能，主要是以下几点： 向Job提供数据文件时可以使用Avro序列化过的二进制数据文件 在数据解析方面速度比较快 排序功能 Avro官网也提供了一个ColorCount这样的一个案例，演示使用Avro序列化过的二进制数据文件作为MapRed 阅读全文
摘要：
RPC(Remote Procedure Call)：远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的思想。 一个 RPC 的核心功能主要有 5 个部分组成，分别是：客户端、客户端 Stub、网络传输模块、服务端 Stub、服务端等。 Avro除了数据序列化功能外 阅读全文
摘要：
Avro提供了两种序列化和反序列化的方式，一种是通过Schema文件来生成代码的方式，一种是不生成代码的通用方式。 下面通过一个简单的例子来进行演示： 1. 配置pom文件 <dependencies> <dependency> <groupId>org.apache.avro</groupId> 阅读全文
摘要：
官网地址 : http://avro.apache.org/ GitHub：https://github.com/apache/avro/ Avro是一个数据序列化系统。提供了以下功能和特性： 丰富的数据结构 一个紧凑的，生成速度快速的二进制数据格式 一个容器文件，用于存储持久化数据 远程过程调用( 阅读全文
摘要：
接上文，本文采用Hive相关的技术来完成数据清理和计算 一. 原始日志信息的存储 hive的表支持正则式的方式进行存储和读取，如下：（注：不要建成外部表，便于数据清洗完后Truncate掉数据，以便后续数据的清洗） 我们的access.log的日志数据格式如下： 所以建表语句中的正则式 二. 原始日 阅读全文
摘要：
一. 埋点 测试时，需要自己模拟一个网站系统，在其中需要埋点的页面中的<head></head>中加入如下代码： <script src="tongji.js"></script> 注：tongji.js 就是需埋点的 js 文件 下面是 tongji.js 文件的代码： /**函数可对字符串进行编 阅读全文