摘要：
接上文，本文采用Hive相关的技术来完成数据清理和计算 一. 原始日志信息的存储 hive的表支持正则式的方式进行存储和读取，如下：（注：不要建成外部表，便于数据清洗完后Truncate掉数据，以便后续数据的清洗） 我们的access.log的日志数据格式如下： 所以建表语句中的正则式 二. 原始日 阅读全文
posted @ 2019-07-29 20:45
杭州胡欣
阅读(883)
评论(0)
推荐(0)
摘要：
一. 埋点 测试时，需要自己模拟一个网站系统，在其中需要埋点的页面中的<head></head>中加入如下代码： <script src="tongji.js"></script> 注：tongji.js 就是需埋点的 js 文件 下面是 tongji.js 文件的代码： /**函数可对字符串进行编 阅读全文
posted @ 2019-07-28 14:18
杭州胡欣
阅读(1201)
评论(0)
推荐(0)
摘要：
概述 背景：在互联网的应用中，日志是个非常重要的数据，因为互联网项目往往是要求 7*24 不间断运行的，所以能获取到监控系统运行的相关日志数据并进行分析就显得很有必要。 日志的种类： 系统日志：也就是由开发人员在系统后台代码中加入的日志输出语句，如果是JAVA语言，通常都是采用log4j的框架技术进 阅读全文
posted @ 2019-07-08 17:55
杭州胡欣
阅读(3091)
评论(0)
推荐(1)
摘要：
在微服务架构体系中，使用API 服务网关后的系统架构图如下： API服务网关的主要作用如下： 服务访问的统一入口 服务访问的负载均衡功能 服务访问的路由功能 在SpringCloud中，基于Netflix 和Zuul 组件来实现API 网关功能，下面先来构建一个服务网关项目： 1. pom文件 <p 阅读全文
posted @ 2019-06-13 14:38
杭州胡欣
阅读(538)
评论(0)
推荐(0)
摘要：
在微服务架构中，全局配置的重要性不言而喻。SpringCloud的全局配置存储主要基于 Git 来实现，即配置信息存储在Git服务器，以统一的方式对外提供访问。在使用上分为 ConfigServer和ConfigClient这两个角色。 一. ConfigServer的应用，这也是一个基于Sprin 阅读全文
posted @ 2019-06-13 11:20
杭州胡欣
阅读(1261)
评论(0)
推荐(0)
摘要：
简单的说，就是当Spring容器扫描到某个接口的多个 bean 时，如果某个bean上加了@Primary 注解 ，则这个bean会被优先选用，如下面的例子： 因为 HibernateFooRepository 上面有注解@Primary，所以它将优先JdbcFooRepository被注入到 Fo 阅读全文
posted @ 2019-06-05 15:45
杭州胡欣
阅读(4858)
评论(0)
推荐(0)
摘要：
首先是为什么要在微服务场景使用OAuth2，这是因为使用了OAuth2后，就能向第三方系统提供授权。 其次是如何使用，见下图： 在微服务架构中使用OAuth2，有几个问题需要我们思考： 1. token要不要暴露给前端 根据OAuth2的code模式的机制，获得code后会进行一次回调，不同的Cli 阅读全文
posted @ 2019-05-11 19:32
杭州胡欣
阅读(3932)
评论(0)
推荐(0)
摘要：
本文继续使用SpringSecurity从实战角度对OAuth2进行体验，上一篇 搭建了项目环境，并对配置做了初步分析，分析发现会有两套配置可能在影响OAuth，一个是由授权服务的启动类上的注解@EnableAuthorizationServer引出的，另一个则是由引用的依赖中的自动配置类 OAut 阅读全文
posted @ 2019-04-27 12:06
杭州胡欣
阅读(590)
评论(0)
推荐(0)
摘要：
在分析SpringSecurity前，基于多年前使用SpringSecurity和近年来使用Shiro的经验， SpringSecurity这些年在发展和SpringBoot整合之后，也逃不出以下的一些套路： 1. 提供一个AuthenticationManager，用于登录认证 2. 提供一个we 阅读全文
posted @ 2019-04-23 20:46
杭州胡欣
阅读(1163)
评论(0)
推荐(0)
摘要：
SpringSecurity曾经在十年前非常火热，只要是做权限系统，当时几乎非用它不可，记得是在XML文件里一堆的配置。曾几何时，Shiro冒了出来，以其简洁和轻量的风格慢慢地捕获了众多码农的心，从此SpringSecurity似乎成了历史文物。 但事物总是在发展变化的，这两年随着 SpringBo 阅读全文
posted @ 2019-04-23 15:04
杭州胡欣
阅读(1124)
评论(1)
推荐(1)
浙公网安备 33010602011771号