摘要: Web server's gzip Web服务开启数据压缩,有利于节省带宽。服务器根据客户端请求头所带的 判断是否需要对返回数据进行压缩,通常支持的压缩格式是gzip。 应用gzip or Nginx gzip 开发人员可以选择在Web framework中开发一些middleware来实现Gzip 阅读全文
posted @ 2018-04-22 22:23 Srggggg 阅读(2486) 评论(0) 推荐(0) 编辑
摘要: 背景 最近在做APP投放渠道分析,就是Android应用投放到应用市场,所谓渠道就是huawei,xiaomi,yingyongbao之类,运营人员根据数据分析渠道的下载安装情况、各个渠道的投放效果。 需求 完成一个Android渠道分析的展示面板,包含以下指标: APP总新增激活数量 按渠道划分的 阅读全文
posted @ 2018-03-09 01:18 Srggggg 阅读(500) 评论(0) 推荐(0) 编辑
摘要: 起因 频次限制(rate limiting)是Web系统比较常见的功能,防止用户频繁访问接口,导致系统负载增加而影响服务的质量。 系统要求 针对线上的功能,实现对指定对象有访问频次的限制 支持多个客户端访问 低延迟 承受较大的访问量 易于拓展 流程 1. 设置服务频次限制,如针对某 10QPS 2. 阅读全文
posted @ 2018-03-09 01:13 Srggggg 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 动机 记录一下常用的Ansible指令、模块,方便检索。 Ansible主机 /etc/ansible/hosts中,server是目标服务器列表名,包含两个服务器 Ansible Shell模块 Ansible playbook 执行较大的复杂任务时,以 的声明语法来配置,并且可以放置一些模板类文 阅读全文
posted @ 2018-03-09 01:13 Srggggg 阅读(244) 评论(0) 推荐(0) 编辑
摘要: 起因 搭建数据平台时,对已经存储在 "Hive" 的结构化数据进行一些简单的查询是一个比较常见的需求,目前我使用的版本是Hive 2.3,它支持的执行引擎有 "Spark" 、 "Tez" 。 配置 利用Cloudera的CDH套件搭建好Hadoop 2.6,可CDH中的Hive版本不高,于是独立安 阅读全文
posted @ 2018-01-30 23:36 Srggggg 阅读(1000) 评论(0) 推荐(0) 编辑
摘要: 生产环境搭建etcd 以搭建3节点高可用ETCD集群为例,分别在三台主机上初始化 ,`ETCD2 ETCD3`作为机器IP地址。 历史记录压缩 如果将etcd用作服务发现,每次服务注册和更新都可以看做一条新数据,日积月累,这些数据的量会导致etcd占用内存越来越大,直到etcd到达空间配额限制的时候 阅读全文
posted @ 2017-09-05 12:59 Srggggg 阅读(1497) 评论(0) 推荐(0) 编辑
摘要: 配置涵盖程序运行的环境,程序依赖的基础资源地址,程序的行为等。 需求 根据环境读取配置 方便更新配置 基础数据格式为 ,`map JSON YAML XML` 配置部署(docker环境) 跟随镜像打包 最直接的方式也就是将配置文件也打包到docker镜像,配置即代码,更新配置需要构建新的镜像 优点 阅读全文
posted @ 2017-04-15 19:11 Srggggg 阅读(1058) 评论(0) 推荐(0) 编辑
摘要: 物理机部署 传统发布流程(以Java spring boot为例) 编译jar包 分发到服务器A,B,C 服务启动,监听到指定端口 配置负载均衡到已启动服务端口 服务发布成功 关于服务更新,为了实现滚动更新,可以让LB绑定的服务逐渐更新 传统更新流程 编译jar包 分发到服务器A,B,C 将服务器A 阅读全文
posted @ 2017-04-14 15:50 Srggggg 阅读(12897) 评论(1) 推荐(3) 编辑
摘要: 保证系统能稳定地运行在生产环境是第一要务,就算是服务质量下降,只要仍在工作,那就是万幸。 常见服务问题 1. 服务超时 依赖的第三方服务因为某种不可抗力超时了?数据库慢查询拖垮了整个数据库? 2. 服务错误 某个服务挂了? 3. 服务负载高 突然陡增的访问量? 解决方法 1. 限时 针对服务超时,可 阅读全文
posted @ 2017-04-07 22:52 Srggggg 阅读(6461) 评论(0) 推荐(3) 编辑
摘要: 目录 1. 服务拆分与服务发现 2. 微服务框架选择 3. 服务间通信 4. 服务编排 5. 配置管理 6. 服务端保护机制 7. 监控 API监控 服务调用链 服务负载 基础依赖监控 8. 日志分析 Monolithic vs Microservice | | Monolithic | Micro 阅读全文
posted @ 2017-03-26 18:14 Srggggg 阅读(1515) 评论(0) 推荐(0) 编辑