Blue Bird Singing

摘要： Web server's gzip Web服务开启数据压缩，有利于节省带宽。服务器根据客户端请求头所带的 判断是否需要对返回数据进行压缩，通常支持的压缩格式是gzip。 应用gzip or Nginx gzip 开发人员可以选择在Web framework中开发一些middleware来实现Gzip 阅读全文

摘要： 背景 最近在做APP投放渠道分析，就是Android应用投放到应用市场，所谓渠道就是huawei,xiaomi,yingyongbao之类，运营人员根据数据分析渠道的下载安装情况、各个渠道的投放效果。 需求 完成一个Android渠道分析的展示面板，包含以下指标： APP总新增激活数量 按渠道划分的 阅读全文

摘要： 动机 记录一下常用的Ansible指令、模块，方便检索。 Ansible主机 /etc/ansible/hosts中，server是目标服务器列表名，包含两个服务器 Ansible Shell模块 Ansible playbook 执行较大的复杂任务时，以 的声明语法来配置，并且可以放置一些模板类文 阅读全文

摘要： 起因 频次限制（rate limiting）是Web系统比较常见的功能，防止用户频繁访问接口，导致系统负载增加而影响服务的质量。 系统要求 针对线上的功能，实现对指定对象有访问频次的限制 支持多个客户端访问 低延迟 承受较大的访问量 易于拓展 流程 1. 设置服务频次限制，如针对某 10QPS 2. 阅读全文

摘要： 起因 搭建数据平台时，对已经存储在 "Hive" 的结构化数据进行一些简单的查询是一个比较常见的需求，目前我使用的版本是Hive 2.3，它支持的执行引擎有 "Spark" 、 "Tez" 。 配置 利用Cloudera的CDH套件搭建好Hadoop 2.6，可CDH中的Hive版本不高，于是独立安 阅读全文

摘要： 生产环境搭建etcd 以搭建3节点高可用ETCD集群为例，分别在三台主机上初始化 ,`ETCD2 ETCD3`作为机器IP地址。 历史记录压缩 如果将etcd用作服务发现，每次服务注册和更新都可以看做一条新数据，日积月累，这些数据的量会导致etcd占用内存越来越大，直到etcd到达空间配额限制的时候 阅读全文

摘要： 配置涵盖程序运行的环境，程序依赖的基础资源地址，程序的行为等。 需求 根据环境读取配置 方便更新配置 基础数据格式为 ，`map JSON YAML XML` 配置部署（docker环境） 跟随镜像打包 最直接的方式也就是将配置文件也打包到docker镜像，配置即代码，更新配置需要构建新的镜像 优点 阅读全文

摘要： 物理机部署 传统发布流程（以Java spring boot为例） 编译jar包 分发到服务器A,B,C 服务启动，监听到指定端口 配置负载均衡到已启动服务端口 服务发布成功 关于服务更新，为了实现滚动更新，可以让LB绑定的服务逐渐更新 传统更新流程 编译jar包 分发到服务器A,B,C 将服务器A 阅读全文

摘要： 保证系统能稳定地运行在生产环境是第一要务，就算是服务质量下降，只要仍在工作，那就是万幸。 常见服务问题 1. 服务超时 依赖的第三方服务因为某种不可抗力超时了？数据库慢查询拖垮了整个数据库？ 2. 服务错误 某个服务挂了？ 3. 服务负载高 突然陡增的访问量？ 解决方法 1. 限时 针对服务超时，可 阅读全文

摘要： 目录 1. 服务拆分与服务发现 2. 微服务框架选择 3. 服务间通信 4. 服务编排 5. 配置管理 6. 服务端保护机制 7. 监控 API监控 服务调用链 服务负载 基础依赖监控 8. 日志分析 Monolithic vs Microservice | | Monolithic | Micro 阅读全文