摘要： 昨天负责的一个项目突然爆“out of memory for query result”。 背景 项目的数据表是保存超过10m的文本数据，通过json方式保存进postgres中，上传一个13m的大文件处理过程中出错。 怀疑 1 .celery进程过多 一开始怀疑celery进程过多导致的内存不足引 阅读全文

摘要： 网站部署后，基本一天有时候几个小时就会502，查看uwsgi日志看到，一直在报MemoryError的错 之前以为是python版本的问题，说是32位的python最多支持2G，但查看了python版本，是64位的啊 >>> import platform>>> platform.architect 阅读全文

摘要： gunicorn工作原理 Gunicorn“绿色独角兽”是一个被广泛使用的高性能的Python WSGI UNIX HTTP服务器，移植自Ruby的独角兽（Unicorn ）项目,使用pre-fork worker模式，具有使用非常简单，轻量级的资源消耗，以及高性能等特点。 Gunicorn 服务器 阅读全文

摘要： 亿级流量架构专栏： 亿级流量系统架构之如何支撑百亿级数据的存储与计算 亿级流量系统架构之如何设计高容错分布式计算系统 亿级流量系统架构之如何设计承载百亿流量的高性能架构 亿级流量系统架构之如何设计每秒数十万查询的高并发架构 亿级流量系统架构之如何设计全链路99.99%高可用架构【敬请期待】 一、前情 阅读全文

摘要： 解答你也看一下MySQL5.6在线DDL不锁表,现在我有一张1亿的表，需要增加一个字段，假如我让你去增加这个字段，你应该注意什么，具体怎么操作？ 操作如下：1.注意磁盘空间(临时表目录 参数 tmpdir ，因为需要创建临时表使用 algorithm=default，inplace，copy cop 阅读全文

摘要： 在高可用集群环境中，一般都需要使用浮动IP来实现web高可用（High Availability）。 浮动IP的概念以及为什么需要浮动IP请参考：https://blog.csdn.net/readiay/article/details/53538085 本篇文章主要讲实际操作步骤： 可以是双机，也 阅读全文

摘要： 主要谈一谈关于浮动IP的东西，介绍下浮动IP是什么 1、为什么要有浮动IP这个东西 现在有一个场景，在一台Linux上部署一个web应用，应用跑在tomcat里面，linux网卡上的ip是115.239.100.120大致就是如下的部署关系： 用户通过输入IP地址就能访问这个应用了，但是天有不测风云 阅读全文

摘要： 前言 使用集群是网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时，不要企图去换更强大的服务器，对大型网站而言，不管多么强大的服务器，都满足不了网站持续增长的业务需求。这种情况下，更恰当的做法是增加一台服务器分担原有服务器的访问及存储压力。通过负载均衡调度服务器，将来自浏 阅读全文

摘要： 语法规则： location [=|~|~*|^~] /uri/ { … } = 开头表示精确匹配 ^~ 开头表示uri以某个常规字符串开头，理解为匹配 url路径即可。nginx不对url做编码，因此请求为/static/20%/aa，可以被规则^~ /static/ /aa匹配到（注意是空格）。 阅读全文

摘要： 配置方式 NGINX配置负载均衡主要是在nginx.conf文件中里upstream模块 1、upstream模块应放于nginx.conf配置的http{}标签内2、upstream模块默认算法是wrr (权重轮询 weighted round-robin) 分配算法 Nginx的upstream 阅读全文