03 2019 档案

python实现单链表的翻转
摘要:#!/usr/bin/env python #coding = utf-8 class Node: def __init__(self,data=None,next = None): self.data = data self.next = next def rev(link): pre = lin 阅读全文

posted @ 2019-03-27 19:53 ExplorerMan 阅读(155) 评论(0) 推荐(0)

浮动IP(Floating IPs):开始构建你的高可用性的应用
摘要:高可用性是所有生产环境的关键。开发者因此可以高枕无忧因为他们知道他们的应用被设计为可以承受住故障。 今天,我们非常激动的宣布我们应用了浮动IP技术。浮动IP指的是一个IP地址可以立即从一个Droplet(Digitalocean的VPS)转移到同一数据中心下的另一个Droplet。 一个高度可用的基 阅读全文

posted @ 2019-03-24 14:50 ExplorerMan 阅读(993) 评论(0) 推荐(0)

LVS简介及使用
摘要:一.LVS是什么? LVS的英文全称是Linux Virtual Server,即Linux虚拟服务器。它是我们国家的章文嵩博士的一个开源项目。在linux内存2.6中,它已经成为内核的一部分,在此之前的内核版本则需要重新编译内核。二.LVS能干什么? LVS主要用于多服务器的负载均衡。它工作在网络 阅读全文

posted @ 2019-03-20 23:13 ExplorerMan 阅读(158) 评论(0) 推荐(0)

nginx负载均衡和lvs负载均衡的比较分析
摘要:LVS和Nginx都可以用作多机负载的方案,它们各有优缺,在生产环境中需要好好分析实际情况并加以利用。 首先提醒,做技术切不可人云亦云,我云即你云;同时也不可太趋向保守,过于相信旧有方式而等别人来帮你做垫被测试。把所有即时听说到的好东西加以钻研,从而提高自己对技术的认知和水平,乃是一个好习惯。 下面 阅读全文

posted @ 2019-03-20 23:12 ExplorerMan 阅读(177) 评论(0) 推荐(0)

面试了一名32岁的程序员,领导:年纪太大,直接送走吧
摘要:程序员是吃青春饭的行业吗?这个问题放在国内,很多人都会表示认同,君不见,很多互联网企业招聘程序员,年纪三十多岁的一般就不考虑了,比如华为,前段时间就盛传清退35岁以上的员工,虽然没有得到官方证实,但空穴不来风。华为好歹设了一个35岁的标准,可是近日一名网友的爆料却让更多的程序员颤抖:一名32岁的程序 阅读全文

posted @ 2019-03-20 12:26 ExplorerMan 阅读(473) 评论(0) 推荐(0)

django+uwsgi+nginx数据表过大引起"out of memory for query result"
摘要:昨天负责的一个项目突然爆“out of memory for query result”。 背景 项目的数据表是保存超过10m的文本数据,通过json方式保存进postgres中,上传一个13m的大文件处理过程中出错。 怀疑 1 .celery进程过多 一开始怀疑celery进程过多导致的内存不足引 阅读全文

posted @ 2019-03-19 18:21 ExplorerMan 阅读(1875) 评论(0) 推荐(0)

uwsgi 报MemoryError
摘要:网站部署后,基本一天有时候几个小时就会502,查看uwsgi日志看到,一直在报MemoryError的错 之前以为是python版本的问题,说是32位的python最多支持2G,但查看了python版本,是64位的啊 >>> import platform>>> platform.architect 阅读全文

posted @ 2019-03-19 18:16 ExplorerMan 阅读(485) 评论(0) 推荐(0)

gunicorn工作原理
摘要:gunicorn工作原理 Gunicorn“绿色独角兽”是一个被广泛使用的高性能的Python WSGI UNIX HTTP服务器,移植自Ruby的独角兽(Unicorn )项目,使用pre-fork worker模式,具有使用非常简单,轻量级的资源消耗,以及高性能等特点。 Gunicorn 服务器 阅读全文

posted @ 2019-03-19 18:09 ExplorerMan 阅读(639) 评论(0) 推荐(0)

亿级流量系统架构之如何设计每秒十万查询的高并发架构
摘要:亿级流量架构专栏: 亿级流量系统架构之如何支撑百亿级数据的存储与计算 亿级流量系统架构之如何设计高容错分布式计算系统 亿级流量系统架构之如何设计承载百亿流量的高性能架构 亿级流量系统架构之如何设计每秒数十万查询的高并发架构 亿级流量系统架构之如何设计全链路99.99%高可用架构【敬请期待】 一、前情 阅读全文

posted @ 2019-03-19 16:57 ExplorerMan 阅读(9116) 评论(0) 推荐(2)

MySQL5.6在线DDL不锁表(在线添加字段)
摘要:解答你也看一下MySQL5.6在线DDL不锁表,现在我有一张1亿的表,需要增加一个字段,假如我让你去增加这个字段,你应该注意什么,具体怎么操作? 操作如下:1.注意磁盘空间(临时表目录 参数 tmpdir ,因为需要创建临时表使用 algorithm=default,inplace,copy cop 阅读全文

posted @ 2019-03-19 12:10 ExplorerMan 阅读(551) 评论(0) 推荐(0)

Linux配置浮动IP
摘要:在高可用集群环境中,一般都需要使用浮动IP来实现web高可用(High Availability)。 浮动IP的概念以及为什么需要浮动IP请参考:https://blog.csdn.net/readiay/article/details/53538085 本篇文章主要讲实际操作步骤: 可以是双机,也 阅读全文

posted @ 2019-03-18 22:55 ExplorerMan 阅读(1419) 评论(0) 推荐(0)

浮动IP(FLOAT IP)
摘要:主要谈一谈关于浮动IP的东西,介绍下浮动IP是什么 1、为什么要有浮动IP这个东西 现在有一个场景,在一台Linux上部署一个web应用,应用跑在tomcat里面,linux网卡上的ip是115.239.100.120大致就是如下的部署关系: 用户通过输入IP地址就能访问这个应用了,但是天有不测风云 阅读全文

posted @ 2019-03-18 22:53 ExplorerMan 阅读(1050) 评论(0) 推荐(0)

nginx实现请求的负载均衡 + keepalived实现nginx的高可用
摘要:前言 使用集群是网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时,不要企图去换更强大的服务器,对大型网站而言,不管多么强大的服务器,都满足不了网站持续增长的业务需求。这种情况下,更恰当的做法是增加一台服务器分担原有服务器的访问及存储压力。通过负载均衡调度服务器,将来自浏 阅读全文

posted @ 2019-03-18 22:51 ExplorerMan 阅读(243) 评论(0) 推荐(0)

nginx的location配置详解
摘要:语法规则: location [=|~|~*|^~] /uri/ { … } = 开头表示精确匹配 ^~ 开头表示uri以某个常规字符串开头,理解为匹配 url路径即可。nginx不对url做编码,因此请求为/static/20%/aa,可以被规则^~ /static/ /aa匹配到(注意是空格)。 阅读全文

posted @ 2019-03-18 22:25 ExplorerMan 阅读(234) 评论(0) 推荐(0)

nginx负载均衡算法
摘要:配置方式 NGINX配置负载均衡主要是在nginx.conf文件中里upstream模块 1、upstream模块应放于nginx.conf配置的http{}标签内2、upstream模块默认算法是wrr (权重轮询 weighted round-robin) 分配算法 Nginx的upstream 阅读全文

posted @ 2019-03-18 22:24 ExplorerMan 阅读(354) 评论(0) 推荐(0)

Nginx:承受3万并发连接数,胜过Apache 10倍
摘要:编者按:Nginx是目前比较重要的开源性负载均衡技术,新浪、网易、六间房等很多网站都将Nginx部署进自己的网站系统架构,并解决部分问题。本文是作者长期的实战经验,很有参考价值。 本文是我撰写的关于搭建“Nginx + PHP(FastCGI)”Web服务器的第4篇文章。本系列文章作为国内最早详细介 阅读全文

posted @ 2019-03-18 22:00 ExplorerMan 阅读(4870) 评论(0) 推荐(0)

Nginx深入详解之多进程网络模型
摘要:一、进程模型 Nginx之所以为广大码农喜爱,除了其高性能外,还有其优雅的系统架构。与Memcached的经典多线程模型相比,Nginx是经典的多进程模型。Nginx启动后以daemon的方式在后台运行,后台进程包含一个master进程和多个worker进程,具体如下图: 图1 Nginx多进程模型 阅读全文

posted @ 2019-03-18 21:57 ExplorerMan 阅读(286) 评论(0) 推荐(0)

Nginx支持比Apache高并发的原因
摘要:1.先从各自使用的多路复用IO模型说起: select模型:(apache使用,由于受模块等限制,用的不多) poll: poll是unix沿用select自己重新实现了一遍,唯一解决的问题是poll 没有最大文件描述符数量的限制 epoll模型:(nginx使用) epoll带来了两个优势,大幅度 阅读全文

posted @ 2019-03-18 21:54 ExplorerMan 阅读(139) 评论(0) 推荐(0)

nginx 优化(突破十万并发)
摘要:一般来说nginx配置文件中对优化比较有作用的为以下几项: worker_processes 8; nginx进程数,建议按照cpu数目来指定,一般为它的倍数。 worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 0010 阅读全文

posted @ 2019-03-18 21:49 ExplorerMan 阅读(259) 评论(0) 推荐(0)

RPC架构简单理解
摘要:RPC(Remote Promote Call) 一种进程间通信方式。允许像调用本地服务一样调用远程服务。 RPC框架的主要目标就是让远程服务调用更简单、透明。RPC框架负责屏蔽底层的传输方式(TCP或者UDP)、序列化方式(XML/JSON/二进制)和通信细节。开发人员在使用的时候只需要了解谁在什 阅读全文

posted @ 2019-03-17 20:33 ExplorerMan 阅读(917) 评论(0) 推荐(0)

【转】浅谈Nginx负载均衡与F5的区别
摘要:前言 笔者最近在负责某集团网站时,同时用到了Nginx与F5,如图所示,负载均衡器F5作为处理外界请求的第一道“墙”,将请求分发到web服务器后,web服务器上的Nginx再进行处理,静态内容直接访问本地门户,动态数据则通过反向代理指向内网服务。 其实Nginx和F5这两者均可用作网站负载均衡,那二 阅读全文

posted @ 2019-03-17 20:10 ExplorerMan 阅读(219) 评论(0) 推荐(0)

RPC简介及框架选择
摘要:简单介绍RPC协议及常见框架,对比传统restful api和RPC方式的优缺点。常见RPC框架,gRPC及序列化方式Protobuf等 HTTP协议 http协议是基于tcp协议的,tcp协议是流式协议,包头部分可以通过多出的\r\n来分界,包体部分如何分界呢?这是协议本身要解决的问题。目前一般有 阅读全文

posted @ 2019-03-17 20:01 ExplorerMan 阅读(1243) 评论(0) 推荐(0)

Elasticsearch聚合 之 Terms
摘要:本篇着重讲解的terms聚合,它是按照某个字段中的值来分类: 比如性别有男、女,就会创建两个桶,分别存放男女的信息。默认会搜集doc_count的信息,即记录有多少男生,有多少女生,然后返回给客户端,这样就完成了一个terms得统计。 Terms聚合 得到的结果如下: 数据的不确定性 使用terms 阅读全文

posted @ 2019-03-17 19:08 ExplorerMan 阅读(1762) 评论(1) 推荐(0)

Elasticsearch聚合初探——metric篇
摘要:前言 ES中的聚合被分为两大类:Metric度量和bucket桶(原谅我英语差,找不到合适的词语.....就用单词来说吧!)。说的通俗点,metric很像SQL中的avg、max、min等方法,而bucket就有点类似group by了。 本篇就简单的介绍一下metric聚合的用法。 metric的 阅读全文

posted @ 2019-03-17 19:07 ExplorerMan 阅读(680) 评论(0) 推荐(0)

Elasticsearch聚合 之 Date Histogram聚合
摘要:用法 Date histogram的用法与histogram差不多,只不过区间上支持了日期的表达式。 interval字段支持多种关键字:`year`, `quarter`, `month`, `week`, `day`, `hour`, `minute`, `second` 当然也支持对这些关键字 阅读全文

posted @ 2019-03-17 19:07 ExplorerMan 阅读(793) 评论(0) 推荐(0)

ElasticSearch安装部署,基本配置(Ubuntu14.04)
摘要:ElasticSearch部署文档(Ubuntu 14.04) 安装java echo $PATH 安装ElasticSearch ElasticSearch各个目录说明 配置 ES_HEAP_SIZE File Descriptors Virtual memory Memory Settings 阅读全文

posted @ 2019-03-17 19:06 ExplorerMan 阅读(159) 评论(0) 推荐(0)

几种常见的微服务架构方案简述——ZeroC IceGrid、Spring Cloud、基于消息队列
摘要:微服务架构是当前很热门的一个概念,它不是凭空产生的,是技术发展的必然结果。虽然微服务架构没有公认的技术标准和规范草案,但业界已经有一些很有影响力的开源微服务架构平台,架构师可以根据公司的技术实力并结合项目的特点来选择某个合适的微服务架构平台,以此稳妥地实施项目的微服务化改造或开发进程。本文选自《架构 阅读全文

posted @ 2019-03-17 19:03 ExplorerMan 阅读(523) 评论(0) 推荐(0)

用Python开发Zeroc Ice应用
摘要:Zeroc Ice简介 Zeroc ICE(Internet Communications Engine ,互联网通信引擎)是目前功能比较强大和完善的RPC框架,支持跨平台、跨语言调用。它非常灵活,可以通过TCP、UDP、SSL/TSL或WebSocket连接,支持同步、异步调用,以及服务器和客户端 阅读全文

posted @ 2019-03-17 19:02 ExplorerMan 阅读(3348) 评论(0) 推荐(0)

pycharm远程调试配置
摘要:目录: 安装pycharm 配置pycharm远程调试 使用测试 一、安装pycharm(略) 二、配置pycharm远程调试 1、菜单 >Tools >Deployment >Configuration 2、点击加号,添加server 〉选择SFTP 3、输入IP、用户名,密码,Python项目目 阅读全文

posted @ 2019-03-17 17:31 ExplorerMan 阅读(192) 评论(0) 推荐(0)

利用PyCharm进行Python远程调试
摘要:背景描述 有时候Python应用的代码在本地开发环境运行十分正常,但是放到线上以后却出现了莫名其妙的异常,经过再三排查以后还是找不到问题原因,于是就在想,要是可以在服务器环境中进行单步跟踪调试就好了。 然而,在服务器系统上安装一个IDE肯定是不现实的;通过SSH远程到服务器端,采用pdb进行调试虽然 阅读全文

posted @ 2019-03-17 17:30 ExplorerMan 阅读(803) 评论(0) 推荐(0)

通信协议之序列化
摘要:stevenrao——2012-07-07于深圳 通信协议可以理解两个节点之间为了协同工作实现信息交换,协商一定的规则和约定,例如规定字节序,各个字段类型,使用什么压缩算法或加密算法等。常见的有tcp,udo,http,sip等常见协议。协议有流程规范和编码规范。流程如呼叫流程等信令流程,编码规范规 阅读全文

posted @ 2019-03-17 16:45 ExplorerMan 阅读(412) 评论(0) 推荐(0)

通信协议演进与JCE协议详解
摘要:一、通信协议概述通信协议是两个节点之间为了协同工作、实现信息交换,而协商的规则和约定,例如规定字节序,各个字段类型,使用什么压缩算法或加密算法等。 1、原始数据假设A和B通信,获取或设置用户基本资料,一般开发人员第一步就是定义一个协议结构: struct userbase{unsigned shor 阅读全文

posted @ 2019-03-17 16:26 ExplorerMan 阅读(3864) 评论(0) 推荐(0)

Redis源码剖析和注释(七)--- 快速列表(quicklist)
摘要:Redis 快速列表(quicklist)1. 介绍quicklist结构是在redis 3.2版本中新加的数据结构,用在列表的底层实现。 通过列表键查看一下:redis 列表键命令详解 127.0.0.1:6379> RPUSH list 1 2 5 1000"redis" "quicklist" 阅读全文

posted @ 2019-03-13 21:37 ExplorerMan 阅读(586) 评论(0) 推荐(0)

redis源码之压缩列表ziplist
摘要:压缩列表ziplist1.简介连续,无序的数据结构。压缩列表是 Redis 为了节约内存而开发的, 由一系列特殊编码的连续内存块组成的顺序型(sequential)数据结构。 2.组成 属性 类型 长度 用途zlbytes uint_32t 4B 记录整个压缩列表占用的内存字节数:在对压缩列表进行内 阅读全文

posted @ 2019-03-13 21:34 ExplorerMan 阅读(178) 评论(0) 推荐(0)

Redis源码剖析--列表t_list实现
摘要:Redis中的列表对象比较特殊,在版本3.2之前,列表底层的编码是 ziplist 和 linkedlist 实现的, 但是在版本3.2之后,重新引入了一个 quicklist 的数据结构,列表的底层都由quicklist实现。 这边是在看源码和实际验证的时候发现的区别,然后上网查证。由于目前使用的 阅读全文

posted @ 2019-03-13 21:32 ExplorerMan 阅读(254) 评论(0) 推荐(0)

mysql的mvcc(多版本并发控制)
摘要:我们知道,mysql的innodb采用的是行锁,而且采用了多版本并发控制来提高读操作的性能。 什么是多版本并发控制呢 ?其实就是在每一行记录的后面增加两个隐藏列,记录创建版本号和删除版本号, 而每一个事务在启动的时候,都有一个唯一的递增的版本号。 1、在插入操作时 : 记录的创建版本号就是事务版本号 阅读全文

posted @ 2019-03-12 21:32 ExplorerMan 阅读(150) 评论(0) 推荐(0)

mysql 之mvcc多版本控制
摘要:MVCC是multiversion concurrency control的缩写,提供MySQL事物隔离级别下无锁读,例如一个事物在执行update等修改数据的sql,并未提交时其他事物进行数据读取是不影响的,而且读取内容为数据变更之前的数据。 mvcc多本版快照由innodb的rollback s 阅读全文

posted @ 2019-03-12 21:26 ExplorerMan 阅读(230) 评论(0) 推荐(0)

关于分布式锁原理的一些学习与思考-redis分布式锁,zookeeper分布式锁
摘要:首先分布式锁和我们平常讲到的锁原理基本一样,目的就是确保,在多个线程并发时,只有一个线程在同一刻操作这个业务或者说方法、变量。 在一个进程中,也就是一个jvm 或者说应用中,我们很容易去处理控制,在jdk java.util 并发包中已经为我们提供了这些方法去加锁, 比如synchronized 关 阅读全文

posted @ 2019-03-08 18:13 ExplorerMan 阅读(158) 评论(0) 推荐(0)

除了写代码,程序员还能做哪些副业呢?
摘要:01 许多年轻程序员会单纯地认为:“只要做一名正儿八经的程序员,在技术上深耕细作,在工作上兢兢业业,就一定能走上人生巅峰!” 但到了三十岁的时候才发现,原来只做一名“正儿八经”的程序员在小公司是不可能挣到很多钱的,更不可能走上人生巅峰。 毕竟老板已经下了定义,“他们就那样了”。如果不“那样”,那么这 阅读全文

posted @ 2019-03-08 14:37 ExplorerMan 阅读(2851) 评论(0) 推荐(1)

MySQL表类型MyISAM/InnoDB的区别(解决事务不回滚的问题)(转)
摘要:本文参考: http://mysqlpub.com/thread-5383-1-1.html http://blog.csdn.net/c466254931/article/details/53463596 有很多是转载合并过来。 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除传 阅读全文

posted @ 2019-03-06 15:44 ExplorerMan 阅读(208) 评论(0) 推荐(0)

MySQL的innoDB锁机制以及死锁处理
摘要:MySQL的nnoDB锁机制 InnoDB与MyISAM的最大不同有两点:一是支持事务(TRANSACTION);二是采用了行级锁。行级锁与表级锁本来就有许多不同之处,innodb正常的select ID from table where id=1;不会上任何锁,接下来详细讨论InnoDB的锁问题; 阅读全文

posted @ 2019-03-06 15:42 ExplorerMan 阅读(390) 评论(0) 推荐(0)

Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能-转自阿里中间件
摘要:引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。 那么,消息中间件性能究竟哪家强? 带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、R 阅读全文

posted @ 2019-03-06 15:07 ExplorerMan 阅读(1323) 评论(0) 推荐(0)

REST与RPC的简单对比
摘要:一、REST:Representational State Transfer,表述性状态转移 REST是一种架构风格,指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。REST规范把所有内容都视为资源,网络上一切皆资源。 REST并没也创造新的技术,组件或服务, 阅读全文

posted @ 2019-03-06 14:44 ExplorerMan 阅读(672) 评论(0) 推荐(0)

RPC好,还是RESTful好?
摘要:看到知乎上有这样一个问题 WEB开发中,使用JSON-RPC好,还是RESTful API好? 还有其他优秀的推荐方案吗? 先科普一下REST 和 RESTful 什么区别?REST,即Representational State Transfer的缩写。翻译过来是表现层状态转换。如果一个架构符合R 阅读全文

posted @ 2019-03-06 14:40 ExplorerMan 阅读(1283) 评论(0) 推荐(2)

外行人都能看得懂的机器学习,错过了血亏!
摘要:前言 只有光头才能变强 没错,这篇主要跟大家一起入门机器学习。作为一个开发者,”人工智能“肯定是听过的。作为一个开发面试者,肯定也会见过”机器学习“这个岗位(反正我校招的时候就遇到过)。 可能还会听过或者见过“深度学习”、“神经网络”等等这些非常火的名词,那你对这些术语了解多少呢? 相信大家这几天在 阅读全文

posted @ 2019-03-06 12:23 ExplorerMan 阅读(357) 评论(1) 推荐(0)

分布式锁与实现(二)——基于ZooKeeper实现
摘要:引言 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的架构通过冗余服务实现高 阅读全文

posted @ 2019-03-05 23:54 ExplorerMan 阅读(253) 评论(0) 推荐(0)

分布式锁的几种使用方式(redis、zookeeper、数据库)
摘要:Q:一个业务服务器,一个数据库,操作:查询用户当前余额,扣除当前余额的3%作为手续费synchronizedlockdb lockQ:两个业务服务器,一个数据库,操作:查询用户当前余额,扣除当前余额的3%作为手续费分布式锁我们需要怎么样的分布式锁?可以保证在分布式部署的应用集群中,同一个方法在同一时 阅读全文

posted @ 2019-03-05 23:53 ExplorerMan 阅读(140) 评论(0) 推荐(0)

分布式锁与实现(一)——基于Redis实现
摘要:概述 目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时 阅读全文

posted @ 2019-03-05 23:53 ExplorerMan 阅读(159) 评论(0) 推荐(0)

基于redis的分布式锁实现
摘要:关于分布式锁 很久之前有讲过并发编程中的锁并发编程的锁机制:synchronized和lock。在单进程的系统中,当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量。而同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只 阅读全文

posted @ 2019-03-05 23:52 ExplorerMan 阅读(334) 评论(0) 推荐(0)

mysql ON DUPLICATE KEY UPDATE重复插入时更新
摘要:mysql当插入重复时更新的方法: 第一种方法: 示例一:插入多条记录 假设有一个主键为 client_id 的 clients 表,可以使用下面的语句: 示例一:插入单条记录 使用 dual 做表名可以让你在 select 语句后面直接跟上要插入字段的值,即使这些值还不存在当前表中。 第二种方法: 阅读全文

posted @ 2019-03-05 23:33 ExplorerMan 阅读(806) 评论(0) 推荐(0)

INSERT 中ON DUPLICATE KEY UPDATE的使用
摘要:使用场景,在做全国各省ip访问统计时要将sparkStreaming的数据存在mysql中,按照一般设计,id,province,counts,time,这样就需要每次清空表,但是如果多分区的话就存在删除表的时候回出现后一个分区可能把前一个分区的数据删除掉,当然最好的办法是每次都只更新而不删除,但是 阅读全文

posted @ 2019-03-05 23:31 ExplorerMan 阅读(227) 评论(0) 推荐(0)

海量存储第一弹 - 自动化运维
摘要:作者简介:裴泽良,2010年加入架构平台部,一直从事运营系统相关的建设工作,历经了腾讯海量存储及CDN服务的运营体系从入门到初级再到较为完善的各个阶段,目前专注于提升腾讯云上业务的运营质量,以及建设新一代高效与安全的自动化运维体系。 运营体系 在介绍我们的运营体系前,有必要先简单介绍下我们的业务及其 阅读全文

posted @ 2019-03-05 22:28 ExplorerMan 阅读(454) 评论(0) 推荐(0)

负载均衡再学习
摘要:下文,以软负载均衡(反向代理)方案为背景,讨论负载均衡。 负载均衡特点: 负载均衡:暴露给用户的IP只有一个,如果后端机器故障,进行下线修复后再上线这一过程,前端用户感觉不到,并且可以根据后端机器的性能差异,调整流量分配权重,科学的分配访问量。 负载均衡的以上特点,大大提高了应用程序容错能力。 开源 阅读全文

posted @ 2019-03-05 22:19 ExplorerMan 阅读(462) 评论(0) 推荐(0)

L5负载均衡
摘要:L5负载均衡组件的功能职责 L5的功能特征如下: 名字服务:以SID(由模块ID和命令字ID组成)为关键字,通过SID取得真正的IP和端口地址,使得IP和端口配置对调用者透明,运维变更配置更方便; 负载均衡:以请求成功率和请求延时这两个关键指标进行动态权重计算,动态均衡各个被调服务器的负载,达到较好 阅读全文

posted @ 2019-03-05 22:15 ExplorerMan 阅读(1453) 评论(0) 推荐(0)

几种负载均衡技术的实现
摘要:【前言】 负载均衡技术对于中大型网站的性能提高有着很大的优势,最近在学习《大型网站技术的架构》,其中对于负载均衡技术有一些介绍,将学习的经验总结一下,分享下。多交流。 【协议层】http重定向协议实现负载均衡 原理:根据用户的http请求计算出一个真实的web服务器地址,并将该web服务器地址写入h 阅读全文

posted @ 2019-03-05 22:14 ExplorerMan 阅读(179) 评论(0) 推荐(0)

gevent和tornado异步
摘要:阅读目录 从 Tornado 说起 再来看下 Gevent 总要总结一下 阅读目录 从 Tornado 说起 再来看下 Gevent 总要总结一下 原文:http://www.pywave.com/2012/08/17/about-gevent-and-tornado/ 还是前几月的时候,几乎在同一 阅读全文

posted @ 2019-03-05 20:52 ExplorerMan 阅读(468) 评论(0) 推荐(0)

Flask, Tornado, GEvent组合运行与性能比较
摘要:我在选一个python的互联网框架, 本来已经定下来用Tornado了. 但我还听到很多人推荐Flask的简单性和灵活性, 还有gevent的高性能, 所以决定也试试它们以及它们和Tornado的结合. 我的示例就比”Hello World”应用稍微复杂一点儿, 它用到了模板. 下面是代码: 1, 阅读全文

posted @ 2019-03-05 20:50 ExplorerMan 阅读(904) 评论(0) 推荐(0)

ElasticSearch原理
摘要:Elasticsearch-基础介绍及索引原理分析 最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时 阅读全文

posted @ 2019-03-05 17:58 ExplorerMan 阅读(215) 评论(0) 推荐(0)

redis master配置了密码进行主从同步
摘要:1.如果master不设置密码,那么直接在slave服务器配置slaveof即可 配置如下 配置好我们看下redis的日志 看是否同步成功 OK。 不然可能会出现一下错误 阅读全文

posted @ 2019-03-03 19:23 ExplorerMan 阅读(1303) 评论(0) 推荐(0)

redis sentinel 高可用(HA)方案部署,及python应用示例
摘要:redis sentinel(哨兵)高可用集群的部署方法,并通过 python 程序实例讲解如何使用 redis sentinel redis sentinel(哨兵)高可用集群的部署方法,并通过 python 程序实例讲解如何使用 redis sentinel redis sentinel(哨兵) 阅读全文

posted @ 2019-03-03 19:12 ExplorerMan 阅读(513) 评论(0) 推荐(0)

Linux Redis集群搭建与集群客户端实现
摘要:硬件环境 本文适用的硬件环境如下 Redis已经成功安装,安装路径为/home/idata/yangfan/local/redis-3.2.1。 我们要在单台机器上搭建Redis集群,方式是通过不同的TCP端口启动多个实例,然后组成集群。 1、启动Redis多个实例 我们在Redis安装目录下创建目 阅读全文

posted @ 2019-03-03 18:53 ExplorerMan 阅读(215) 评论(0) 推荐(0)

导航