摘要：
nginx location配置 location在nginx中起着重要作用，对nginx接收到的请求字符串进行处理，如地址定向、数据缓存、应答控制、代理转发等location语法location [=|~|~*|^~] uri {...}[]部分是匹配类型，可以没有，其中各项含义：（1）= 精准匹 阅读全文
posted @ 2017-01-07 23:25
xuebusi
阅读(249)
评论(0)
推荐(0)
摘要：
nginx配置文件结构 全局参数 配置系统全局参数如：worker_processes 工作子进程数量、error_log 错误日志路径、pid 进程IDEvent一般是配置nginx工作模式及连接的特性如：worker_connections 1024; // 一个子进程最大允许连1024个连接h 阅读全文
posted @ 2017-01-07 23:22
xuebusi
阅读(366)
评论(0)
推荐(0)
摘要：
nginx虚拟主机配置 虚拟主机的概念虚拟主机，就是把一台物理服务器划分成多个“虚拟”的服务器，每一个虚拟主机都可以有独立的域名和独立的目录nginx虚拟主机的配置nginx的虚拟主机就是通过nginx.conf中server节点指定的，想要设置多个虚拟主机，配置多个server节点即可先看一个最简 阅读全文
posted @ 2017-01-07 23:18
xuebusi
阅读(25058)
评论(0)
推荐(0)
摘要：
nginx rewrite rewrite的作用rewrite可以实现url的重定向，把用户请求的url转发到另一个url，但用户浏览器地址并不改变例如常用的伪静态化，就是通过rewrite实现的/user/123 => /user.php?id=123语法rewrite regex replace 阅读全文
posted @ 2017-01-07 23:18
xuebusi
阅读(184)
评论(0)
推荐(0)
摘要：
nginx 负载均衡 例如目前有两台服务器，一个nginx服务器，一个web服务器（例如tomcat），nginx负责把所有请求转发到web服务器 配置如下server {......location / {proxy_pass http://web1.example.com;}}由于访问量增大，一 阅读全文
posted @ 2017-01-07 23:17
xuebusi
阅读(610)
评论(0)
推荐(0)
摘要：
nginx 负载均衡策略 1. 轮询轮询方式是nginx负载均衡的默认策略，根据每个server的权重值来轮流发送请求，例如：upstream backend {server backend1.example.com;server backend2.example.com;}这种情况是每个serve 阅读全文
posted @ 2017-01-07 23:16
xuebusi
阅读(351)
评论(0)
推荐(0)
摘要：
nginx 缓存机制 Nginx缓存的基本思路 利用请求的局部性原理，将请求过的内容在本地建立一个副本，下次访问时不再连接到后端服务器，直接响应本地内容 Nginx服务器启动后，会对本地磁盘上的缓存文件进行扫描，在内存中建立缓存索引，并有专门的进程对缓存文件进行过期判断、更新等进行管理 对于缓存，我 阅读全文
posted @ 2017-01-07 23:14
xuebusi
阅读(24193)
评论(0)
推荐(2)
摘要：
nginx反向代理实现跨域请求 跨域请求可以通过JSONP实现，缺点是需要修改被请求的服务器端代码进行配合，稍显麻烦通过在自己服务器上配置nginx的反向代理，可以轻松实现跨域请求 思路 示例服务器A中有一个页面，想请求服务器B中的api地址（http://www.b.com/api），获取JSON 阅读全文
posted @ 2017-01-07 23:13
xuebusi
阅读(444)
评论(0)
推荐(0)
摘要：
网络内容缓存CDN的工作原理 CDN的全称是Content Delivery Network，即内容分发网络CDN的目的就是提高用户访问网站的响应速度提速的基本思路例如你的网站服务器是在北京，这时有一个广州的用户来访问你的网站当你的网站没有使用CDN时，用户是直接通过网络读取你的服务器，这个过程就涉 阅读全文
posted @ 2017-01-07 23:12
xuebusi
阅读(636)
评论(0)
推荐(0)
摘要：
什么是反向代理服务器 我们常会看到‘反向代理服务器’这个名词，例如常看到文章上说 nginx 是一个反向代理服务器、varnish 是一个反向代理服务器 …… 下面就了解下这个概念 含义‘反向代理服务器’ 有两个概念，一是‘代理服务器’，二是‘反向’‘代理服务器’比较好理解，例如需要访问某网站，不想 阅读全文
posted @ 2017-01-07 23:10
xuebusi
阅读(577)
评论(0)
推荐(0)
摘要：
如何让linux定时任务crontab按秒执行？ linux定时任务crontab最小执行时间单位为分钟如果想以秒为单位执行，应该如何设置呢？思路 正常情况是在crontab中直接定义要执行的任务，现在我们在中间添加一个脚本文件 自定义一个脚本文件，循环执行要执行的任务，循环中使用sleep来控制间 阅读全文
posted @ 2017-01-07 23:06
xuebusi
阅读(6097)
评论(0)
推荐(0)
摘要：
如何管理linux开机自启服务？ 自启动服务非常重要，例如 （1）需要手动添加希望自启的服务，如安装svn后没有自动添加，就需要我们手动加入（2）安装某些程序后，自动加到自启动了，但我们不需要，需要手动移除（3）很多恶意程序都会把自己加入自启动，需要我们排查删除运行级别的原理涉及到自启动操作时，就会 阅读全文
posted @ 2017-01-07 23:05
xuebusi
阅读(1404)
评论(0)
推荐(0)
摘要：
分方式缓存常用的一致性hash是什么原理 一致性hash是用来解决什么问题的？先看一个场景有n个cache服务器，一个对象object映射到哪个cache上呢？可以采用通用方法计算object的hash值，然后均匀的映射到到n个cachehash(object) % n初始阶段运行正常，但当cach 阅读全文
posted @ 2017-01-07 22:58
xuebusi
阅读(222)
评论(0)
推荐(0)
摘要：
Linux nginx日志按天分割实例 nginx的日志有个小缺点，日志文件一直就是一个，不会自动地进行切割，如果访问量很大的话，将导致日志文件非常大，不便于管理这就需要我们自己来实现了，按日期每天生产一个日志文件思路 每天零点把默认日志文件改名为当天日期，再重新打开新的日志文件使用定时任务来执行脚 阅读全文
posted @ 2017-01-07 22:53
xuebusi
阅读(2596)
评论(0)
推荐(0)
摘要：
HDFS 核心原理 2016-01-11 杜亦舒 HDFS（Hadoop Distribute File System）是一个分布式文件系统文件系统是操作系统提供的磁盘空间管理服务，只需要我们指定把文件放到哪儿，从哪个路径读取文件句可以了，不用关心文件在磁盘上是如何存放的当文件所需空间大于本机磁盘空 阅读全文
posted @ 2017-01-07 22:51
xuebusi
阅读(280)
评论(0)
推荐(0)
摘要：
Docker容器是否可以改变世界？ 2016-01-15 杜亦舒 2016年了，很多大牛开始预测技术趋势，其中一个普遍的观点我也很认同： Docker会更加流行，会改变程序世界 2015年的上半年我接触了Docker，熟悉之后，真有一点震惊的感觉，太方便了，可以解决很多问题 Container 通常 阅读全文
posted @ 2017-01-07 22:48
xuebusi
阅读(231)
评论(0)
推荐(0)
摘要：
大数据运算模型 MapReduce 原理 2016-01-24 杜亦舒 MapReduce 是一个大数据集合的并行运算模型，由google提出，现在流行的hadoop中也使用了MapReduce作为计算模型 MapReduce 通俗解释 图书馆要清点图书数量，有10个书架，管理员为了加快统计速度，找 阅读全文
posted @ 2017-01-07 22:43
xuebusi
阅读(579)
评论(0)
推荐(0)
摘要：
分布式消息队列 Kafka 2016-02-25 杜亦舒 Kafka是一个高吞吐量的、分布式的消息系统，由Linkedin开发，开发语言为scala具有高吞吐、可扩展、分布式等特点 适用场景 活动数据统计活动数据包括页面访问量（Page View）、被查看内容方面的信息、搜索情况等内容先以日志的形式 阅读全文
posted @ 2017-01-07 22:41
xuebusi
阅读(244)
评论(0)
推荐(0)
摘要：
Kafka是如何实现高吞吐率的 原创 2016-02-27 杜亦舒 性能与架构 Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失kafka主要使用了以下几个方式实现了超高的吞吐 阅读全文
posted @ 2017-01-07 22:40
xuebusi
阅读(645)
评论(0)
推荐(0)
摘要：
Kafka 高可用设计 2016-02-28 杜亦舒 Kafka在早期版本中，并不提供高可用机制，一旦某个Broker宕机，其上所有Partition都无法继续提供服务，甚至发生数据丢失对于分布式系统，当集群规模上升到一定程度后，宕机的可能性大大提高，对高可用性就有了非常高要求Kafka在0.8版本 阅读全文
posted @ 2017-01-07 22:36
xuebusi
阅读(1013)
评论(0)
推荐(0)
摘要：
Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施准备3台服务器，分别命名为 master、slave1、slave2互相配置 阅读全文
posted @ 2017-01-07 22:28
xuebusi
阅读(342)
评论(0)
推荐(0)
摘要：
Docker部署Hadoop集群 Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一 阅读全文
posted @ 2017-01-07 22:27
xuebusi
阅读(664)
评论(0)
推荐(0)
摘要：
HBase 的表结构 HBase 的表结构 2016-10-13 杜亦舒 HBase 是一个NoSQL数据库，用于处理海量数据，可以支持10亿行百万列的大表，下面就了解一下数据是如何存放在HBase表中的 关系型数据库的表结构 关系型数据库的表结构 为了更好的理解HBase表的思路，先回顾一下关系数 阅读全文
posted @ 2017-01-07 22:26
xuebusi
阅读(23181)
评论(0)
推荐(8)
摘要：
HBase 数据读写流程 2016-10-18 杜亦舒 读数据 HBase的表是按行拆分为一个个 region 块儿，这些块儿被放置在各个 regionserver 中 假设现在想在用户表中获取 row key 为 row0001 的用户信息 要想取得这条数据，就需要先找到含有此条记录的 regio 阅读全文
posted @ 2017-01-07 22:23
xuebusi
阅读(2499)
评论(0)
推荐(1)
摘要：
HBase 的存储结构 2016-10-17 杜亦舒 HBase 中的表常常是超级大表，这么大的表，在 HBase 中是如何存储的呢？HBase 会对表按行进行切分，划分为多个区域块儿，每个块儿名为 HRegionHBase 是集群结构，会把这些块儿分散存储到多个服务器中，每个服务器名为HRegio 阅读全文
posted @ 2017-01-07 22:23
xuebusi
阅读(1114)
评论(0)
推荐(0)
摘要：
Phoenix - Hbase与SQL 2016-10-23 杜亦舒 Phoenix是什么 简单来说，Phoenix 是一个可以让我们通过SQL的方式操作HBase数据库的框架。 HBase是一个NoSQL数据库，shell客户端只支持一些简单的操作，而且看起来容易晕。 例如下面这个图，返回的是一张 阅读全文
posted @ 2017-01-07 22:22
xuebusi
阅读(539)
评论(0)
推荐(0)
摘要：
理解 Linux shell 中的一个方言：2>&1 理解 Linux shell 中的一个方言：2>&1 2016-11-14 杜亦舒 前言 在使用 linux 命令或者 shell 编程时，这个用法常会遇到 2>&1 如果是刚开始接触Linux，这个东西的确不好理解，因为他没有直观的含义，不像一 阅读全文
posted @ 2017-01-07 22:20
xuebusi
阅读(341)
评论(0)
推荐(0)
摘要：
快速认识ELK中的L - Logstash 原创 2016-12-07 杜亦舒 简介 Logstash 是一个开源的数据采集引擎。 Logstash 就像是一个管子，左面接数据源接收数据，右面接存储目的地，管子中间有过滤器，对接收到的数据进行过滤，只存储符合要求的数据。 例如 左面可以对接 日志文件 阅读全文
posted @ 2017-01-07 22:18
xuebusi
阅读(677)
评论(0)
推荐(0)
摘要：
启动HBase集群： 单独启动一个HMaster进程： 单独停止一个HMaster进程： 单独启动一个HRegionServer进程： 单独停止一个HRegionServer进程： 如果觉得本文对您有帮助，不妨扫描下方微信二维码打赏点，您的鼓励是我前进最大的动力： 阅读全文
posted @ 2017-01-07 22:09
xuebusi
阅读(32249)
评论(0)
推荐(2)
摘要：
Kafka 快速起步 原创 2017-01-05 杜亦舒 性能与架构 主要内容：1. kafka 安装、启动2. 消息的 生产、消费3. 配置启动集群4. 集群下的容错测试5. 从文件中导入数据，并导出到文件 单机示例 安装 tar -xzf kafka_2.10-0.10.1.1.tgz cd k 阅读全文
posted @ 2017-01-07 20:21
xuebusi
阅读(474)
评论(0)
推荐(0)
摘要：
Kafka 消息存储及检索 原创 2016-02-29 杜亦舒 性能与架构 Kafka是一个分布式的消息队列系统，消息存储在集群服务器的硬盘Kafka中可以创建多个消息队列，称为topic，消息的生产者向topic中发布消息，消息的消费者从topic中获取消息消息是海量的，为了消息的读写性能，top 阅读全文
posted @ 2017-01-07 20:16
xuebusi
阅读(625)
评论(0)
推荐(0)
摘要：
HBase集群搭建 搭建环境：假设我们的linux环境已经准备好，包括网络、JDK、防火墙、主机名、免密登录等都没有问题，而且一定要有zookeeper。下面我们用3台linux虚拟机来搭建Hbase集群，首先启动我们的3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoo 阅读全文
posted @ 2017-01-07 20:10
xuebusi
阅读(1047)
评论(0)
推荐(0)
浙公网安备 33010602011771号