duanxz - 博客园

2016年1月17日

摘要：本文主要介绍大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景。缓存概述缓存的分类缓存主要分为四类，如下图： CDN 缓存 CDN(Content Delivery Network 内容分发网络)的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中。阅读全文

posted @ 2016-01-17 22:10 duanxz 阅读(1455) 评论(0) 推荐(0)

Ehcache/Redis/Tair缓存性能对比[转载]

摘要： FW : http://xulingbo.net/?p=434 版权归许令波所有。此处只是一个转载。后面介绍的不同方式都有测试数据，这些测试数据都是在同一的测试环境下得出的测试结果：测试机器的配置如下： 64位5核CPU, E5620 @ 2.40GHz，内存8G CDN端缓存由于计数器的价阅读全文

posted @ 2016-01-17 21:29 duanxz 阅读(4942) 评论(0) 推荐(0)

2016年1月16日

nginx启动，重启，关闭命令

摘要：一、启动 cd usr/local/nginx/sbin ./nginx 二、重启 /usr/nginx/sbin/nginx -s reload 停止操作停止操作是通过向nginx进程发送信号（什么是信号请参阅linux文章）来进行的步骤1：查询nginx主进程号 ps -ef | grep 阅读全文

posted @ 2016-01-16 18:56 duanxz 阅读(2914) 评论(0) 推荐(0)

Nginx配置文件详细说明

摘要：在此记录下Nginx服务器nginx.conf的配置文件说明, 部分注释收集与网络.#运行用户user www-data; #启动进程,通常设置成和cpu的数量相等worker_processes 1;#全局错误日志及PID文件error_log /var/log/nginx/error.log;p... 阅读全文

posted @ 2016-01-16 18:55 duanxz 阅读(335) 评论(0) 推荐(0)

windows下nginx安装、配置与使用

摘要：目前国内各大门户网站已经部署了Nginx，如新浪、网易、腾讯等；国内几个重要的视频分享网站也部署了Nginx，如六房间、酷6等。新近发现Nginx 技术在国内日趋火热，越来越多的网站开始部署Nginx。相比apeach、iis，nginx以轻量级、高性能、稳定、配置简单、资源占用少等优势广受欢迎。... 阅读全文

posted @ 2016-01-16 18:55 duanxz 阅读(936) 评论(0) 推荐(0)

2016年1月15日

java http大文件断点续传上传

摘要： 1，项目调研因为需要研究下断点上传的问题。找了很久终于找到一个比较好的项目。在GoogleCode上面，代码弄下来超级不方便，还是配置hosts才好，把代码重新上传到了github上面。https://github.com/freewebsys/java-large-file-uploader-de... 阅读全文

posted @ 2016-01-15 17:07 duanxz 阅读(9355) 评论(1) 推荐(0)

FTP断点续传

摘要：一，最重要的一点，断点续传需要服务器的支持，这个是必要条件。传统的FTP SERVER是不支持断点续传的，因为它不支持REST指令，传统的FTP指令（我是指服务器端指令）并不包括REST指令。第二，客户端要知道使用REST等一系列指令来作断点续传。看看断点续传的详细过程... 阅读全文

posted @ 2016-01-15 17:04 duanxz 阅读(21224) 评论(2) 推荐(1)

解读断点续传的基本原理

摘要：断点续传的理解可以分为两部分：一部分是断点，一部分是续传。断点的由来是在下载过程中，将一个下载文件分成了多个部分，同时进行多个部分一起的下载，当某个时间点，任务被暂停了，此时下载暂停的位置就是断点了。续传就是当一个未完成的下载任务再次开始时，会从上次的断点继续传送。使用多线程断点续传下载的时... 阅读全文

posted @ 2016-01-15 17:03 duanxz 阅读(2921) 评论(0) 推荐(0)

2016年1月14日

FTP文件传输协议两种模式 ftp协议集，错误码集，ftp客户端命令集

摘要： TCP/IP协议中，FTP标准命令TCP端口号为21，Port方式数据端口为20。FTP协议的任务是从一台计算机将文件传送到另一台计算机，它与这两台计算机所处的位置、联接的方式、甚至是是否使用相同的操作系统无关。假设两台计算机通过ftp协议对话，并且能访问Internet，你可以用ftp命令来传输... 阅读全文

posted @ 2016-01-14 09:49 duanxz 阅读(4648) 评论(0) 推荐(0)

2016年1月13日

服务器是否支持断点续传

摘要：通常情况下，Web服务器(如Apache)会默认开启对断点续传的支持。因此，如果直接通过Web服务器来提供文件的下载，可以不必做特别的配置，即可享受到断点续传的好处。断点续传是在发起HTTP请求的时候加入RANGE头来告诉服务器客户端已经下载了多少字节。等所有这些请求都返回之后，再把得到的内容一块一... 阅读全文

posted @ 2016-01-13 11:13 duanxz 阅读(5918) 评论(0) 推荐(1)

2016年1月12日

RocketMQ总结

摘要：架构概念模型最基本的概念模型与扩展后段概念模型存储模型 RocketMQ吐血总结User GuideRocketMQ是一款分布式消息中间件，最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统，满足线上海量消息堆积的需求，在2016年底捐赠给Apache开源基金会成为孵化项目，经过不到一年阅读全文

posted @ 2016-01-12 16:16 duanxz 阅读(787) 评论(0) 推荐(0)

ISO模型的七个分层

摘要：要想理解socket首先得熟悉一下TCP/IP协议族， TCP/IP（Transmission Control Protocol/Internet Protocol）即传输控制协议/网间协议，定义了主机如何连入因特网及数据如何再它们之间传输的标准，从字面意思来看TCP/IP是TCP和IP协议的合称阅读全文

posted @ 2016-01-12 14:22 duanxz 阅读(8145) 评论(0) 推荐(2)

分布式系统的压测

摘要：全链路压测改造：链路上的有些应用不是幂等的，需要针对的改造。下游写流量的拦截，防止污染BI报表，推荐算法的影响。中间件需要支持对压测流量的识别，使得压测标识能够随着调用传递下去。全链路压测的安全机制分两层：第一层是安全的监控和保护，建立非法流量的监控机制，正常用户访问不了的测试数据，测试用阅读全文

posted @ 2016-01-12 09:38 duanxz 阅读(537) 评论(0) 推荐(0)

性能测试，负载测试，压力测试，容量测试的区别

摘要：性能测试（Performance Test）：以系统设计初期规划的性能指标为预期目标，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。关注点：how much和how fast 负载测试：对系统不断地增加并发请求以增加系统压力，直到系统的某项或多项性能指标达到安全临界值，如某种资阅读全文

posted @ 2016-01-12 09:29 duanxz 阅读(7915) 评论(1) 推荐(0)

2016年1月11日

ES:document的创建和删除

摘要： 1、document的全量替换（1）语法与创建文档是一样的，如果document id不存在，那么就是创建；如果document id已经存在，那么就是全量替换操作，替换document的json串内容（2）document是不可变的，如果要修改document的内容，第一种方式就是全量替换，直阅读全文

posted @ 2016-01-11 19:11 duanxz 阅读(1332) 评论(0) 推荐(0)

全文检索引擎Solr系列——整合中文分词组件IKAnalyzer

摘要： IK Analyzer是一款结合了词典和文法分析算法的中文分词组件，基于字符串匹配，支持用户词典扩展定义，支持细粒度和智能切分，比如：智能分词的结果是：最细粒度分词结果：整合IK Analyzer比mmseg4j要简单很多，下载解压缩IKAnalyzer2012FF_u1.jar放到目录：E: 阅读全文

posted @ 2016-01-11 19:09 duanxz 阅读(600) 评论(0) 推荐(0)

全文检索引擎Solr系列——整合中文分词组件mmseg4j

摘要：默认Solr提供的分词组件对中文的支持是不友好的，比如：“VIM比作是编辑器之神”这个句子在索引的的时候，选择FieldType为”text_general”作为分词依据时，分词效果是：它把每一个词都分开了，可以想象如果一篇文章这样分词的搜索的体验效果非常差。能够和Solr集成的中文分词组件有很多阅读全文

posted @ 2016-01-11 19:05 duanxz 阅读(463) 评论(0) 推荐(1)

全文检索引擎Solr系列——Solr核心概念、配置文件

摘要： Document Document是Solr索引（动词，indexing）和搜索的最基本单元，它类似于关系数据库表中的一条记录，可以包含一个或多个字段（Field），每个字段包含一个name和文本值。字段在被索引的同时可以存储在索引中，搜索时就能返回该字段的值，通常文档都应该包含一个能唯一表示该文档阅读全文

posted @ 2016-01-11 19:04 duanxz 阅读(689) 评论(0) 推荐(0)

全文检索引擎Solr系列—–全文检索基本原理

摘要：索引 Solr/Lucene采用的是一种反向索引，所谓反向索引：就是从关键字到文档的映射过程，保存这种映射这种信息的索引称为反向索引左边保存的是字符串序列右边是字符串的文档（Document）编号链表，称为倒排表（Posting List）字段串列表和文档编号链表两者构成了一个字典。现在想搜索阅读全文

posted @ 2016-01-11 19:03 duanxz 阅读(526) 评论(0) 推荐(1)

ES之一：Elasticsearch6.4 windows安装 head插件ik分词插件安装

摘要：准备安装目标：1.Elasticsearch6.42.head插件3.ik分词插件第一步：安装Elasticsearch6.4 下载方式：1.官网下载 https://www.elastic.co/downloads/elasticsearch2.百度网盘下载：https://pan.baidu. 阅读全文

posted @ 2016-01-11 19:00 duanxz 阅读(1593) 评论(0) 推荐(0)

FTP,FTPS,FTPS与防火墙

摘要：昨天搭建了一台FTPS服务器,过程中学习了很多不清楚的知识点,还有遇到的问题,记录一下。（大部分内容汇集、整理自网络）一. 关于FTP传输模式众所周知，FTP传输有两种工作模式，Active Mode和Passive Mode（主动模式和被动模式），简单描述连接过程如下：主动模式的连接过程... 阅读全文

posted @ 2016-01-11 14:32 duanxz 阅读(4372) 评论(0) 推荐(0)

NGINX通过Stream转发ftp请求

摘要：一、NGINX 1.9之前，需要安装第三方的TCP插件： http://www.cnblogs.com/i-blog/p/6165378.html 二、1.9之后直接使用Stream配置就可以了，当然需要先安装stream模块： 1.nginx 增加tcp./configure --with-str 阅读全文

posted @ 2016-01-11 13:55 duanxz 阅读(5603) 评论(0) 推荐(0)

nginx 的第三方模块ngx_http_accesskey_module 来实现下载文件的防盗链步骤（linux系统下）

摘要： nginx 的第三方模块ngx_http_accesskey_module 来实现下载文件的防盗链步骤（linux系统下），安装Nginx和HttpAccessKeyModule模块（参考LNMP环境搭建：第一步：在/usr/local/src/下下载模块压缩包： wget http://wiki. 阅读全文

posted @ 2016-01-11 13:54 duanxz 阅读(2465) 评论(0) 推荐(0)

mysql实战优化之七：数据库侧配置优化

摘要：对于功能，我们可能知道必须改进什么；但对于性能问题，有时我们可能无从下手。其实，任何计算机应用系统最终队可以归结为： cpu消耗内存使用对磁盘，网络或其他I/O设备的输入/输出(I/O)操作。但我们遇到性能问题时，要判断的第一点就是“在这三种资源中，是否有哪一种资源达到了有问题的程度”，因为这阅读全文

posted @ 2016-01-11 13:53 duanxz 阅读(1015) 评论(0) 推荐(0)

TCP之一：传输控制协议（Transmission Control Protocol, TCP）

摘要： TCP协议主为了在主机间实现高可靠性的包交换传输协议。本文将描述协议标准和实现的一些方法。因为计算机网络在现代社会中已经是不可缺少的了，TCP协议主要在网络不可靠的时候完成通信，对军方可能特别有用，但是对于政府和商用部门也适用。TCP是面向连接的端到端的可靠协议。它支持多种网络应用程序。TCP对下层阅读全文

posted @ 2016-01-11 13:37 duanxz 阅读(6884) 评论(0) 推荐(1)