分布式 - 随笔分类 - ljdgm

redis常见性能问题和解决方案?

摘要：下面是我的一个实际项目的情况，大概情况是这样的：一个Master，4个Slave，没有 Sharding机制，仅是读写分离，Master负责写入操作和AOF日志备份，AOF文件大概5G，Slave负责读操作，当Master调用 BGREWRITEAOF时，Master和Slave负载会突然陡增，Ma 阅读全文

posted @ 2016-04-04 23:58 ljdgm 阅读(1170) 评论(0) 推荐(0)

KAFKA分布式消息系统

摘要：基本概念 kafka的工作方式和其他MQ基本相同，只是在一些名词命名上有些不同。为了更好的讨论，这里对这些名词做简单解释。通过这些解释应该可以大致了解kafka MQ的工作方式。 Producer （P）：就是网kafka发消息的客户端 Consumer （C）：从kafka取消息的客户端 Topi 阅读全文

posted @ 2016-03-21 15:14 ljdgm 阅读(468) 评论(0) 推荐(0)

什么是Hadoop，怎样学习Hadoop

摘要：Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（larg 阅读全文

posted @ 2016-03-21 15:07 ljdgm 阅读(284) 评论(0) 推荐(0)

Java程序员使用的20几个大数据工具

摘要：最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。这是一个系列，主题为：语言 web框架应用服务器 SQL数据访问工具 SQL数据库大数据构建工具云提供商今天我们就要说说大数据。根据维基百科，大数据是数据集的一个广义的术语，并且该数据集是如此庞大和复杂，以致于阅读全文

posted @ 2016-03-21 13:39 ljdgm 阅读(1090) 评论(0) 推荐(0)

Redis之七种武器

摘要：长生剑、孔雀翎、碧玉刀、多情环、离别钩、霸王枪、拳头是古龙笔下的七种武器，而本文打算将Redis的几种使用方式 Strings、Hashs、Lists、Sets、Sorted Sets、Pub/Sub、Transactions 也比作七种武器，为大家讲解Redis的七种特性，并列举其适合的应用场景。阅读全文

posted @ 2016-03-21 13:08 ljdgm 阅读(221) 评论(0) 推荐(0)

Redis与Memcached的区别

摘要：传统MySQL+ Memcached架构遇到的问题实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断进行拆库拆表，Memca 阅读全文

posted @ 2016-03-21 13:07 ljdgm 阅读(277) 评论(0) 推荐(0)

大型网站系统架构系列：分布式消息队列（一）

摘要：消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。以阅读全文

posted @ 2016-03-21 12:01 ljdgm 阅读(265) 评论(0) 推荐(0)

大型网站系统架构系列：分布式消息队列（二）

摘要：四、JMS消息服务讲消息队列就不得不提JMS 。JMS（JAVA Message Service,java消息服务）API是一个消息服务的标准/规范，允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布式通信耦合度更低，消息服务更加可靠以及异步性。在EJB架构中，有消息bea 阅读全文

posted @ 2016-03-21 12:00 ljdgm 阅读(284) 评论(0) 推荐(0)

大型分布式网站架构技术总结

摘要：本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。用户多，分布广泛大流量，高并发海量数据，服务高可用安全环境恶劣，易受网络攻击功能多阅读全文

posted @ 2016-03-21 11:58 ljdgm 阅读(188) 评论(0) 推荐(0)

分布式架构

摘要：著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：李小翀链接：http://www.zhihu.com/question/22764869/answer/31277656来源：知乎系统架构演化历程-初始阶段架构&lt;img data-rawheight="367" ... 阅读全文

posted @ 2015-11-16 00:00 ljdgm 阅读(603) 评论(0) 推荐(0)

分布式设计与开发（一）------宏观概述

摘要：在IDF05（Intel Developer Forum 2005）上，Intel首席执行官Craig Barrett就取消4GHz芯片计划一事，半开玩笑当众单膝下跪致歉，给广大软件开发者一个明显的信号，单纯依靠垂直提升硬件性能来提高系统性能的时代已结束，分布式开发的时代实际上早已悄悄地成为了时代... 阅读全文

posted @ 2015-10-18 14:13 ljdgm 阅读(192) 评论(0) 推荐(1)

分布式设计与开发（二）------几种必须了解的分布式算法

摘要：分布式设计与开发中有些疑难问题必须借助一些算法才能解决，比如分布式环境一致性问题，感觉以下分布式算法是必须了解的（随着学习深入有待添加）：Paxos算法一致性Hash算法Paxos算法1）问题描述分布式中有这么一个疑难问题，客户端向一个分布式集群的服务端发出一系列更新数据的消息，由于分布式集群中的各... 阅读全文

posted @ 2015-10-18 14:12 ljdgm 阅读(416) 评论(0) 推荐(0)

分布式设计与开发（三）------高一致性服务ZooKeeper

摘要：分布式环境中大多数服务是允许部分失败，也允许数据不一致，但有些最基础的服务是需要高可靠性，高一致性的，这些服务是其他分布式服务运转的基础，比如naming service、分布式lock等，这些分布式的基础服务有以下要求：高可用性高一致性高性能对于这种有些挑战CAP原则的服务该如何设计，是一个挑战... 阅读全文

posted @ 2015-10-18 14:09 ljdgm 阅读(372) 评论(0) 推荐(0)

分布式系统设计原理与方案

摘要：下载并安装Memcache服务器端服务器端主要是安装memcache服务器端.下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libeve... 阅读全文

posted @ 2015-10-18 03:04 ljdgm 阅读(447) 评论(0) 推荐(0)

ljdgm

随笔分类 - 分布式

公告