duanxz - 博客园

2015年11月28日

摘要： Yum (Yellow dog Updater, Modified) 黄狗升级器是一个在 Fedora 中的字符前端软件包管理器。基于 RPM 包管理(介绍见RPM包及其管理)，能够从指定的服务器自动下载 RPM 包并且安装，可以处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安阅读全文

posted @ 2015-11-28 10:29 duanxz 阅读(1168) 评论(0) 推荐(0)

2015年11月27日

FLUME日志收集

摘要：一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三... 阅读全文

posted @ 2015-11-27 23:44 duanxz 阅读(1780) 评论(0) 推荐(0)

flume入门之一：flume 安装及测试

摘要： http://flume.apache.org/ flume下载：http://mirror.bit.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz flume安装：tar apache-flume-1.7.0-bin.tar.gz 修阅读全文

posted @ 2015-11-27 23:29 duanxz 阅读(1409) 评论(0) 推荐(0)

2015年11月26日

性能测试之开源的性能监控软件

摘要：对于系统和网络管理员来说每天监控和调试Linux系统的性能问题是一项繁重的工作。在IT领域作为一名Linux系统的管理员工作5年后，我逐渐认识到监控和保持系统启动并运行是多么的不容易。基于此原因，我们已编写了最常使用的18个命令行工具列表，这些工具将有助于每个Linux/Unix 系统管理员的工阅读全文

posted @ 2015-11-26 20:28 duanxz 阅读(3090) 评论(0) 推荐(0)

flume+kafka+storm+mysql架构设计

摘要：前段时间学习了storm，最近刚开blog，就把这些资料放上来供大家参考。这个框架用的组件基本都是最新稳定版本，flume-ng1.4+kafka0.8+storm0.9+mysql （项目是maven项目，需要改动mysql配置，提供两种topology：读取本地文件（用来本地测试）；读取服务器阅读全文

posted @ 2015-11-26 20:24 duanxz 阅读(1646) 评论(0) 推荐(0)

同步机制之--java之CountDownLatch闭锁

摘要： CountDownLatch闭锁 1、类介绍一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。用给定的计数初始化 CountDownLatch。CountDownLatch类是一个同步计数器,构造时传入int参数,该参数就是计数器的初始值，每调用一次countD 阅读全文

posted @ 2015-11-26 19:27 duanxz 阅读(861) 评论(0) 推荐(0)

2015年11月17日

linux 中/proc 详解

摘要： proc 文件系统在Linux中有额外的机制可以为内核和内核模块将信息发送给进程-- /proc 文件系统。最初设计的目的是允许更方便的对进程信息进行访问（因此得名），现在它被每一个有有趣的东西报告的内核使用，例如/proc/modules 有模块的列表/proc/meminfo 有内存使用的统计表... 阅读全文

posted @ 2015-11-17 10:50 duanxz 阅读(6873) 评论(0) 推荐(0)

2015年11月15日

架构师的职责都有哪些?

摘要：架构师这个角色在任何软件开发项目中都是最有挑战性的。1. 架构师的领导与决策能力首先，架构师是一位技术领导，这意味着架构师除了拥有专门的技能外，还必须拥有领导能力，领导能力也要能体现在组织中的职位上。从职位上来讲，架构师是项目中的技术领导，应该拥有进行技术决策的权威。不过，很多时候架构师和项目经理的阅读全文

posted @ 2015-11-15 18:58 duanxz 阅读(1964) 评论(0) 推荐(0)

java对象在内存中的结构（HotSpot虚拟机）

摘要：一、对象的内存布局 HotSpot虚拟机中，对象在内存中存储的布局可以分为三块区域：对象头（Header）、实例数据（Instance Data）和对齐填充（Padding）。 32位： 64位：从上面的这张图里面可以看出，对象在内存中的结构主要包含以下几个部分：对象头： Mark Word(标阅读全文

posted @ 2015-11-15 18:45 duanxz 阅读(20008) 评论(7) 推荐(7)

优化Java堆大小的5个技巧

摘要：本文作者Pierre是一名有10多年经验的高级系统架构师，他的主要专业领域是Java EE、中间件和JVM技术。根据他多年的工作实践经验，他发现许多性能问题都是由Java堆容量不足和调优引起的。下面他将和大家分享非常实用的5个Java堆优化技巧。1.JVM：对难以理解的东西产生恐惧感千万不要以为，通... 阅读全文

posted @ 2015-11-15 17:57 duanxz 阅读(1036) 评论(0) 推荐(0)

2015年11月14日

JVM插庄之一：JVM字节码增强技术介绍及入门示例

摘要：字节码增强技术：AOP技术其实就是字节码增强技术，JVM提供的动态代理追根究底也是字节码增强技术。目的：在Java字节码生成之后，对其进行修改，增强其功能，这种方式相当于对应用程序的二进制文件进行修改。Java字节码增强主要是为了减少冗余代码，提高性能等。应用场景：某一天系统出现OOM，通过工具阅读全文

posted @ 2015-11-14 14:26 duanxz 阅读(3311) 评论(0) 推荐(0)

介绍一下海量数据的处理方法

摘要：适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的... 阅读全文

posted @ 2015-11-14 12:03 duanxz 阅读(391) 评论(0) 推荐(0)

如何进行软件系统架构设计?

摘要：基于体系架构的软件设计模型把软件过程划分为体系架构需求、设计、文档化、复审、实现和演化6个子过程，现逐一简要概述如下。1、体系架构需求。即将用户对软件系统功能、性能、界面、设计约束等方面的期望(即“需求”)进行获取、分析、加工，并将每一个需求项目抽象定义为构件(类的集合)。2、体系架构设计。即采用迭... 阅读全文

posted @ 2015-11-14 12:00 duanxz 阅读(1407) 评论(0) 推荐(1)

Java 架构师面试题

摘要：基础题目 Java线程的状态进程和线程的区别，进程间如何通讯，线程间如何通讯 HashMap的数据结构是什么？如何实现的。和HashTable，ConcurrentHashMap的区别 Cookie和Session的区别索引有什么用？如何建索引？ ArrayList是如何实现的，ArrayLis 阅读全文

posted @ 2015-11-14 11:53 duanxz 阅读(561) 评论(0) 推荐(0)

面试题1--java

该文被密码保护。阅读全文

posted @ 2015-11-14 11:08 duanxz 阅读(76) 评论(0) 推荐(0)

互联网架构师必备技能

摘要：一、每个好架构师都是一位出色的程序员这一点毋庸置疑，如果不是写过N年代码的优秀程序员，一定不是好的架构师。“架构师”这是一个听上去比较虚的职位，它的主要价值在于“落地”的过程中，而不是“指点江山”。eBay的架构师总结架构师在项目中的职责： 1）产品团队要做一个产品，架构师要帮助团队把技术可行性，阅读全文

posted @ 2015-11-14 10:48 duanxz 阅读(846) 评论(0) 推荐(0)

2015年11月12日

JVM插庄之二：Java agent基础原理

摘要： javaagent 简介 Javaagent 只要作用在class被加载之前对其加载，插入我们需要添加的字节码。 Javaagent面向的是我们java程序员，而且agent都是用java编写的，不需要太多的c/c++编程基础，不过这篇文章里也会讲到JVMTIAgent(c实现的)，因为javaag 阅读全文

posted @ 2015-11-12 11:28 duanxz 阅读(5457) 评论(0) 推荐(0)

instanceof, isinstance,isAssignableFrom的区别

摘要： //获得监听器集合，遍历监听器，可支持同步和异步的广播事件 instanceof运算符只被用于对象引用变量，检查左边的被测试对象是不是右边类或接口的实例化。如果被测对象是null值，则测试结果总是false。形象地：自身实例或子类实例 instanceof 自身类返回true 例： St 阅读全文

posted @ 2015-11-12 11:21 duanxz 阅读(437) 评论(0) 推荐(0)

函数式编程思想

摘要：函数式编程思想 1、函数式编程简介背景函数式编程诞生于50多年前。现在越来越多的人开始接受并进行函数式编程的实践。不仅最古老的函数式语言 Lisp 重获青春，而且新的函数式语言层出不穷，比如 Erlang、clojure、Scala、F#等等。目前最当红的Objective-C, Python、阅读全文

posted @ 2015-11-12 11:18 duanxz 阅读(985) 评论(0) 推荐(0)

代码质量管控的四个阶段

摘要：背景本文讨论的代码质量指的是代码本身的质量，包括复杂度、重复率、代码风格等要素。代码是团队的共同财产，代码质量是团队技术水平和管理水平的直接体现。代码质量下降通常会自成因果，导致恶性循环：破窗效应：在烂代码上继续生产烂代码的心理负担小很多传染性：烂代码传递着一种不在意质量，只看业务成果的负面阅读全文

posted @ 2015-11-12 09:38 duanxz 阅读(1864) 评论(0) 推荐(0)

JVM插码之三：javaagent介绍及javassist介绍

摘要：本文介绍一下,当下比较基础但是使用场景却很多的一种技术,稍微偏底层点,就是字节码插庄技术了...,如果之前大家熟悉了asm,cglib以及javassit等技术,那么下面说的就很简单了...,因为下面要说的功能就是基于javassit实现的,接下来先从javaagent的原理说起,最后会结合一个完整阅读全文

posted @ 2015-11-12 09:06 duanxz 阅读(4286) 评论(0) 推荐(0)

2015年11月11日

MySQL中处理Null时要注意两大陷阱

摘要： MySQL数据库是一个基于结构化数据的开源数据库。SQL语句是MySQL数据库中核心语言。不过在MySQL数据库中执行SQL语句，需要小心两个陷阱。陷阱一：空值不一定为空空值是一个比较特殊的字段。在MySQL数据库中，在不同的情形下，空值往往代表不同的含义。这是MySQL数据库的一种特性。如... 阅读全文

posted @ 2015-11-11 09:55 duanxz 阅读(1438) 评论(0) 推荐(0)

2015年11月10日

影响Scala语言设计的因素列表

摘要： Scala语言设计概述 Scala的设计受许多编程语言和研究思想的影响。事实上，仅很少的Scala的特点是全新的；大多数都已经被以另外的形式用在其他语言中了。Scala的革新主要来源于它是如何构造并放在一起的。在这部分里，我们罗列了对Scala设计的主要影响。列表并不全——因为围绕着编程语言的设计有阅读全文

posted @ 2015-11-10 18:01 duanxz 阅读(298) 评论(0) 推荐(0)

2015年11月9日

mysql查询不区分大小写问题分析和解决

摘要： mysql查询默认是不区分大小写的如: mysql查询默认是不区分大小写的如: select * from some_table where str=‘abc'; select * from some_table where str='ABC'; 得到的结果是一样的，如果我们需要进行区分的话可以阅读全文

posted @ 2015-11-09 14:51 duanxz 阅读(2413) 评论(0) 推荐(0)

2015年10月31日

mysql基础之三：char与varchar区别，varchar(M)能存多少

摘要： char与varchar区别 char (13)长度固定，如'1234567890' 存储需要空间 10个字符; varchar(13) 可变长如'1234567890' 需要存储空间 11字符; 从上面可以看得出来char 长度是固定的，不管你存储的数据是多少他都会都固定的长度。而varcha 阅读全文

posted @ 2015-10-31 11:53 duanxz 阅读(2407) 评论(0) 推荐(0)