05 2014 档案
摘要：提交命令行：hadoop jar/opt/hadoop-1.0.0/hadoop-examples-1.0.0.jar wordcount/user/admin/in/yellow.txt /user/admin/out/3 RPC请求：getProtocolVersion(org.apache.h
阅读全文
摘要：1. JobInProgress中的容器 1.1maps、reduces、cleanup、setup TaskInProgress maps[]= new TaskInProgress[0]; TaskInProgress reduces[]= new TaskInProgress[0]; Task
阅读全文
摘要：1.初始化和启动JobTracker 生成一个JobQueueTaskScheduler taskScheduler=(TaskScheduler)ReflectionUtils.newInstance(schedulerClass,conf); 生成一个实现 InterTrackerProtoco
阅读全文
摘要：1. 配置所有节点的$HADOOP_HOME/conf/hadoop-env.sh 文件 exportHADOOP_HOME=/opt/hadoop-1.0.0 exportHADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote.port=9191-
阅读全文
摘要：输入文件：hdfs://server1:9000/user/admin/in/yellow.txt 1.splits formatMinSplitSize：1; minSplitSize=conf("mapred.min.split.size")：1; minSize=Math.max(format
阅读全文
摘要：添加调试参数： ＜property＞ ＜name＞mapred.child.java.opts＜/name＞ ＜value＞-Xmx200m-Xdebug-Xrunjdwp:transport=dt_socket,address=9999,server=y,suspend=y＜/value＞ ＜/p
阅读全文
摘要：提交作业: hadoop jar /opt/hadoop-1.0.0/hadoop-examples-1.0.0.jarwordcount /user/admin/in/LICENSE.txt /user/admin/out/26 , 只有一个Map任务 server3-RPC请求：getProto
阅读全文
摘要：1、启动 HttpServer this.server=new HttpServer("task",httpBindAddress, httpPort, httpPort == 0, conf, aclsManager.getAdminsAcl()); server.start(); 2、生成 De
阅读全文
摘要：2. JobTracker中的容器 2.1 nodesAtMaxLevel、hostnameToNodeMap //(hostname --＞ Node(NetworkTopology)) Map＜String,Node＞ hostnameToNodeMap = Collections.synchr
阅读全文
摘要：JobTracker无任务时处理心跳流程 HeartBeat格式：{restarted=true，initialContact=true，acceptNewTasks=true，responseId=-1， status=TaskTrackerStatus {failures=0，trackerNa
阅读全文
摘要：在MapTask 的spill 阶段会使用快速排序org.apache.hadoop.util.QuickSort : 在QuickSort 中有部分代码，当元素个数小于13时候，使用插入排序 (Insert Sort)。 在QuickSort 中，当栈的层数过多时，使用堆排序（org.apache
阅读全文
摘要：List＜Integer＞ list = new ArrayList＜Integer＞(); for (int i = 0; i < 10; i++) { list.add(i); } System.out.println(list); //[0, 1,2, 3, 4, 5, 6, 7, 8, 9]
阅读全文
摘要：提交作业: hadoop jar /opt/hadoop-1.0.0/hadoop-examples-1.0.0.jar wordcount /user/admin/in/yellow2.txt /user/admin/out/128 生成2个Map、2个Reduce任务。 执行Maps[0]: a
阅读全文
摘要：一、服务器端线程 1、主线程main，启动其余线程后不参与交互 2、1个Listener线程，监听连接请求，并在有连接的时候唤醒Reader线程 public void run() { while(running){ selector.select(); Iterator＜SelectionKey＞
阅读全文
摘要：一、服务器端线程 1、主线程main，启动其余线程后不参与交互 2、1个Listener线程，监听连接请求，并在有连接的时候唤醒Reader线程 public void run() { while(running){ selector.select(); Iterator＜SelectionKey＞
阅读全文
摘要：考虑一个生产者/消费者模型。 商品类Goods： class Goods { private String name; public Goods(String name) { this.name =name; } public String toString() { return "Goods["
阅读全文
摘要：示例代码： public class SyncTest { private List＜String＞ list= new ArrayList＜String＞(); public void syncAddPrint(){ synchronized(list){ for(int i = 0; i ＜ 1
阅读全文
摘要：示例代码： public class SyncTest { private List＜String＞ list= new ArrayList＜String＞(); public void syncAddPrint(){ synchronized(list){ for(int i = 0; i ＜ 1
阅读全文
摘要：分析任务reduce_1 args =[127.0.0.1, 42767, attempt_201405060431_0003_r_000001_0,/opt/hadoop-1.0.0/logs/userlogs/job_201405060431_0003/attempt_201405060431_
阅读全文
摘要：提交命令行：hadoop jar /opt/hadoop-1.0.0/hadoop-examples-1.0.0.jar wordcount /user/admin/in/yellow.txt /user/admin/out/3 JobTracker已生成JobInProgress(job_2014
阅读全文
摘要：命令为： hadoop_debugjar /opt/hadoop-1.0.0/hadoop-examples-1.0.0.jar wordcount/user/admin/in/yellow.txt /user/admin/out/555 首先调用org.apache.hadoop.util.run
阅读全文
摘要：原文地址：Proactor和Reactor模式作者：qq俊采星驰 Proactor和Reactor都是并发编程中的设计模式。在我看来，他们都是用于派发/分离IO操作事件的。这里所谓的 IO事件也就是诸如read/write的IO操作。"派发/分离"就是将单独的IO事件通知到上层模块。两个模式不同的地
阅读全文
摘要：1、MapReduce 运行流程 (1)、JobClient 调用 submitJob()，提交Job (2)、JobClient 向 JobTracker 请求一个新的JobId（调用 JobTracker.getNewJobId() ） (3)、JobClient检查作业的输出说明，计算作业的输
阅读全文
摘要：1、节点介绍 （1）、NameNode管理文件系统的命名空间，维护文件系统树及整棵树内所有的文件和目录，以两个文件形式永久保存在本地磁盘上：命名空间镜像文件fsimage 和 编辑日志文件edits。namenode也记录每个文件中各个块所在的数据节点信息。 （2）、DataNode是文件系统的工作
阅读全文
摘要：《精通正则表达式》 第401页 public static ListsplitCSV(String txt) { String reg = "\\G(?:^|,)(?:\"([^\"]*+(?:\"\"[^\"]*+)*+)\"|([^\",]*+))"; // 即 ...
阅读全文
摘要：1.SelectionKey.OP_ACCEPT publicclassServerListenerextendsThread{ publicServerListener(Serverserver) throwsIOException{ this.server=server; address=new
阅读全文
摘要：1.发送请求：query.getCPUStatus("Intel"); 2.传送到:RPCInvoker.invoke(Object proxy, Method method, Object[]args) 其中method:publicabstract org.hadoopinternal.ipc.
阅读全文
摘要：两个连接请求发出后，生成ClientConnectionId对象，只要两个ClientConnectionId对象的hashcode相同，就视为一个同一个连接，从而复用ClientConnection publicRPCInvoker(Class《?extendsVersionedProtocol》
阅读全文
摘要：两个连接请求发出后，生成ClientConnectionId对象，只要两个ClientConnectionId对象的hashcode相同，就视为一个同一个连接，从而复用ClientConnection publicRPCInvoker(Class《?extendsVersionedProtocol》
阅读全文
摘要：1.SelectionKey.OP_ACCEPT publicclassServerListenerextendsThread{ publicServerListener(Serverserver) throwsIOException{ this.server=server; address=new
阅读全文
摘要：1. Java 默认序列化 public class Block1 implements Serializable { private static finallong serialVersionUID = 1276464248616673062L; privatelong blockId; pri
阅读全文
摘要：1.客户端 公司产品的客户端的使用阻塞式的Socket，并没有使用NIO，在Hadoop中遇到再议。 2.服务器端 2.1 阻塞式 例子程序 public class BIOServer { static class Hanlder extendsThread { privateSocket soc
阅读全文
摘要：1. 测试wordcount，其源码如下： public class WordCount { public static classTokenizerMapper extends Mapper{ ............ } } public static classIntSumReducer ex
阅读全文
摘要：1、对共享的JAVA对象的访问可以通过将其方法声明为同步的而被串行化.当这种对象被复制时,这种方法足以保证访问的串行化吗? 答:不能.问题是对每一个复制对象的访问是串行化的.但是对不同的复制对象可以在同一时间进行不同的操作,使得复制的实例变量不一致. 2、对于第一章所讨论的监视器,如果允许在一个复制
阅读全文
摘要：1、说出至少三种可在WWV广播时间和在分布式系统中处理机设置内部时钟之间引入的延迟源。 答：信号在大气中的传播延迟，当机器在协调WWV接受者与以太网时的碰撞延迟，包在局域网上的传播延迟，各个处理器由于中断处理延迟和内部队列延迟所产生的延迟。 2、考虑分布式系统中的两台机器的行为。这两台机器的时钟假设
阅读全文
摘要：1. Q: Give an example of where an address of an entity Eneeds to be further resolved into another address to actuallyaccess E. A: IP addresses in the
阅读全文
摘要：0 <= position <= limit <= capacity Buffer.clear(): 清空数据。limit = capacity，position = 0 Buffer.flip()： 调整指针供读写。limit = position，position = 0 Buffer.rewi
阅读全文
摘要：1. 数据记录FileStatus public class FileStatus implements Writable { private String filename; private long time; static { // register IPCFileStatus Writabl
阅读全文
摘要：1.数据记录FileStatus public class FileStatus { private String filename; private long time; public FileStatus(String filename) { this.filename=filename; th
阅读全文
摘要：1.Server的wait、notify public abstractclass Server { public synchronized void join()throws InterruptedException { while (running){ wait(); } } public sy
阅读全文
摘要：1.Server的 callQueue 典型的生产者-消费者模式 public abstractclass Server { BlockingQueue＜ServerCall＞ callQueue; } publicclass ServerConnection { privatevoid proce
阅读全文
摘要：1.Server 的 running public abstract class Server { volatile boolean running =true; // true while server runs publicsynchronized void join() throwsInter
阅读全文
摘要：1.Class类的running 用于主线程的Client 和若干 ClientConnection 线程之间 共享Client的running变量 public classClient { public AtomicBoolean running = newAtomicBoolean(true);
阅读全文
摘要：1. ClientCall的 wait() 和 notify() public class Client { public Writablecall(Writable param, ClientConnectionId remoteId) throwsInterruptedException, IO
阅读全文
摘要：1. RPCClientCache 中的 clients publicclass RPCClientCache { private Map＜SocketFactory,Client＞ clients = new HashMap＜SocketFactory,Client＞(); synchronize
阅读全文
摘要：1.服务器端主要类 public abstractclass Server { public static final ByteBuffer HEADER =ByteBuffer.wrap("hrpc".getBytes()); public static final byte CURRENT_VE
阅读全文
摘要：1.数据节点储存 org.apache.hadoop.hdfs.server.datanode.DataStorage public class DataStorage extends Storage { // Constants final static String BLOCK_SUBDIR_P
阅读全文
摘要：1. 客户端与NameNode接口 org.apache.hadoop.hdfs.protocol.ClientProtocol public interface ClientProtocol extends VersionedProtocol { public int GET_STATS_CAPA
阅读全文
摘要：1. Hadoop 抽象文件系统 org.apache.hadoop.fs.FileSystem,具体HDFS是这个抽象类的子类 publicabstractclassFileSystemextendsConfiguredimplementsCloseable{ publicstaticfinalS
阅读全文
摘要：1.比较使用单线程文件服务器读取文件和使用多线程服务器读取文件有什么不同。花费15ms来接收请求、调度该请求并且完成其它必须的处理工作，假定需要的数据存放在主存储器的缓存中。如果需要磁盘操作，就需要额外多花75ms在磁盘操作的过程中线程处于睡眠状态。如果服务器采用单线程的话，它每秒能处理多少个请求？
阅读全文
摘要：1、在许多分层协议中，每一层都有自己的报头。如果每个消息前部都只有单个报头，其中包含了所有控制信息，无疑会比使用单独的多个报头具有更高的效率。为什么不这么做？ 答：协议的每一层都必须和其它层相独立。从第k+1层传送至第k层的数据同时包含了报头和数据，但是第k层协议不能对它们进行辨别。如果使用单个大的
阅读全文
摘要：第一章绪论 1、中间件在分布式系统中扮演什么角色？ 答：中间件主要是为了增强分布式系统的透明性（这正是网络操作系统所缺乏的），换言之，中间件的目标是分布式系统的单系统视图。 2、解释（分布）透明性的含义，并且给出各种类型透明性的例子。 答：分布透明性是一种现象，即一个系统的分布情况对于用户和应用来说
阅读全文
摘要：http://wangxin520m.blog.163.com/blog/static/42957546201321943340515/ JDK实现动态代理需要实现类通过接口定义业务方法，对于没有接口的类，如何实现动态代理呢，这就需要CGLib了。CGLib采用了非常底层的字节码技术，其原理是通过字
阅读全文
摘要：http://www.ibm.com/developerworks/cn/java/j-lo-optmizestring/index.html 杨 博文, 软件工程师,IBM 应 乐年, 软件工程师,IBM 杨 雯雯, 技术文档工程师,IBM 简介： String方法用于文本分析及大量字符串处理时会
阅读全文
摘要：探索 ConcurrentHashMap 高并发性的实现机制 程晓明 (abccheng@hotmail.com),软件工程师 简介： ConcurrentHashMap 是 Javaconcurrent 包的重要成员。本文将结合 Java 内存模型，来分析 ConcurrentHashMap 的
阅读全文
摘要：Hibernate事务与并发问题处理（乐观锁与悲观锁）及事务隔离级别 分类： hibernate2013-05-0910:59 54人阅读 评论(0) 收藏 举报 hibernate乐观锁悲观锁数据库事务并发 Hibernate事务与并发问题处理（乐观锁与悲观锁） 一、数据库事务的定义 数据库事务(
阅读全文
摘要：http://www.ibm.com/developerworks/cn/java/j-ts1.html Mark Richards, 主管和高级技术架构师, Collaborative Consulting,LLC 简介： 事务处理的目标应该是实现数据的高度完整性和一致性。本文是为Java 平台开
阅读全文
摘要：http://www.ibm.com/developerworks/cn/education/java/j-nio/index.html 在开始之前 关于本教程 新的输入/输出 (NIO) 库是在 JDK 1.4 中引入的。NIO弥补了原来的 I/O 的不足，它在标准 Java 代码中提供了高速的、
阅读全文
摘要：原文地址：JDK7 AIO初体验实例作者：郑君华 from: http://www.iteye.com/topic/1113611 JDK7已经release一段时间了，有个重要的新特性是AIO。 今天趁闲暇，简单体验了下，简单分享如下： 关于AIO的概念理解 关于AIO的概念，仅谈谈个人的一点理解
阅读全文
摘要：一.反射定义 反射功能： 1.在运行时判断任意一个对象所属的类 2.在运行时构造任意一个类的对象 3.在运行时判断任意一个类所具有的成员变量和方法 4.在运行时调用任意一个对象的方法 5.生成动态代理 二.反射例子 Class<?> classAdminClientFactory = Class.f
阅读全文
摘要：http://hi.baidu.com/y_static_y/item/1ad32e8689d089ceef083d90 1.Struts2的基本流程 Struts2框架由3个部分组成：核心控制器FilterDispatcher、业务控制器、用户实现的业务逻辑组件。在这3个部分里，Struts2框架
阅读全文
摘要：原文：http://bjxwind.blog.163.com/blog/static/315935712010219101037713/ 1、Spring IOC IoC 与 DI 首先想说说 IoC （ Inversion of Control ，控制倒转）。这是 spring 的核心，贯穿始终。
阅读全文
摘要：原文地址：java BIO NIO AIO作者：郑君华 BIO、NIO、AIO的区别： BIO就是基于Threadper Request的传统server/client实现模式， NIO通常采用Reactor模式， AIO通常采用Proactor模式， AIO简化了程序的编写，stream的读取和写
阅读全文
摘要：1.阻塞式 服务器端： ServerSocketserverSocket = new ServerSocket(8888,10); while(true) { Socket socket= serverSocket.accept(); Inpustream inpustream =socket.ge
阅读全文
摘要：class A { private int i; public int getI(){ return i; } private void setI(int i) { this.i = i; } } Class<?> clazz= Class.forName("hadoopclient.A"); Fi
阅读全文
摘要：原文：http://www.blogjava.net/Alpha/archive/2007/01/22/95216.html HttpClient 学习整理 HttpClient是我最近想研究的东西，以前想过的一些应用没能有很好的实现，发现这个开源项目之后就有点眉目了，令人头痛的cookie问题还是
阅读全文
摘要：原文：http://blog.csdn.net/huxiweng/article/details/7349795 本章介绍REST架构、RESTful web service和JAX-RS（Java API for RESTful WebService，JSR 311）。 JAX-RS的参考实现Je
阅读全文
摘要：http://www.infoq.com/cn/articles/rest-introduction/ 不知你是否意识到，围绕着什么才是实现异构的应用到应用通信的“正确”方式，一场争论正进行的如火如荼：虽然当前主流的方式明显地集中在基于SOAP、WSDL和WS-*规范的WebServices领域，但
阅读全文
摘要：第 1 部分: 重新解析 RESTService 第 2 部分: REST service化一个数据系统 第3 部分: 把 SOAP 服务转化为 REST 服务 第 1 部分: 重新解析 RESTService 第 1 部分: 重新解析 RESTService 第 2 部分: REST servic
阅读全文
摘要：原文地址：Apache+Tomcat负载均衡两种session共享方式的设置作者：梦回两千载 session共享有两种方式： 1、session共享，多个服务器session拷贝保存，一台宕机不会影响用户的登录状态； 2、请求精确集中定位，即当前用户的请求都集中定位到一台服务器中，这样单台服务器保存
阅读全文
摘要：原文作者：嘟嘟博客 原文地址：http://www.xiangqian.com.cn/CCIE/262.html 此问题在以前的华三防火墙上也有遇到过，这次是在cisco防火墙上，因为彭博自建行情那个地址需要这么转换。就在网络上抄一下，按照下面的配置即可。 说来挺拗口，是大部分人都会遇到的问题。特别
阅读全文
摘要：原文：http://blog.csdn.net/Code_cj/article/details/6411682 java telnet ssh 实现 2011-05-1113:17 911人阅读 评论(1) 收藏 举报 先看看telnet 和ssh的定义： Telnet协议是TCP/IP协议中的一员
阅读全文
摘要：http://www.blogjava.net/watchzerg/archive/2012/09/22/388346.html mongoDB java驱动学习笔记 指定新mongo实例： Mongo m = new Mongo(); Mongo m = new Mongo( "localhost
阅读全文
摘要：原文：http://blog.csdn.net/dream8062/article/details/6372516 主要几种通信协议的性能比较收藏 总体性能比较： Socket(BIO/NIO) > RM I> HTTPInvoker >=Hessian > REST >> Burlap > EJB
阅读全文
摘要：参考书 《高性能 MySQL》 书中索引和SQL的优化经验不但适用于MySQL，大部分也适用于PostgreSQL、Oracle、DB2、SqlServer，以及Mongodb。 一.索引类型 1.B树索引 2.哈希索引 3.空间索引 (地理空间数据) 4.全文索引 二.索引使用策略 1.字段中不应
阅读全文
摘要：Aggregation Framework Reference¶ http://cn.docs.mongodb.org/manual/reference/aggregation/#aggregation-framework-reference Java Driver and Aggregation
阅读全文
摘要：多数内容转载自：http://www.jb51.net/tools/regex.htm ，有改动用到了java.util.regex包： 1. 验证 Patternpattern = Pattern.compile("^[1][3-8]\\d{9}$"); Matche...
阅读全文
摘要：原文地址：常用正则表达式例子作者：北极rose1。^d+$ //匹配非负整数（正整数 + 0）2。^[0-9]*[1-9][0-9]*$ //匹配正整数3。^((-d+)|(0+))$ //匹配非正整数（负整数 + 0）4。^-[0-9]*[1-9][0-9]*$ //匹配负整数5。^...
阅读全文
摘要：1. 列出后台工作转台 jobs[admin@server3 ~]$ jobs -l[1] 15893 Stopped (tty output) top[2] 15897 Stopped (tty output) top[3] 15898 Stopped (tty output) ...
阅读全文
摘要：1. 输入read -p "inputyour name: " name2. 输出echo -e "yourname :$name "3. 参数输入命令：runJavaAgent a b c则 $0为 runJavaAgent，$1为a, $2为b, $3 为c$#: 参数个数，即 ...
阅读全文
摘要：PageDown PageUp 翻页Home 移动到行首End 移动到行尾G 移动最后一行5G、10G 移动到第5、10行gg、1G 移动到第一行 /foo 查找foon 查找下一个(继续上一次查找)N 查找上一个（继续上一次查找）10,100s/...
阅读全文
摘要：1. 切分 cut 例子：echo $PATH } cut -d ':' -f 3,52.选取某行 grepps aux | grep java-n 行号-v 反向选择-i 忽略大小写3.编辑一整行 sed4.按列编辑每行 awk例子: 杀死Java Anent 进程 kill -9 `...
阅读全文
摘要：http://hi.baidu.com/i1see1you/item/783a701f39a87549e75e06ea 1.Mongodbbson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。 2.Mongodb 主键是
阅读全文
摘要：原文地址：谈谈Memcached与Redis作者：黄言之 1. Memcached简介 Memcached是以LiveJurnal旗下Danga Interactive公司的Bard Fitzpatric为首开发的高性能分布式内存缓存服务器。其本质上就是一个内存key-value数据库，但是不支持数
阅读全文
摘要：原文：http://blog.csdn.net/binyao02123202/article/details/7064493 EJB3下使用Ehcache实现二级缓存 分类： EJB EJB3 Java2011-12-1218:06 182人阅读 评论(0) 收藏 举报 项目使用的是EAR包 之前e
阅读全文
摘要：原文地址：去Oracle事件(转)作者：老刘 作为全球最大的信息管理软件及服务供应商，Oracle的业务涉及软硬件的各个领域，但数据库业务仍是其最大的盈利点。据Oracle 2012年第三财季财报显示，其数据库和中间件收入为44.92亿美元，增长9.6%，占总收入的50%。Oracle数据库性能和稳
阅读全文
摘要：一.表现层模式 1.拦截过滤器： 2.前端控制器 3.context对象 4.应用控制器 5.视图助手 6.复合视图 7.服务到工作者 8.分配器视图 二、业务层模式 1、业务代表 2.服务定位器 3.会话门面 4.应用服务 5.业务对象 6.复合实体 7.传输对象 8.传输对象组装器 9.值列表处
阅读全文
摘要：http://blog.csdn.net/xinghebuluo/article/details/7035123 在恰当的地方使用MongoDB的WriteConcern.SAFE参数 分类： mongodb应用2011-12-0215:01 391人阅读 评论(0) 收藏 举报 首先列一下Writ
阅读全文
摘要：一、MongoDB 要点 1.MongoDB 特性： 1.模式自由，支持动态查询、完全索引 2.面向文档存储，易存储对象类型数据 3.高效的数据存储 4.支持复制和故障恢复，提供主从、主主模式的数据复制，服务器之间的复制 5.自动分片，支持云级别的伸缩性，支持水平的数据库集群，可动态添加额外的服务器
阅读全文
摘要：原文：http://blog.csdn.net/hantiannan/article/details/4517192 PostgreSQLSQL的性能调试 方法3-- 查 看 执 行 计 划 利用pgAdmin中的自带的 查看 执行计划工具。 我 们 用的最多的就是 这 个工具， 这 个工具因 为
阅读全文
摘要：原文：http://blog.csdn.net/hantiannan/article/details/4513028 1.log_min_duration_statement 从log找出执行超过一定时间的 SQL。postgresql.conf配置文件 设置 log_min_duration_st
阅读全文
摘要：原文：http://blog.csdn.net/hantiannan/article/details/4509231 在数据库应用开发中，速度慢的SQL比比皆是。很多速度很慢都是SQL写的不好，效率不高。比如无用的循环查询，判断，不必要的子查询，写的SQL用不上索引等等。特别是数据量很大的时候，很是
阅读全文
摘要：好文，很具可操作性 原文1：http://blog.163.com/digoal@126/blog/static/163877040201221382150858/ 原文2：http://blog.163.com/digoal@126/blog/static/16387704020122133341
阅读全文
摘要：原文：http://www.cnblogs.com/stephen-liu74/archive/2012/05/14/2301064.html 一、使用EXPLAIN： PostgreSQL为每个查询都生成一个查询规划，因为选择正确的查询路径对性能的影响是极为关键的。PostgreSQL本身已经包含
阅读全文
摘要：原文：http://blog.chinaunix.net/uid-8623064-id-2456488.html postgresql 性能详解 (2009-04-21 20:10) 分类： 数据库技术 一、postgresql简介 PostgreSQL是一种非常复杂的对象-关系型数据库管理系统（O
阅读全文
摘要：http://blog.163.com/niwei_258/blog/static/106284882010111022226119/ 除了DES，我们还知道有DESede(TripleDES,就是3DES)、AES、Blowfish、RC2、RC4(ARCFOUR)等多种对称加密方式，其实现方式大
阅读全文
摘要：http://www.iplaysoft.com/encrypt-arithmetic.html MD5的全称是Message-DigestAlgorithm 5，在90年代初由MIT的计算机科学实验室和RSA Data SecurityInc发明，经MD2、MD3和MD4发展而来。 MD5将任意长
阅读全文
摘要：一.面向对象设计原则： 1. 单一职责原则 Single Responsibility Principle 应该有且只有一个原因引起类的变更。 2. 里氏替换原则 Liskov Substitution Principle 所有引用基类的地方必须能透明地使用其子类对象。子类中方法的前置条件范围 >=
阅读全文
摘要：1.Setup forTomcat (1). Add the necessary parameters to Tomcat startup script: In Windows, modifythe file "${CATALINA_BASE}\bin\catalina.bat",add these
阅读全文
摘要：1. 输入 read -p "inputyour name: " name 2. 输出 echo -e "yourname : $name " 3. 参数 输入命令：runJavaAgent a b c 则 $0为 runJavaAgent，$1为a, $2为b, $3 为c $#: 参数个数，即
阅读全文
摘要：1. 切分 cut 例子：echo $PATH } cut -d ':' -f 3,5 2.选取某行 grep ps aux | grep java -n 行号 -v 反向选择 -i 忽略大小写 3.编辑一整行 sed 4.按列编辑每行 awk 例子: 杀死Java Anent 进程 kill -9
阅读全文
摘要：PageDown PageUp 翻页 Home 移动到行首 End 移动到行尾 G 移动最后一行 5G、10G 移动到第5、10行 gg、1G 移动到第一行 /foo 查找foo n 查找下一个(继续上一次查找) N 查找上一个（继续上一次查找） 10,100s/foo1/foo2/g 在10到10
阅读全文
摘要：测试集群模式安装实施Hadoop 1. 集群架构 在VMware中安装三台CentOS虚拟机server1，server2，server3，其中server1作为Hadoop集群的NomeNode和JobTracker，server2和server3作为DataNode和TaskTracker. 为
阅读全文
摘要：测试集群模式安装实施Hadoop 1. 集群架构 在VMware中安装三台CentOS虚拟机server1，server2，server3，其中server1作为Hadoop集群的NomeNode和JobTracker，server2和server3作为DataNode和TaskTracker. 为
阅读全文
摘要：公用的交换模块： protected void swap(int[] a, int i, int j) { if (i == j) { return; } int tmp = a[i]; a[i] = a[j]; a[j] = tmp; } 冒泡排序：效率O(n^2), 稳定 public void
阅读全文
摘要：公用的交换模块： protected void swap(int[] a, int i, int j) { if (i == j) { return; } int tmp = a[i]; a[i] = a[j]; a[j] = tmp; } 冒泡排序：效率O(n^2), 稳定 public void
阅读全文
摘要：1.在网站http://redis.io/ 下载Redis2.6.8 2.解压并安装 [root@server2 admin]# tar xvfredis-2.6.8.tar.gz [root@server2admin]# cdredis-2.6.8 [root@server2redis-2.6.8
阅读全文
摘要：1. 管道-过滤器风格 特征：每个功能构件都有一组输入输出，过滤器独立完成自身的功能，相互之间无须进行状态交互；各过滤器无须知道输入管道与输出管道所连接的过滤器的存在，仅仅保证自己的输入输出，不必理会其余过滤器。 优点：减少构件之间的耦合；容易维护和扩展；易于分析。 缺点：缺乏交互性。 举例：Lin
阅读全文
摘要：原文：http://blog.csdn.net/hantiannan/article/details/4522172 PostgreSQL提供了一些帮助提升性能的功能。主要有一些几个方面。 1.使用EXPLAIN EXPLAIN命令可以查看执行计划，在前面的blog中已经介绍过。这个方法是我们最主要
阅读全文
摘要：1.安装Thrift 下载thrift-0.8.0.tar.gz并解压，开始安装 [admin@server1 thrift-0.8.0]$ ./configure [admin@server1 thrift-0.8.0]$ make [root@server1 thrift-0.8.0]# mak
阅读全文
摘要：1.下载包并配置 下载hadoop-0.20.2-CDH3B4.tar.gz、sqoop-1.2.0-CDH3B4.tar.gz， 并解压，将Hadoop-0.20.2-CDH3B4 目录下hadoop-core-0.20.2-CDH3B4.jar 复制到Sqoop-1.2.0-CDH3B4的lib
阅读全文
摘要：独立模式安装Hive 在三台CentOS虚拟机server1、server2、 server3上已经成功安装全分布模式的Hadoop集群，其中server1为NameNode, server2、server3为DataNode。本人在server1即NameNode上安装Hive，并使用MySQL数
阅读全文
摘要：http://dev.yesky.com/424/2220924.shtml 数据库设计三大范式应用实例剖析 2005-12-05 08:49 来源：天极开发 作者：宋宝华 责任编辑：方舟·yesky 评论(38) 引言 数据库的设计范式是数据库设计所需要满足的规范，满足这些规范的数据库是简洁的、结
阅读全文
摘要：讲得很好 谢谢 原文地址：数据库三大范式作者：shawn 标准化表示从你的数据存储中移去数据冗余(redundancy)的过程。如果数据库设计达到了完全的标准化，则把所有的表通过关键字连接在一起时，不会出现任何数据的复本(repetition)。标准化的优点是明显的，它避免了数据冗余，自然就节省了空
阅读全文
摘要：原文地址：Oscache与memcached区别作者：jacky民工 缓存在互联网平台大量使用以提高性能，降低数据库负担，更快的响应用户的请求。原因主要是缓存的使用场景是性能要求高，实时性或准确性要求稍差。 其他提高性能手段： 1， 数据库方面改革，效果最明显。如主从服务器。数据库水平和垂直拆分（一
阅读全文
摘要：1.EhCache是什么 EhCache是Hibernate的二级缓存技术之一，可以把查询出来的数据存储在内存或者磁盘，节省下次同样查询语句再次查询数据库，大幅减轻数据库压力； 2.EhCache的使用注意点 当用Hibernate的方式修改表数据(save,update,delete等等)，这时E
阅读全文
摘要：原文地址：EHCache的使用作者：乱云空 在开发高并发量，高性能的网站应用系统时，缓存Cache起到了非常重要的作用。本文主要介绍EHCache的使用，以及使用EHCache的实践经验。 笔者使用过多种基于Java的开源Cache组件，其中包括OSCache、JBossCache、EHCache。
阅读全文
摘要：1.安装并测试repcached 1.下载memcached-1.2.8-repcached-2.2.1.tar.gz 地址：http://sourceforge.net/projects/repcached/files/repcached/2.2.1-1.2.8/ 2. 在server2，serv
阅读全文
摘要：4.创建QueryDataClient.java ，其代码如下 public class QueryDataClient{ //表名为jvmMonitor public final static String TABLE_NAME ="jvmMonitor"; //列族名 "target","mem
阅读全文
摘要：3. 创建MonitorClient.java, 代码如下所示 public class MonitorClient { // 表名为jvmMonitor public final static String TABLE_NAME = "jvmMonitor"; //列族名 "target", "m
阅读全文
摘要：1. 软件需求 假设需要通过JMX协议持续不断地监控Web服务器的Java虚拟机(JVM)的内存、CPU等使用情况，并将观测结果存入数据库。由于观测记录的数据量相当大，而且观测记录写入数据库后一般只进行读操作，不进行修改和删除操作，所以NoSql数据库比关系型数据更适合存储数据。 在此项目中开发两个
阅读全文
摘要：原题：有一访问记录的日志文件access_log.txt，统计每个IP的访问次数。access_log.txt内容如下所示： 解答： 1将access_log.txt导入HDFS 2.利用Hadoop Stream 处理access_log.txt，只取记录第一列即IP地址，保存到文件access_
阅读全文
摘要：原文：http://space.itpub.net/26686207/viewspace-746977 1 我们常说HBase是“数据即日志”的数据库，它是怎样修改和删除数据的？和Oracle这类传统的RDBMS有什么区别？ 答：首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识
阅读全文
摘要：1. 在Windows操作系统下安装软件VMware Workstation，并安在此软件中安装三台CentOS系统虚拟机server1, server2,server3, 选择网络连接方式为桥接。server1, server2, server3 的IP分别设置为192.168.1.201，192
阅读全文
摘要：http://blog.csdn.net/xiaoxxcool/article/details/3017569 Samba的基本配置 分类： LINUX2008-10-0514:37 119人阅读 评论(0) 收藏 举报 1.Samba简介： Samba主要用做Linux/UNIX系统向Window
阅读全文
摘要：下面是JDK中有关23个经典设计模式的示例，在stakeoverflow也有相应的讨论： http://stackoverflow.com/questions/1673841/examples-of-gof-design-patterns 红色为本人添加 Structural（结构模式） Adapt
阅读全文
摘要：在三台CentOS虚拟机server1,server2, server3上已经成功安装全分布模式的Hadoop集群，其中server1为NameNode,server2, server3为DataNode。在此基础上安装HBase全分布模式集群，server1为HMaster,server2, se
阅读全文
摘要：众所周知，关系数据类型一直是SQL的诟病之一。随着数据的越加多样化，各种数据类型向关系数据类型的转换更是困扰着大多数的SQL数据库用户。然而SQL数据库能经久不衰，它的优点也是不容否定的。如果鱼与熊掌可以兼得— 在SQL数据库中实现NoSQL数据类型，那么一切岂不是变的非常美好？！ 话说世间万物有一
阅读全文
摘要：from: https://www.packtpub.com/article/setting-glassfish-jms-working-with-message-queues Setting up GlassFish for JMS and Working with MessageQueues [
阅读全文
摘要：from: http://blog.csdn.net/airobot008/article/details/3951524 JMX监控Tomcat 分类： 远程监控2009-03-0308:22 4306人阅读 评论(6) 收藏 举报 环境：Tomcat5.5、jdk6 1、先配Tomcat的启动语
阅读全文
摘要：from:http://blog.csdn.net/clearwater21cn/article/details/3125138 使用snmp4j实现Snmp功能（三） 分类： 通信2008-10-2216:15 2602人阅读 评论(4) 收藏 举报 相关链接： Snmp学习笔记 使用snmp4j
阅读全文
摘要：from:http://blog.csdn.net/clearwater21cn/article/details/2411742 使用snmp4j实现Snmp功能（二） 分类： 通信2008-05-0718:06 5281人阅读 评论(9) 收藏 举报 相关链接： Snmp学习笔记 使用snmp4j
阅读全文
摘要：http://wxfstwxf.iteye.com/blog/1170496 # vi /etc/inittab 编辑 init 5 为 init 3 下次启动时就自动进入控制台方式. 想进入的话打 # startx 想退出可以用桌面的注销 或者快捷键 Ctrl + Alt + Backspace
阅读全文
摘要：http://www.w3school.com.cn/xpath/xpath_syntax.asp XPath 语法 PreviousPage NextPage XPath使用路径表达式来选取 XML文档中的节点或节点集。节点是通过沿着路径 (path)或者步 (steps) 来选取的。 XML 实
阅读全文
摘要：http://blog.sina.com.cn/s/blog_64370f500100k01f.html WebSphere实现了JMX标准(JSR160)，因此可以使用标准的JMX方式(JMXAPI以及JConsole等工具)连接WebSphere访问其MBean。 使用WebSphere自带JD
阅读全文
摘要：http://www.java-cn.com/club/html/04/n-5404.html 通过JMX监控管理weblogic的运行 字号: 小 中 大 | 打印发布:2009-5-25 10:18 作者:webmaster 来源: 本站原创 查看:849次 声明 声明: 1、任何网站转载本站点
阅读全文
摘要：在Linux 平台下使用 JNI 张翼翔李庆明, 简介： 本文简要介绍了 JNI调用规范，及常用函数。并通过具体示例程序展示了实现一个本地调用的基本步骤。 本文的标签： best_practices, jni, 应用开发 标记本文！ 发布日期： 2002 年 10 月 29日 级别： 初级 访问情况
阅读全文
摘要：http://kalali.me/manage-administrate-and-monitor-glassfish-v3-from-java-code-using-amx-jmx/ Manage, Administrate and Monitor GlassFish v3 from Java co
阅读全文
摘要：http://glassfish.java.net/javaee5/ejb/EJB_FAQ.html What is therelationship between @EJB and ejb-ref/ejb-local-ref? The @EJB annotationand the ejb-ref/
阅读全文
摘要：http://www.itlearner.com/article/638 在Linux下安装和使用MySQL 【 来源：Linux伊甸园 作者：linuxeden更新时间：2003-12-26 | 字体：大 中 小】 分享到： QQ空间 新浪微博 腾讯微博 人人网 开心网 一、引言 想使用Linux
阅读全文
摘要：http://www.sudu.cn/info/index.php?op=article&id=8309 在Linux上应用PostgreSQL 发布时间：2007-09-3008:00:00 来源：linux宝库 作者： 点击：776 PostgreSQL是一个在Unix世界被广泛应用的免费数据库
阅读全文
摘要：http://www.phpweblog.net/peiyinjin/archive/2008/04/15/3199.html 在我们使用查询语句的时候，经常要返回前几条或者中间某几行数据，这个时候怎么办呢？不用担心，mysql已经为我们提供了这样一个功能。 SELECT * FROM table
阅读全文
摘要：postgreSQL分页 select * from xxx limit 10 offset 0; offset 偏移量 0表示从第一条开始 limit 共取几条 10表示本次查询10条 postgreSQL分页 select * from xxx limit 10 offset 0; offset
阅读全文
摘要：http://www.51testing.com/?uid-77492-action-viewspace-itemid-243818 websphere、weblogic上JConsole的配置 上一篇 / 下一篇 2011-08-2611:57:32 / 个人分类：监控服务器 查看( 55 ) /
阅读全文
摘要：通通透透理解ThreadLocal，实现安全的多线程 2008-08-22 16:10 276人阅读 评论(0) 收藏 举报 我们知道Spring通过各种DAO模板类降低了开发者使用各种数据持久技术的难度。这些模板类都是线程安全的，也就是说，多个DAO可以复用同一个模板实例而不会发生冲突。 我们使用
阅读全文
摘要：http://blog.itpub.net/post/2316/10994 ORACLE与PostgreSql的区别 本文档主要从数据库开发角度来对比二者的区别，有一些二者相同之处，这里不再专门提出。 一、块操作对象 ·oracle有存储过程、函数、包、等块操作对象，各功能有所不同。 最常用的是存储
阅读全文
摘要：http://www.ibm.com/developerworks/cn/webservices/1101_mace_restservicePart1/1101_mace_restservicePart1.html RESTService 的最佳实践，第 1 部分: 重新解析 RESTService
阅读全文
摘要：http://blog.csdn.net/zhangren07/article/details/6269527 jdk+apache+jboss+mod_jk+openssl--从零开始搭建Linux测试环境 分类： C++/Java 软件测试理论 环境搭建 Linux2011-03-2223:24
阅读全文
摘要：详解 Windows下apache 实现 SSL 2008-07-3123:55:46 标签：SSL Windows Apache 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://dufei.blog.51cto.com/3826
阅读全文
摘要：from: http://blog.csdn.net/clearwater21cn/article/details/2328047 使用snmp4j实现Snmp功能（一） 分类： 通信2008-04-2516:20 11318人阅读 评论(27) 收藏 举报 相关链接： Snmp学习笔记 使用snm
阅读全文
摘要：from: http://blog.csdn.net/clearwater21cn/article/details/1667614 Snmp学习笔记 分类： 通信2007-06-2619:10 6603人阅读 评论(11) 收藏 举报 相关链接： Snmp学习笔记 使用snmp4j实现Snmp功能（
阅读全文
摘要：关注 (1) 博客?赵老师?显示全文 使用 J-Interop 在 Java 中调用WMI 1评/817阅 发表于:2011-06-16 07:12 有关WMI的小知识 Windows管理规范（WMI）是微软对来自分布式管理任务组（DMTF）的基于Web的企业管理（WBEM）和通用信息模型（CIM）
阅读全文
摘要：glassfish忘记管理员密码的解决办法 2010-04-21 17:18 http://hi.baidu.com/5shuang/blog/item/76e3ecfaa7e865d8b58f31d1.html 方法一：如果现有的 domain上并没有你所需要的东西，删除现有的domain，重新创
阅读全文
摘要：http://www.ibm.com/developerworks/cn/java/j-jtp06197.html Java理论与实践: 正确使用 Volatile 变量 volatile 变量使用指南 Brian Goetz (brian.goetz@sun.com),高级工程师, Sun Mic
阅读全文
摘要：MySql 和 PostGres 对照表 初始化数据库 $prefix/bin/mysql_install_db --ldata=XXX--user=mysql mkdir XXX; $prefix/bin/initdb [-D $prefix/wdb] -WXXX 启动|停止 数据库服务器 $pr
阅读全文
摘要：Linux下远程登录，改的例子 expectlinux #!/usr/bin/expect # 2011.11.23 hui . my first example ofexpect if {[llength $argv ] < 1 } { puts " please in put theip" ex
阅读全文
摘要：[转载]expect教程 [目录] 1.摘要 2.关键字 3.简介 4.Expect综述 5.callback 6.passwd 和一致性检查 7.rogue 和伪终端 8.ftp 9.fsck 10.多进程控制：作业控制 11.交互式使用Expect 12.交互式Expect编程 13.非交互式程
阅读全文
摘要：EJB学习 EJB四个关键字： Local: 该方法可以被同处于EJB容器内其他应用访问到，EJB容器之外不能访问。 Local 接口允许bean之间直接通过内存交互，没有分布式对象协议的开销，因而在同一个容器内时，性能比Remote更好。 Remote: 该方法可以被来自EJB容器之外的应用访问。
阅读全文
摘要：Message Driven Bean学习简要 发送端： @Stateless @Local public class QueueSend implementsIQueueSend { @Resource(mappedName ="jms/ConnectionFactory") privateCon
阅读全文
摘要：转载： http://www.cnblogs.com/wxf0701/archive/2008/08/13/1267344.html 1.native native是方法修饰符。Native方法是由另外一种语言（如c/c++，FORTRAN，汇编）实现的本地方法。因为在外部实现了方法，所以在java
阅读全文
摘要：远程： String jmxURL ="service:jmx:rmi:///jndi/rmi://192.168.10.93:8999/jmxrmi"; JMXServiceURL serviceURL = newJMXServiceURL(jmxURL); Map map = new HashM
阅读全文
摘要：apache的作用和tomcat的区别(转) apache的作用和tomcat的区别(转) 2008-01-11 14:20 经常在用apache和tomcat等这些服务器，可是总感觉还是不清楚他们之间有什么关系，在用tomcat的时候总出现apache，总感到迷惑，到底谁是主谁是次，因此特意在网上
阅读全文
摘要：http://s456123123b.blog.163.com/blog/static/5632332220101080474642/ apache负载均衡设置 2010-11-08 12:47:46 Apache作为LoadBalance前置机分别有三种不同的部署方式，分别是： 1 ）轮询均衡策略
阅读全文
浙公网安备 33010602011771号