白乔 - 博客园

spark1.1.0下使用SparkSQL

摘要： spark1.1.0的安装参见http://blog.csdn.net/bluejoe2000/article/details/41391407安装了spark之后，可以在 shell中执行Spark SQL。Spark SQL是支持在Spark中使用Sql、HiveSql、Scaca中的关系型查询... 阅读全文

posted @ 2014-11-23 18:14 白乔阅读(245) 评论(0) 推荐(0)

hadoop的mapreduce过程

摘要： http://www.cnblogs.com/sharpxiajun/p/3151395.html下面我从逻辑实体的角度讲解mapreduce运行机制，这些按照时间顺序包括：输入分片（input split）、map阶段、combiner阶段、shuffle阶段和reduce阶段。输入分片（inpu... 阅读全文

posted @ 2014-11-23 15:14 白乔阅读(181) 评论(0) 推荐(0)

SSH免密码登录设置

摘要：我们使用ssh-keygen在ServerA上生成private和public密钥，将生成的public密钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。ServerA上密钥的生成# ssh-keygen -t rsa (连续三次回车,即在本地生成... 阅读全文

posted @ 2014-11-22 23:34 白乔阅读(186) 评论(0) 推荐(0)

同步/异步与阻塞/非阻塞的区别

摘要： http://blog.csdn.net/msda/article/details/5766917先举个从其他博客(http://www.blogjava.net/andyelvis/archive/2009/05/16/271012.html)上摘抄的例子,比如我去银行办理业务,可能选择排队等候,... 阅读全文

posted @ 2014-11-22 17:45 白乔阅读(189) 评论(0) 推荐(0)

java.util.concurrent 多线程框架

摘要： http://daoger.iteye.com/blog/142485JDK5中的一个亮点就是将Doug Lea的并发库引入到Java标准库中。Doug Lea确实是一个牛人，能教书，能出书，能编码，不过这在国外还是比较普遍的，而国内的教授们就相差太远了。一般的服务器都需要线程池，比如Web、FTP... 阅读全文

posted @ 2014-11-22 17:41 白乔阅读(141) 评论(0) 推荐(0)

java线程安全总结

摘要： http://blog.csdn.net/haolongabc/article/details/7249098最近想将java基础的一些东西都整理整理，写下来，这是对知识的总结，也是一种乐趣。已经拟好了提纲，大概分为这几个主题： java线程安全，java垃圾收集，java并发包详细介绍，java ... 阅读全文

posted @ 2014-11-22 11:11 白乔阅读(167) 评论(0) 推荐(0)

Mongodb集群节点故障恢复场景分析

摘要： http://blog.csdn.net/zhangzhaokun/article/details/6299527一个适当配置的Mongodb分片集群是没有单点故障。本文描述了分片集群中存在的几种不同的潜在的节点故障场景，以及Mongodb对这些节点故障是怎么处理的。1、Mongos节点宕机一个Mo... 阅读全文

posted @ 2014-11-21 22:21 白乔阅读(322) 评论(0) 推荐(0)

Hadoop源代码分析

摘要： http://wenku.baidu.com/link?url=R-QoZXhc918qoO0BX6eXI9_uPU75whF62vFFUBIR-7c5XAYUVxDRX5Rs6QZR9hrBnUdMdVHNSHdjYtv7i28lCSng1iuWO620ML_wqJZYFgeHadoop源代码分析... 阅读全文

posted @ 2014-11-21 21:41 白乔阅读(374) 评论(0) 推荐(0)

Hadoop基于Protocol Buffer的RPC实现代码分析-Server端

摘要： http://yanbohappy.sinaapp.com/?p=110最新版本的Hadoop代码中已经默认了Protocol buffer（以下简称PB，http://code.google.com/p/protobuf/）作为RPC的默认实现，原来的WritableRpcEngine已经被淘汰了... 阅读全文

posted @ 2014-11-21 09:17 白乔阅读(389) 评论(0) 推荐(0)

搭建mongodb集群（副本集+分片）

摘要：完整的搭建mongodb集群（副本集+分片）的例子。。。准备四台机器，分别是bluejoe1,bluejoe2,bluejoe3，以及bluejoe0副本集及分片策略确定如下：将创建3个副本集，命名为shard1,shard2,shard3；以上3个副本集作为3个分片；每个副本集包含3个副本（主、辅... 阅读全文

posted @ 2014-11-20 22:49 白乔阅读(202) 评论(0) 推荐(0)

搭建高可用的MongoDB集群

摘要： http://www.csdn.net/article/2014-04-09/2819221-build-high-avialable-mongodb-cluster-part-1/1在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题... 阅读全文

posted @ 2014-11-20 15:49 白乔阅读(222) 评论(0) 推荐(0)

Spark与Hadoop计算模型的比较分析

摘要： http://tech.it168.com/a2012/0401/1333/000001333287.shtml 最近很多人都在讨论Spark这个貌似通用的分布式计算模型，国内很多机器学习相关工作者都在研究和使用它。 Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。... 阅读全文

posted @ 2014-11-20 13:32 白乔阅读(263) 评论(0) 推荐(0)

ibatis 到 MyBatis区别

摘要： http://blog.csdn.net/techbirds_bao/article/details/9235309简介：本文主要讲述了 iBatis 2.x 和 MyBatis 3.0.x 的区别，以及从 iBatis 向 MyBatis 移植时需要注意的地方。通过对本文的学习，读者基本能够了解 ... 阅读全文

posted @ 2014-11-19 17:30 白乔阅读(215) 评论(0) 推荐(0)

spring与mybatis三种整合方法

摘要： http://blog.csdn.net/bluesky5219/article/details/7066174本文主要介绍Spring与Mybatis三种常用整合方法，需要的整合架包是mybatis-spring.jar，可通过链接http://code.google.com/p/mybatis/... 阅读全文

posted @ 2014-11-18 21:59 白乔阅读(139) 评论(0) 推荐(0)

sparkSQL1.1入门

摘要： http://blog.csdn.net/book_mmicky/article/details/392887152014年9月11日，Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署，请参看笔者博客Spark1.1.0 源码编译和部... 阅读全文

posted @ 2014-11-18 15:47 白乔阅读(615) 评论(0) 推荐(0)

MyBatis入门学习

摘要： http://blog.csdn.net/huzheaccp/article/details/7399124所需要jar包：mybatis-3.x.x.jar 、如果需要和spring整合，还需要加入相关的包1：看项目目录红颜色不要关心2：按照步骤：1：加入jar包2：创建数据源（configur... 阅读全文

posted @ 2014-11-17 10:52 白乔阅读(223) 评论(0) 推荐(0)

MyBatis教程

摘要： http://limingnihao.iteye.com/blog/781671一、MyBatis简介与配置MyBatis+Spring+MySql1.1MyBatis简介 MyBatis 是一个可以自定义SQL、存储过程和高级映射的持久层框架。MyBatis 摒除了大部分的JDBC代码、手工设置参... 阅读全文

posted @ 2014-11-17 10:38 白乔阅读(4901) 评论(0) 推荐(0)

sql之left join、right join、inner join的区别

摘要： http://www.cnblogs.com/pcjim/articles/799302.htmlleft join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录inner join(等值连接) 只返回... 阅读全文

posted @ 2014-11-17 10:15 白乔阅读(141) 评论(0) 推荐(0)

MySQL引擎

摘要： http://www.cnblogs.com/sopc-mc/archive/2011/11/01/2232212.html MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM... 阅读全文

posted @ 2014-11-16 20:42 白乔阅读(154) 评论(0) 推荐(0)