摘要： 可扩展的分布式数据库架构 -------------------------------------------------------------------------------------- 原文来自：http://blog.sina.com.cn/s/blog_8a641cda01014x 阅读全文

摘要： cache、MongoDB 阅读全文

摘要： 现在越来越多的环境采用 CentOS 7 作为基础配置，特别是 Hadoop生态 如果要测试或部署环境需要启动很多组件（zookeeper、kafka、redis等等），如下内容是在操作系统层实现开机启动，这样运维管理人员无需再每次硬件设备断电或计划内重启时去检查，从无聊的频繁工作中解脱出来。 Ce 阅读全文

摘要： spring发布RMI服务 最近交流了一个项目，需要从RMI、WebService、接口文件中采集数据到大数据平台，下面自己测试了通过Spring发布RMI服务。 说明：RMI服务要求服务端和客户端都是Java代码的，两端不能采用异构的语言开发。 服务端 1、编写服务接口和实现 2、RMI通过spr 阅读全文

摘要： 1、 使用thin连接 优点：thin驱动都是纯Java代码，并且使用TCP/IP技术通过java的Socket连接上Oracle数据库，所以thin驱动是与平台无关的，无需安装Oracle客户端，只需要下载一个thin驱动的jar包，并且将环境变量中的CLASS_PATH变量中加入thin驱动的路 阅读全文

摘要： 通常我们写程序时的关注重点都放在了实现功能，但如果将代码转换成CPU执行的指令时，那么我们所写的代码就是一个动态执行的CPU指令序列。而硬件设备对指令的执行有严格的控制，例如如下代码： 静态观察 从功能的角度来看： 就是实际执行了一个fork()，生成一个新的进程； 从逻辑的角度看：就是判断了如果f 阅读全文

摘要： MySQL数据库备份还原（基于binlog的增量备份） 一、简介 1、增量备份 增量备份 是指在一次全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加或者被修改的文件。这就意味着，第一次增量备份的对象是进行全备后所产生的增加和修改的文件；第二次增量备份的对象是进行第一次增量备份后所产生 阅读全文

摘要： 一、名词解释 1、事务：它是一个操作序列，这些操作要么都执行，要么都不执行，它是一个不可分割的工作单位。 2、事务特性（ACID）：接触事务，都是从事务的ACID开始，原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。 3、 阅读全文

摘要： Shuffle描述着数据从map task输出到reduce task输入的这段过程（Shuffle的正常意思是洗牌或弄乱）。 以下是官网的流程图： 从最基本的要求来说，我们对Shuffle过程的期望可以有： 完整地从map task端拉取数据到reduce 端。 在跨节点拉取数据时，尽可能地减少对 阅读全文

摘要： 1. Inputformat会从job的INPUT_DIR目录下读入待处理的文件，检查输入的有效性并将文件切分成InputSplit列表。Job实例可以通过setInputFormatClass(Class<? extends InputFormat>)函数来设置所需的inputformat。 2. 阅读全文

摘要： 最近复习C语言和java语言（10年没用了，温习一下），用JNI调用C语言的dll测试，以前没做过，在网上找了很多，总结如下： 环境：windows 10(64位) + JDK(32位，版本1.7.0_79) + MinGW(32位)，注意JDK和MinGW要么都是32位，要么都是64位，不能一个是 阅读全文