摘要: 上一期我们介绍了MR的基本流程与概念,本期稍微深入了解一下这个流程,尤其是比较重要但相对较少被提及的Shuffling过程。阅读全文
posted @ 2019-03-16 22:13 Morven.Huang 阅读(115) 评论(1) 编辑
摘要: 一部编程发展史就是一部程序员偷懒史,MapReduce(下称MR)同样是程序员们用来偷懒的工具。本期说说MR的基础概念,以及WordCount示例。阅读全文
posted @ 2019-01-03 11:53 Morven.Huang 阅读(263) 评论(3) 编辑
摘要: 这里是大数据小白系列,这是本系列的第四篇,来看一个真实世界Hadoop集群的规模,以及我们为什么需要Hadoop Federation。阅读全文
posted @ 2018-12-29 12:24 Morven.Huang 阅读(256) 评论(1) 编辑
摘要: 这里是大数据小白系列,这是本系列的第三篇,介绍HDFS中NameNode选举,JournalNode等概念。阅读全文
posted @ 2018-12-20 12:30 Morven.Huang 阅读(239) 评论(3) 编辑
摘要: 这里是大数据小白系列,这是本系列的第二篇,介绍HDFS中SecondaryNameNode、单点失败(SPOF)、以及高可用(HA)等概念。阅读全文
posted @ 2018-12-15 19:40 Morven.Huang 阅读(157) 评论(0) 编辑
摘要: 去年做了一阵APP相关的开发,经常遇到第三方登陆的需求,比如微信、微博、fb的第三方登陆等等,其实主要的流程都大同小异,这里就以微信为例来介绍,希望对大家有帮助。阅读全文
posted @ 2018-12-14 13:56 Morven.Huang 阅读(82) 评论(0) 编辑
摘要: 这几个接口经常与Lambda结合使用,今天的内容分为两部分,第一部分相当于TLDR,总结几个“口诀”,便于大家记忆,对于更想看用法示例的同学们,第二部分者提供了所有这些接口的示例。希望对大家有所帮助。阅读全文
posted @ 2018-12-13 13:54 Morven.Huang 阅读(286) 评论(2) 编辑
摘要: 最近看到不管是朋友圈还是新闻,似乎又兴起了少儿编程热,正好借着年终盘点说几句。阅读全文
posted @ 2018-12-12 19:46 Morven.Huang 阅读(149) 评论(0) 编辑
摘要: 【注:结尾有大福利哦!】由于一种众所周知的原因,国内对外网的访问经常出现速度缓慢或者干脆无法连接的情况,而程序员则是这种现象最大的受害者(没有之一),常常Maven Resolve一下,一天时间就过去了,老板会听你解释吗,不存在的好吗。所以这里介绍一下Maven, Gradle, Pip, Docker, Yum如何使用国内镜像(以设置阿里云的各种镜像为例)。阅读全文
posted @ 2018-12-11 12:21 Morven.Huang 阅读(78) 评论(0) 编辑
摘要: 这里是大数据小白系列,介绍大数据生态系统的主要成员,理解其原理,明白其用途,万一有用呢对不对?第一篇先来介绍一下HDFS中分片、副本、Master/Slave架构、以及读写流程等内容。结尾有大福利哦!阅读全文
posted @ 2018-12-09 17:21 Morven.Huang 阅读(158) 评论(3) 编辑
摘要: 之前的博文中涉及到了Kerberos的内容,这里对Kerberos ticket lifetime相关的内容做一个补充。阅读全文
posted @ 2015-06-29 16:31 Morven.Huang 阅读(5553) 评论(0) 编辑
摘要: 接上篇《HBase + Kerberos配置示例(一)》,我们继续剩下的Hadoop, Zookeeper, HBase配置工作,最后使用Java程序测试Kerberos + HBase环境。阅读全文
posted @ 2015-05-28 16:29 Morven.Huang 阅读(5636) 评论(0) 编辑
摘要: 用过hbase的朋友可能都有过这样的疑问,即hbase如何保障访问安全。我准备用两篇博文介绍hbase + kerberos的相关内容,本篇主要介绍kerberos的配置。阅读全文
posted @ 2015-05-14 15:31 Morven.Huang 阅读(5593) 评论(0) 编辑
摘要: 详细介绍Hadoop-2.6.0,Zookeeper-3.4.6,HBase-0.98.9-hadoop2环境搭建阅读全文
posted @ 2015-02-07 12:50 Morven.Huang 阅读(6197) 评论(1) 编辑
摘要: 一个4节点Hadoop集群的配置示例,其中包括一个name node,一个secondary name node,两个data node。阅读全文
posted @ 2014-12-30 14:20 Morven.Huang 阅读(982) 评论(0) 编辑
摘要: Redis是一种内存数据库,以KEY-VALUE(即键值对)的形式存储数据,文章主要介绍Redis安装及其高可用性配置。阅读全文
posted @ 2014-12-25 11:28 Morven.Huang 阅读(1264) 评论(5) 编辑
摘要: Log4j2的常见使用示例,几个常用Appender的介绍,以及介绍如何配置syslog或syslog-ng。阅读全文
posted @ 2014-09-05 14:52 Morven.Huang 阅读(14764) 评论(2) 编辑
摘要: 今天我们来了解Oracle中一项重要的机制,锁机制,它在允许最大并发性能的前提下保证数据的一致与完整。很多文章在说到锁机制时,往往写得特别复杂,在各种锁之外,又引入了所谓的”意向锁”等等,同时在该详细的地方,比如锁的兼容性方面,缺乏进一步的解释。所以我倾向”简单粗暴”风格,尽量把内容往简单的写。1)锁机制的分类,2)锁机制的基本示例,3)Select for update语句与锁,4)Lock table命令与锁,5)谁占用了锁?6)表级锁兼容性的解释,7)DBMS_LOCK的使用阅读全文
posted @ 2012-09-21 14:38 Morven.Huang 阅读(1626) 评论(4) 编辑
摘要: 在App开发的过程中,有些数据访问频率很高但是数据变化不大,我们一般会让它驻留内存以提高访问性能,但是此种机制存在一个问题,那就是如何监测数据的变化,Oracle 10g中引入的 Change Notification的引入能很好的解决这个问题。简单来说,Change Notification即Oracle可以在你指定的表数据发生变化时,给出一个通知。阅读全文
posted @ 2012-09-06 17:16 Morven.Huang 阅读(2502) 评论(1) 编辑
摘要: 10G中引入了SCHEDULER,其强大的功能远超9I中的JOB,比如在其定期执行任务时引入的repeat_interval,使得我们可以极其自由地设置任务的执行时间;比如其允许ORACLE执行外部程序或调用操作系统命令;又比如新引入的事件、CHAIN、时间窗等高级概念。本文回顾了9i中的Job的使用,为10g中的Scheduler作了示例,同时重点讲解了repeat_interval的设置。阅读全文
posted @ 2012-09-03 15:28 Morven.Huang 阅读(1915) 评论(0) 编辑