摘要:上一期我们介绍了MR的基本流程与概念,本期稍微深入了解一下这个流程,尤其是比较重要但相对较少被提及的Shuffling过程。 阅读全文
posted @ 2019-03-16 22:13 Morven.Huang 阅读 (228) 评论 (1) 编辑
摘要:一部编程发展史就是一部程序员偷懒史,MapReduce(下称MR)同样是程序员们用来偷懒的工具。本期说说MR的基础概念,以及WordCount示例。 阅读全文
posted @ 2019-01-03 11:53 Morven.Huang 阅读 (791) 评论 (3) 编辑
摘要:这里是大数据小白系列,这是本系列的第四篇,来看一个真实世界Hadoop集群的规模,以及我们为什么需要Hadoop Federation。 阅读全文
posted @ 2018-12-29 12:24 Morven.Huang 阅读 (316) 评论 (1) 编辑
摘要:这里是大数据小白系列,这是本系列的第三篇,介绍HDFS中NameNode选举,JournalNode等概念。 阅读全文
posted @ 2018-12-20 12:30 Morven.Huang 阅读 (330) 评论 (3) 编辑
摘要:这里是大数据小白系列,这是本系列的第二篇,介绍HDFS中SecondaryNameNode、单点失败(SPOF)、以及高可用(HA)等概念。 阅读全文
posted @ 2018-12-15 19:40 Morven.Huang 阅读 (259) 评论 (0) 编辑
摘要:去年做了一阵APP相关的开发,经常遇到第三方登陆的需求,比如微信、微博、fb的第三方登陆等等,其实主要的流程都大同小异,这里就以微信为例来介绍,希望对大家有帮助。 阅读全文
posted @ 2018-12-14 13:56 Morven.Huang 阅读 (1525) 评论 (0) 编辑
摘要:这几个接口经常与Lambda结合使用,今天的内容分为两部分,第一部分相当于TLDR,总结几个“口诀”,便于大家记忆,对于更想看用法示例的同学们,第二部分者提供了所有这些接口的示例。希望对大家有所帮助。 阅读全文
posted @ 2018-12-13 13:54 Morven.Huang 阅读 (950) 评论 (2) 编辑
摘要:【注:结尾有大福利哦!】由于一种众所周知的原因,国内对外网的访问经常出现速度缓慢或者干脆无法连接的情况,而程序员则是这种现象最大的受害者(没有之一),常常Maven Resolve一下,一天时间就过去了,老板会听你解释吗,不存在的好吗。所以这里介绍一下Maven, Gradle, Pip, Docker, Yum如何使用国内镜像(以设置阿里云的各种镜像为例)。 阅读全文
posted @ 2018-12-11 12:21 Morven.Huang 阅读 (268) 评论 (0) 编辑
摘要:这里是大数据小白系列,介绍大数据生态系统的主要成员,理解其原理,明白其用途,万一有用呢对不对?第一篇先来介绍一下HDFS中分片、副本、Master/Slave架构、以及读写流程等内容。结尾有大福利哦! 阅读全文
posted @ 2018-12-09 17:21 Morven.Huang 阅读 (305) 评论 (3) 编辑
摘要:之前的博文中涉及到了Kerberos的内容,这里对Kerberos ticket lifetime相关的内容做一个补充。 阅读全文
posted @ 2015-06-29 16:31 Morven.Huang 阅读 (7439) 评论 (0) 编辑
摘要:接上篇《HBase + Kerberos配置示例(一)》,我们继续剩下的Hadoop, Zookeeper, HBase配置工作,最后使用Java程序测试Kerberos + HBase环境。 阅读全文
posted @ 2015-05-28 16:29 Morven.Huang 阅读 (7935) 评论 (0) 编辑
摘要:用过hbase的朋友可能都有过这样的疑问,即hbase如何保障访问安全。我准备用两篇博文介绍hbase + kerberos的相关内容,本篇主要介绍kerberos的配置。 阅读全文
posted @ 2015-05-14 15:31 Morven.Huang 阅读 (8090) 评论 (0) 编辑
摘要:详细介绍Hadoop-2.6.0,Zookeeper-3.4.6,HBase-0.98.9-hadoop2环境搭建 阅读全文
posted @ 2015-02-07 12:50 Morven.Huang 阅读 (6414) 评论 (1) 编辑
摘要:一个4节点Hadoop集群的配置示例,其中包括一个name node,一个secondary name node,两个data node。 阅读全文
posted @ 2014-12-30 14:20 Morven.Huang 阅读 (1041) 评论 (0) 编辑
摘要:Redis是一种内存数据库,以KEY-VALUE(即键值对)的形式存储数据,文章主要介绍Redis安装及其高可用性配置。 阅读全文
posted @ 2014-12-25 11:28 Morven.Huang 阅读 (1461) 评论 (5) 编辑
摘要:Log4j2的常见使用示例,几个常用Appender的介绍,以及介绍如何配置syslog或syslog-ng。 阅读全文
posted @ 2014-09-05 14:52 Morven.Huang 阅读 (15576) 评论 (2) 编辑
摘要:今天我们来了解Oracle中一项重要的机制,锁机制,它在允许最大并发性能的前提下保证数据的一致与完整。很多文章在说到锁机制时,往往写得特别复杂,在各种锁之外,又引入了所谓的”意向锁”等等,同时在该详细的地方,比如锁的兼容性方面,缺乏进一步的解释。所以我倾向”简单粗暴”风格,尽量把内容往简单的写。1)锁机制的分类,2)锁机制的基本示例,3)Select for update语句与锁,4)Lock table命令与锁,5)谁占用了锁?6)表级锁兼容性的解释,7)DBMS_LOCK的使用 阅读全文
posted @ 2012-09-21 14:38 Morven.Huang 阅读 (1703) 评论 (4) 编辑
摘要:在App开发的过程中,有些数据访问频率很高但是数据变化不大,我们一般会让它驻留内存以提高访问性能,但是此种机制存在一个问题,那就是如何监测数据的变化,Oracle 10g中引入的 Change Notification的引入能很好的解决这个问题。简单来说,Change Notification即Oracle可以在你指定的表数据发生变化时,给出一个通知。 阅读全文
posted @ 2012-09-06 17:16 Morven.Huang 阅读 (2673) 评论 (1) 编辑
摘要:10G中引入了SCHEDULER,其强大的功能远超9I中的JOB,比如在其定期执行任务时引入的repeat_interval,使得我们可以极其自由地设置任务的执行时间;比如其允许ORACLE执行外部程序或调用操作系统命令;又比如新引入的事件、CHAIN、时间窗等高级概念。本文回顾了9i中的Job的使用,为10g中的Scheduler作了示例,同时重点讲解了repeat_interval的设置。 阅读全文
posted @ 2012-09-03 15:28 Morven.Huang 阅读 (2037) 评论 (0) 编辑
摘要:这段时间断断续续写的WPF家谱小软件,先截两张图放着,后续再写写中间一些问题。 阅读全文
posted @ 2012-06-11 22:36 Morven.Huang 阅读 (1230) 评论 (4) 编辑