摘要: 背景介绍 大数据时代,海量数据的迁移会很普遍地出现在各个应用场景,本文主要讨论利用Sqoop的分布式能力从关系型数据库MySQL到Oracle的海量数据迁移和切割。 所需环境 1 JDK+Eclipse; 2 Hadoop环境(version 2.6.5) 3 Sqoop1.4.6 alpher(s 阅读全文
posted @ 2017-10-26 17:07 生活旅者 阅读(1361) 评论(0) 推荐(0) 编辑
摘要: 环境准备 服务器 环境搭建 文件配置和目录添加 新建目录的操作要在三台机器中进行,为配置服务器新建数据目录和日志目录 为分片服务器新建数据目录和日志目录 为路由服务器新建数据目录和日志目录(路由服务器只用到日志目录) 配置服务器搭建 在三台机器上做相同的配置 启动三台机器上的mongo实例, 登录任 阅读全文
posted @ 2017-09-03 17:05 生活旅者 阅读(1443) 评论(0) 推荐(1) 编辑
摘要: 本文出自 "代码大湿" "代码大湿" 本系列持续更新,敬请关注。 1 静态工厂 静态工厂介绍: 静态工厂模式可以实现接口封装隔离的原则。在客户端只知接口而不知实现的时候可以使用静态工厂模式。 "源码请点击我" 角色: Product:客户端需要使用的接口。 ConcreteProduct:Produ 阅读全文
posted @ 2016-09-04 18:58 生活旅者 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 本文出自 "代码大湿" "代码大湿" 实现多个线程同步一般有三种方式(CountDownLatch,CyclicBarrier,Semaphore) 1:CountDownLatch一般用于一个线程等待其他多个线程的同步。其countDown方法将计数器减1。await方法在计数器不为0的时候都是阻 阅读全文
posted @ 2016-08-30 16:45 生活旅者 阅读(678) 评论(0) 推荐(0) 编辑
摘要: 本文出自 "代码大湿" "代码大湿" ThreadLocal是用来保存线程的本地变量,可以保证每个线程都有一个自己的变量(包括static变量)。 "本文所有代码请点击我" 1 看个实际场景。 我们要设计一个序列号生成器,每个线程之间对序列号的获取是是隔离的。初始我们可能会这样设计。使用一个stat 阅读全文
posted @ 2016-08-28 16:44 生活旅者 阅读(383) 评论(0) 推荐(0) 编辑
摘要: 本文出自 "代码大湿" "代码大湿" 有段时间没有更新新文章了,接下来想把文章的更新速度放慢点,主要是想写出更高质量的文章,最近收录了多年面试的经典题目,包括答案,本系列会持续更新。 1 线程和进程的区别 1 资源占用:进程是系统资源分配的基本单位,进程拥有自己独立的内存空间,所属同一进程的各个线程 阅读全文
posted @ 2016-08-17 18:43 生活旅者 阅读(925) 评论(2) 推荐(1) 编辑
摘要: 比如将一个 排序,则有两种方式: 1:Student实现Comparable接口: 2:给排序方法传递一个Comparator参数: 请看下面的举例: Student类: 执行结果: 默认排序 T F 18 H胡歌 28 Z周润发 50 M梅兰芳 100 倒序排序 M梅兰芳 100 Z周润发 50 阅读全文
posted @ 2016-07-05 21:11 生活旅者 阅读(18118) 评论(0) 推荐(1) 编辑
摘要: 来自: "代码大湿" "代码大湿" 1 相关介绍 jupyter notebook是一个Web应用程序,允许你创建和分享,包含活的代码,方程的文件,可视化和解释性文字。用途包括:数据的清洗和转换、数值模拟、统计建模、机器学习和更多。支持40多中语言。python ,R,go,scala等。 Spar 阅读全文
posted @ 2016-07-03 15:04 生活旅者 阅读(5708) 评论(2) 推荐(3) 编辑
摘要: 观察者模式(订阅/发布模式) 作者: "代码大湿" "代码大湿" Java中观察者模式中主要是Observerable类(被观察者),和Observer接口(观察者)。下面是个简单的demo //被观察者 //观察者 //main方法 结果 更多好文关注; "代码大湿" "代码大湿" 阅读全文
posted @ 2016-06-02 21:49 生活旅者 阅读(1320) 评论(0) 推荐(0) 编辑
摘要: 来自: "代码大湿" "代码大湿" 写在前面: 只要认真看过,基本能很熟悉泛型的特性。泛型是JDK1.5之后出现的,比如JDK1.5之前的ArrayList,会出现2个问题 1:向ArrayList当中添加对象,添加String和Date都可以,但我们的本意是添加String,编译器不会检查错误,会 阅读全文
posted @ 2016-06-02 21:24 生活旅者 阅读(1120) 评论(2) 推荐(1) 编辑