摘要:1.基于数据集的处理:从物理存储上加载数据,然后操作数据,然后写入数据到物理设备; 基于数据集的操作不适应的场景:不适合于大量的迭代:不适合交互式查询:每次查询都需要对磁盘进行交互.基于数据流的方式不能够复用曾经的结果或者中间的结果;2. RDD弹性数据集特点: A)自动的进行内存和磁盘数据的... 阅读全文
posted @ 2016-01-17 21:41 曹振华 阅读(572) 评论(0) 推荐(0) 编辑
摘要:最近这几年一直在用java搞大数据方面的研究,一直都在自己的摸索中前进,当然也在网上找到一些比较好的教程,能帮助自己更快更有效的掌握各种技术,最近在阅读spark的源码, spark确实很强大,一种堆栈解决各种大数据的问题.Spark亚太研究院决胜大数据时代100期公益大讲堂大家可以去看这个视频,王... 阅读全文
posted @ 2015-03-06 10:07 曹振华 阅读(204) 评论(0) 推荐(0) 编辑
摘要:博客已经搬家,请访问如下地址:http://www.czhphp.com一,安装: wget http://www.monkey.org/~provos/libevent-1.4.12-stable.tar.gztar zxvf libevent-1.4.12-stable.tar.gzcd libevent-1.4.12-stable/./configure --prefix=/usrmake && make install/sbin/ldconfigcd ../wget http://launchpad.net/gearmand/trunk/0.9/+download/ge 阅读全文
posted @ 2012-05-28 14:06 曹振华 阅读(312) 评论(0) 推荐(0) 编辑
摘要:博客已经搬家,请访问如下地址:http://www.czhphp.com Mysql性能优化教程Mysql执行优化认识数据索引为什么使用数据索引能提高效率关系型数据库的数据索引(Btree及常见索引结构)的存储是有序的。在有序的情况下,通过索引查询一个数据是无需遍历索引记录的关系型数据库数据索引的查询效率趋近于二分法查询效率,趋近于log2(N)。极端情况下(更新请求少,更新实时要求低,查询请求频繁),建立单向有序序列可替代数据索引。HASH索引的查询效率是寻址操作,趋近于1次查询,比有序索引查询效率更高,但是不支持比对查询,区间查询,排序等操作,仅支持key-value类型查询。不是本文重点 阅读全文
posted @ 2012-02-27 23:03 曹振华 阅读(2887) 评论(0) 推荐(1) 编辑
摘要:1.基于数据集的处理:从物理存储上加载数据,然后操作数据,然后写入数据到物理设备; 基于数据集的操作不适应的场景:不适合于大量的迭代:不适合交互式查询:每次查询都需要对磁盘进行交互.基于数据流的方式不能够复用曾经的结果或者中间的结果;2. RDD弹性数据集特点: A)自动的进行内存和磁盘数据的... 阅读全文
posted @ 2016-01-17 21:41 曹振华 阅读(572) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-97讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-09-12 20:15 曹振华 阅读(272) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-09-09 21:20 曹振华 阅读(232) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-09-07 21:26 曹振华 阅读(248) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-09-06 21:14 曹振华 阅读(222) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-09-05 14:49 曹振华 阅读(176) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-09-01 18:32 曹振华 阅读(341) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-29 17:27 曹振华 阅读(287) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-28 21:05 曹振华 阅读(224) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-27 13:11 曹振华 阅读(657) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-25 16:48 曹振华 阅读(335) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-24 15:26 曹振华 阅读(604) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-22 09:32 曹振华 阅读(199) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-21 17:00 曹振华 阅读(730) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-20 15:05 曹振华 阅读(167) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-19 19:22 曹振华 阅读(251) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-18 17:37 曹振华 阅读(385) 评论(0) 推荐(0) 编辑
摘要:package com.parllay.scala.type_parameterizitorimport scala.io.{Source, BufferedSource}/** * Created by richard on 15-8-17. * 第58讲:Scala中Abstract Types... 阅读全文
posted @ 2015-08-17 06:49 曹振华 阅读(260) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-87讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-15 20:27 曹振华 阅读(301) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-12 17:51 曹振华 阅读(613) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-11 21:28 曹振华 阅读(314) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-10 23:05 曹振华 阅读(257) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-09 19:24 曹振华 阅读(413) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-07 21:04 曹振华 阅读(248) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-06 22:25 曹振华 阅读(405) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-05 22:34 曹振华 阅读(310) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-04 21:01 曹振华 阅读(383) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-03 16:49 曹振华 阅读(342) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-08-01 17:42 曹振华 阅读(4990) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-07-30 22:41 曹振华 阅读(573) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-07-29 21:43 曹振华 阅读(482) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-07-28 19:59 曹振华 阅读(344) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-07-27 21:11 曹振华 阅读(921) 评论(0) 推荐(0) 编辑
摘要:Scala 深入浅出实战经典 第41讲:List继承体系实现内幕和方法操作源码揭秘package com.parllay.scala.dataset/** * Created by richard on 15-7-25. * 第41讲:List继承体系实现内幕和方法操作源码揭秘 */object L... 阅读全文
posted @ 2015-07-26 19:45 曹振华 阅读(238) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-07-25 22:47 曹振华 阅读(832) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2U... 阅读全文
posted @ 2015-07-24 19:29 曹振华 阅读(848) 评论(0) 推荐(0) 编辑
摘要:王家林亲授《DT大数据梦工厂》大数据实战视频Scala深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6腾讯微云:http://url.cn/TnGbdC360云盘:http://yunpan.cn/cQ4c2UALDj... 阅读全文
posted @ 2015-07-23 22:07 曹振华 阅读(212) 评论(0) 推荐(0) 编辑
摘要:Scala深入浅出实战经典(1-64讲)完整视频、PPT、代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6腾讯微云:http://url.cn/TnGbdC360云盘:http://yunpan.cn/cQ4c2UALDjSKy访问密码45e2 以下为第37讲Lis... 阅读全文
posted @ 2015-07-22 21:38 曹振华 阅读(3107) 评论(0) 推荐(0) 编辑
摘要:最近这几年一直在用java搞大数据方面的研究,一直都在自己的摸索中前进,当然也在网上找到一些比较好的教程,能帮助自己更快更有效的掌握各种技术,最近在阅读spark的源码, spark确实很强大,一种堆栈解决各种大数据的问题.Spark亚太研究院决胜大数据时代100期公益大讲堂大家可以去看这个视频,王... 阅读全文
posted @ 2015-03-06 10:07 曹振华 阅读(204) 评论(0) 推荐(0) 编辑
摘要:首先看一下分页的基本原理:mysql> explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20G ***************** 1. row ************** id: 1 select_type: SIMPLE table: message type: index possible_keys: NULL key: PRIMARY key_len: 4 ref: NULL rows: 10020 Extra: 1 row in set (0.00 sec)limit 10000,20的意思扫描满足条件的 阅读全文
posted @ 2013-08-22 13:15 曹振华 阅读(314) 评论(0) 推荐(0) 编辑