博客园 - TheBug
uuid:7d267088-5232-4821-9010-8cd5fdd6cd4f;id=1075650
2019-02-10T01:08:11Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
feed.cnblogs.com
https://www.cnblogs.com/jacksu-tencent/p/10358662.html
Google Professional Data Engineer(PDE)考试 - TheBug
在国内参加PDE考试的人比较少,导致资料也很少。我在19年1月30号去上海参加PDE考试,参加前也是完全没底,因为时间短资料少,但幸运的是顺利通过了。回过头来看,其中有些技巧和重点,在此做一些总结,希望可以给参加PDE考试的同学提供一些帮助。
2019-02-10T01:08:00Z
2019-02-10T01:08:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】在国内参加PDE考试的人比较少,导致资料也很少。我在19年1月30号去上海参加PDE考试,参加前也是完全没底,因为时间短资料少,但幸运的是顺利通过了。回过头来看,其中有些技巧和重点,在此做一些总结,希望可以给参加PDE考试的同学提供一些帮助。 <a href="https://www.cnblogs.com/jacksu-tencent/p/10358662.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/5135869.html
Spark Streaming使用Kafka保证数据零丢失 - TheBug
spark streaming如何保证数据不丢失,并且保证exactly-once。
2016-01-16T09:21:00Z
2016-01-16T09:21:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】spark streaming如何保证数据不丢失,并且保证exactly-once。 <a href="https://www.cnblogs.com/jacksu-tencent/p/5135869.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/5123163.html
Spark Shuffle之Sort Shuffle - TheBug
正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash shuffle、sort shuffle和tungsten-sort shuffle,从1.2.0开始默认为sort shuffle。本节主要介绍sort shuffle。
2016-01-11T23:57:00Z
2016-01-11T23:57:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash shuffle、sort shuffle和tungsten-sort shuffle,从1.2.0开始默认为sort shuffle。本节主要介绍sort shuffle。 <a href="https://www.cnblogs.com/jacksu-tencent/p/5123163.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/5118917.html
Spark Shuffle之Hash Shuffle - TheBug
正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash shuffle、sort shuffle和tungsten-sort shuffle,从1.2.0开始默认为sort shuffle。本节主要介绍hash shuffle。
2016-01-10T10:45:00Z
2016-01-10T10:45:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash shuffle、sort shuffle和tungsten-sort shuffle,从1.2.0开始默认为sort shuffle。本节主要介绍hash shuffle。 <a href="https://www.cnblogs.com/jacksu-tencent/p/5118917.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4979666.html
scala-协变、逆变、上界、下界 - TheBug
在看开源代码时,经常会遇到协变、逆变、上界、下界的概念,但是这几个概念又比较复杂,必须总结一下,方便下次查阅。
2015-11-19T23:58:00Z
2015-11-19T23:58:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】在看开源代码时,经常会遇到协变、逆变、上界、下界的概念,但是这几个概念又比较复杂,必须总结一下,方便下次查阅。 <a href="https://www.cnblogs.com/jacksu-tencent/p/4979666.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4973107.html
scala工具库 - TheBug
apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的,除了掌握基本语法,本文介绍scala的常用工具库。
2015-11-17T14:51:00Z
2015-11-17T14:51:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的,除了掌握基本语法,本文介绍scala的常用工具库。 <a href="https://www.cnblogs.com/jacksu-tencent/p/4973107.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4526535.html
Spark Transformations介绍 - TheBug
##背景本文介绍是基于Spark 1.3源码##如何创建RDD?RDD可以从普通数组创建出来,也可以从文件系统或者HDFS中的文件创建出来。举例:从普通数组创建RDD,里面包含了1到9这9个数字,它们分别在3个分区中。```scalascala> val a = sc.parallelize(1 t...
2015-05-24T13:36:00Z
2015-05-24T13:36:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】##背景本文介绍是基于Spark 1.3源码##如何创建RDD?RDD可以从普通数组创建出来,也可以从文件系统或者HDFS中的文件创建出来。举例:从普通数组创建RDD,里面包含了1到9这9个数字,它们分别在3个分区中。```scalascala> val a = sc.parallelize(1 t... <a href="https://www.cnblogs.com/jacksu-tencent/p/4526535.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4428287.html
scala程序运行的几种方式 - TheBug
# HelloWorld简单实例```scalaobject HelloWorld{ def main(args:Array[String]){ println("HelloWorld") }}```# scala交互式运行```shellscalaWelcome to...
2015-04-15T05:38:00Z
2015-04-15T05:38:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】# HelloWorld简单实例```scalaobject HelloWorld{ def main(args:Array[String]){ println("HelloWorld") }}```# scala交互式运行```shellscalaWelcome to... <a href="https://www.cnblogs.com/jacksu-tencent/p/4428287.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4216389.html
Scala快速入门-函数组合 - TheBug
2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。
2015-01-11T05:06:00Z
2015-01-11T05:06:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。 <a href="https://www.cnblogs.com/jacksu-tencent/p/4216389.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4199834.html
Scala快速入门-基本数据结构 - TheBug
2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。
2015-01-03T11:07:00Z
2015-01-03T11:07:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。 <a href="https://www.cnblogs.com/jacksu-tencent/p/4199834.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4197134.html
Scala快速入门-基础 - TheBug
2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。
2015-01-01T04:14:00Z
2015-01-01T04:14:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。 <a href="https://www.cnblogs.com/jacksu-tencent/p/4197134.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4141832.html
Hive整体优化策略 - TheBug
hive可以从几个方面进行优化,从系统角度看:整体架构、MR阶段、JOB以及平台都可以进行优化。从用户角度看:了解SQL执行过程以及业务数据特点,调整SQL语句进行优化。
2014-12-03T16:01:00Z
2014-12-03T16:01:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】hive可以从几个方面进行优化,从系统角度看:整体架构、MR阶段、JOB以及平台都可以进行优化。从用户角度看:了解SQL执行过程以及业务数据特点,调整SQL语句进行优化。 <a href="https://www.cnblogs.com/jacksu-tencent/p/4141832.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/4044285.html
hive mapjoin优化 - TheBug
默认为10MB,如果大于该值不会执行mapjoin,hive语句中直接设置的mapjoin也不再起作用。参考hive wiki把hive.auto.convert.join.noconditionaltask.size修改大一些就ok。官方解释为:hive.auto.convert.join.noc...
2014-10-22T12:57:00Z
2014-10-22T12:57:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】默认为10MB,如果大于该值不会执行mapjoin,hive语句中直接设置的mapjoin也不再起作用。参考hive wiki把hive.auto.convert.join.noconditionaltask.size修改大一些就ok。官方解释为:hive.auto.convert.join.noc... <a href="https://www.cnblogs.com/jacksu-tencent/p/4044285.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/3936067.html
C++并行编程2 - TheBug
基于C++11线程的基本管理,包括如何启动一个线程,如何等待一个线程结束,如何处理一个异常以及如何让一个线程后台运行。
2014-08-25T16:26:00Z
2014-08-25T16:26:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】基于C++11线程的基本管理,包括如何启动一个线程,如何等待一个线程结束,如何处理一个异常以及如何让一个线程后台运行。 <a href="https://www.cnblogs.com/jacksu-tencent/p/3936067.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/3920955.html
C++并行编程1 - TheBug
在C++11中的标准库中引入了线程库,这样就可以方便我们并行编程。什么时候需要并行编程呢?什么时候又不需要呢?并用线程库实现hello world。
2014-08-18T16:55:00Z
2014-08-18T16:55:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】在C++11中的标准库中引入了线程库,这样就可以方便我们并行编程。什么时候需要并行编程呢?什么时候又不需要呢?并用线程库实现hello world。 <a href="https://www.cnblogs.com/jacksu-tencent/p/3920955.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/3909824.html
分布式系统理论-terms - TheBug
好玩实在的分布式系统理论系列,本节主要介绍分布式系统中涉及到的一些术语,大家应该经常听到这些术语的,但是具体含义应该没有多少人可以确切回答的,如scalability、latency、performance等。
2014-08-13T15:39:00Z
2014-08-13T15:39:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】好玩实在的分布式系统理论系列,本节主要介绍分布式系统中涉及到的一些术语,大家应该经常听到这些术语的,但是具体含义应该没有多少人可以确切回答的,如scalability、latency、performance等。 <a href="https://www.cnblogs.com/jacksu-tencent/p/3909824.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/3878780.html
Linux内核策略介绍学习笔记 - TheBug
在上周听了mike的关于linux内核策略的分享,这可是一个长达四个小时的分享,其中一句话印象非常深刻就是,“好的系统性能不是压测出来的,是设计出来的”。内容主要通过后台服务依赖的硬件资源(CPU、内存、外存、网络、其他)主线来介绍的。
2014-07-30T15:07:00Z
2014-07-30T15:07:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】在上周听了mike的关于linux内核策略的分享,这可是一个长达四个小时的分享,其中一句话印象非常深刻就是,“好的系统性能不是压测出来的,是设计出来的”。内容主要通过后台服务依赖的硬件资源(CPU、内存、外存、网络、其他)主线来介绍的。 <a href="https://www.cnblogs.com/jacksu-tencent/p/3878780.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/3871755.html
个人github blog环境设置 - TheBug
每个人都想拥有自己的网站,但是大部分比较屌丝,不想花钱租赁服务器,哈哈,屌丝有屌丝办法。github应该都听说过吧,github.io提供了此功能,而且使用github来管理自己的代码,如果你有域名,还可以绑定你自己的域名欧。我在github的博客终于捣鼓好了,也给大家介绍一下建站步骤。
2014-07-27T11:14:00Z
2014-07-27T11:14:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】每个人都想拥有自己的网站,但是大部分比较屌丝,不想花钱租赁服务器,哈哈,屌丝有屌丝办法。github应该都听说过吧,github.io提供了此功能,而且使用github来管理自己的代码,如果你有域名,还可以绑定你自己的域名欧。我在github的博客终于捣鼓好了,也给大家介绍一下建站步骤。 <a href="https://www.cnblogs.com/jacksu-tencent/p/3871755.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/3866727.html
一个项目的Makefile编写及调试 - TheBug
父Makefile在src目录下包含很多文件夹,那么需要遍历所有的目录执行Makefile,那么给一个在src目录下的Makefile。# 需要排除的目录exclude_dirs := include bin# 取得当前子目录深度为1的所有目录名称DIRS := $(shell find . -ma...
2014-07-24T15:11:00Z
2014-07-24T15:11:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】父Makefile在src目录下包含很多文件夹,那么需要遍历所有的目录执行Makefile,那么给一个在src目录下的Makefile。# 需要排除的目录exclude_dirs := include bin# 取得当前子目录深度为1的所有目录名称DIRS := $(shell find . -ma... <a href="https://www.cnblogs.com/jacksu-tencent/p/3866727.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/jacksu-tencent/p/3856217.html
程序员必备网站 - TheBug
不知道为什么,被管理员移出了首页,看来管理员觉得我的字太少了,或者觉得我有打广告的嫌疑,不过这些网址全是干货,有很多我觉得非常珍贵,不是你随便就可以找到的,是我几年保存的,写代码可能随手就用,需要的保存欧。顺便也吐槽一下发布博客园首页的规则,完全靠手工审核,真的觉得有些问题,前段时间也看到有小伙伴在...
2014-07-20T13:33:00Z
2014-07-20T13:33:00Z
TheBug
https://www.cnblogs.com/jacksu-tencent/
【摘要】不知道为什么,被管理员移出了首页,看来管理员觉得我的字太少了,或者觉得我有打广告的嫌疑,不过这些网址全是干货,有很多我觉得非常珍贵,不是你随便就可以找到的,是我几年保存的,写代码可能随手就用,需要的保存欧。顺便也吐槽一下发布博客园首页的规则,完全靠手工审核,真的觉得有些问题,前段时间也看到有小伙伴在... <a href="https://www.cnblogs.com/jacksu-tencent/p/3856217.html" target="_blank">阅读全文</a>