zzzzMing -大数据技术

摘要： 一.概述 当你在尝试一门新的语言时，可能不会过于关注程序出错的问题， 但当真的去创造可用的代码时，就不能再忽视代码中的可能产生的错误和异常了。 鉴于各种各样的原因，人们往往低估了语言对错误处理支持程度的重要性。 事实会表明，Scala 能够很优雅的处理此类问题， 这一部分，我会介绍 Scala 基于 阅读全文

摘要： Spark中有两个类似的api，分别是reduceByKey和groupByKey。这两个的功能类似，但底层实现却有些不同，那么为什么要这样设计呢？我们来从源码的角度分析一下。 先看两者的调用顺序（都是使用默认的Partitioner，即defaultPartitioner） 所用spark版本：s 阅读全文

摘要： 一. 头脑封闭和头脑开放 头脑封闭 你是否经常有这样的经历，在一次会议或者在一次小组讨论时，当你提出一个观点而被别人否定时，你非常急迫地去反驳别人，从而捍卫自己的尊严，而不是第一时间考虑别人提出这个否定观点的原因。 又或者在会议轮流发言过程中，你喜欢自己滔滔不绝得发言，沉浸在自己的观点中而对别人提出 阅读全文

摘要： Apache 首先我们要明白，Apache 是一个 http 服务器，而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"Apache"是 Apache 软件基金会中的一个项目。 关于其名字，流传最广的解释是（也是最显而易见的）：这个名字来自 阅读全文

摘要： 这个问题我去网上搜索了一下，发现了很多的解决方案都是增加的nproc数量，即用户最大线程数的数量，但我修改了并没有解决问题，最终是通过修改hadoop集群的最大线程数解决问题的。 并且网络上的回答多数关于增加nproc的答案不完整，我这里顺便记录一下。 用户最大线程数可以通过linux下的命令 查看 阅读全文

摘要： Java 的类加载过程是怎么样的呢？ 阅读全文

摘要： 版权声明：本文为博主原创文章，未经博主允许不得转载 一.概述 相比起C和C++的自己回收内存，JAVA要方便得多，因为JVM会为我们自动分配内存以及回收内存。 在之前的 "JVM 之内存管理" 中，我们介绍了JVM内存管理的几个区域，其中程序计数器以及虚拟机栈是线程私有的，随线程而灭，故而它是不用考 阅读全文

摘要： 一.综述 如果你学过C或者C++，那么你应该感受过它们对内存那种强大的掌控力。但是强大的能力往往需要更强大的控制力才能保证能力不被滥用，如果滥用C/C++的内存管理那么很容易出现指针满天飞的情况，不出问题还好，一出问题debug起来简直让人头疼得不要不要的。借用一句话，“指针一时爽，重构火葬场”。 阅读全文

摘要： 版权声明：本文为博主原创文章，未经博主允许不得转载 在使用spark连接mysql的过程中报错了，错误如下 连接Mysql的代码是没问题的，但是居然会报这个错误，感觉很奇怪，而且去网上搜还搜不到相关资料，难道只有我碰到这个错误？ 一开始以为是mysql的连接jar包有问题，但下载到本地用java连接 阅读全文

摘要： 1.ThreadPoolExcuter运行实例 首先我们先看如何新建一个ThreadPoolExecutor去运行线程。然后深入到源码中去看ThreadPoolExecutor里面使如何运作的。 2.ThreadPoolExecute.execute方法 可以发现，其实使用线程池ThreadPool 阅读全文