摘要：
1.1. 导出时报错1.1.1. Could not buffer record在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小1.1.2. Packet for query is too large (1136885 > 1048576). You 阅读全文
posted @ 2020-10-19 16:29
十一vs十一
阅读(304)
评论(0)
推荐(0)
摘要：
安装文档 1. 安装依赖 yum -y install gcc yum -y install gcc-c++ yum -y install ruby yum -y install rubygem* yum -y install ruby-rdoc yum -y install ruby-devel 阅读全文
posted @ 2020-10-19 16:26
十一vs十一
阅读(108)
评论(0)
推荐(0)
摘要：
115个Java面试题和答案——终极列表（上） 2016-04-30 小马哥 java一日一条 本文我们将要讨论Java面试中的各种不同类型的面试题，它们可以让雇主测试应聘者的Java和通用的面向对象编程的能力。下面的章节分为上下两篇，第一篇将要讨论面向对象编程和它的特点，关于Java和它的功能的常 阅读全文
posted @ 2020-10-19 16:13
十一vs十一
阅读(69)
评论(0)
推荐(0)
摘要：
1、面向对象的特征有哪些方面(1).抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题，而只是选择其中的一部分，暂时不用部分细节。抽象包括两个方面，一是过程抽象，二是数据抽象。(2).继承：继承是一种联结类的层次模型，并且允许和鼓励类 阅读全文
posted @ 2020-10-19 16:08
十一vs十一
阅读(133)
评论(0)
推荐(0)
摘要：
大数据工程师面试题 1. 选择题 1.1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1.2. HDfS 中的 block 默认保存几份 阅读全文
posted @ 2020-10-19 16:03
十一vs十一
阅读(519)
评论(0)
推荐(0)
摘要：
RDD[T] Transformations rdd api 备注 persist/cache map(f: T => U) keyBy(f: T => K) 特殊的map，提key flatMap(f: T => Iterable[U]) map的一种，类似UDTF filter(f: T => 阅读全文
posted @ 2020-10-19 15:59
十一vs十一
阅读(139)
评论(0)
推荐(0)
摘要：
RDD弹性分布式数据集 集合分布式的 1、最重要的特性：分区RDD究竟是如何分区？ 从外部加载数据时，比如HDFS，分区数与HDFS的block数一致从内部的单机List中加载数据为RDD，parallelize(numpartition)从mysql等非内置支持的数据源加载数据，分区就取决于自定义 阅读全文
posted @ 2020-10-19 15:56
十一vs十一
阅读(185)
评论(0)
推荐(0)
摘要：
本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式 阅读全文
posted @ 2020-10-19 15:54
十一vs十一
阅读(560)
评论(0)
推荐(0)
摘要：
资源调度 程序一旦创建sparkcontext，就会创建DAGScheduler、TaskScheduler、SparkDeploySchedulerBackendSparkDeploySchedulerBackend一启动就会创建一个子actor：AppClientAppClient一启动，就会将 阅读全文
posted @ 2020-10-19 15:51
十一vs十一
阅读(169)
评论(0)
推荐(0)
摘要：
Option[T] 详解 前言 Java 里的 Null Pointer Exception写过一阵子的Java后, 应该会对NullPointerException (NPE)这种东西很熟悉，基本上会碰到这种异常，就是你有一个变量是 null，但你却调用了它的方法，或是取某个的值。举例而言，下面的 阅读全文
posted @ 2020-10-19 15:50
十一vs十一
阅读(141)
评论(0)
推荐(0)
浙公网安备 33010602011771号