摘要： window安装 1 下载 http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ docker toolbox 是一个工具集，它主要包含以下一些内容： 下载完成之后直接点击安装，安装成功后，桌边会出现三个图标，入下图所示 点 阅读全文

摘要： 1 hashMap原理 通过hash函数算法计算出来的值，通过值定位到这个map，然后将value存储到这个map中 2 hashMap 扩容大小 put时大于等于0.75 阅读全文

摘要： yarn cluster模式 例行任务一般会采用这种方式运行 指定固定的executor数 作业常用的参数都在其中指定了，后面的运行脚本会省略 动态调整executor数目 yarn client模式 yarn cluster模式 vs yarn client模式 yarn cluster模式：sp 阅读全文

摘要： hashMap原理 hashMap是数组+链表的数据结构 每一个数组元素中都是一个链表 通过记录的关键字key.hashCode()%数组的长度 来决定记录在数组中的存储位置 对于数组的同一个存储位置,后来的元素永远放在链表的表头 HashMap基于hashing原理，我们通过put()和get() 阅读全文

摘要： Mapreduce的理解？Mapreduce 的执行原理？ 1 Spark工作流程简述 Hadoop 中 job 和 task 之间的区别是什么 hive的使用，内外部表的区别，分区作用，UDF和Hive优化 Hive优化：看做mapreduce处理 Hbase的rk设计，Hbase优化 jvm运行 阅读全文

摘要： 1 java并发 1）进程和线程之间有什么不同？ 一个进程是一个独立(self contained)的运行环境，它可以被看作一个程序或者一个应用。而线程是在进程中执行的一个任务。Java运行环境是一个包含了不同的类和程序的单一进程。线程可以被称为轻量级进程。线程需要较少的资源来创建和驻留在进程中，并 阅读全文

摘要： Java通过Executors提供四种线程池，分别为：newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。newS 阅读全文

摘要： 恢复内容开始 Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 1) 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 2)高吞吐量 即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。 3)支持通过Kafka服务器和 阅读全文

摘要： 1. 获取当前日期 3. 日期格式转换 123454. 字符转日期 # 2.带时间的日期 5. 获取日期中的年月日 6. 获取时分秒 7. 获取日期对应的季度 8. 日期加减 9. 月份加减 10. 日期差,月份差 11. 计算下一个日子的日期 12. 本月的最后一个日期 阅读全文

摘要： 1 创建RDD 2 单RDD转换 (1) MAP (2) filter (3) distinct (4) randomSplit (5) groupby 3 多个RDD转换运算 并集union intRDD1.union(intRDD2).union(intRDD3).collect() [3, 1 阅读全文