摘要：
一，作用 Spark Streaming在处理不断流入的数据是通过每间隔一段时间(batch interval)，将这段时间内的流入的数据积累为一个batch，然后以这个batch内的数据作为job DAG的输入RDD提交新的job运行。当一个batch的处理时间大于batch interval时， 阅读全文
posted @ 2021-03-15 20:09
麦油
阅读(144)
评论(0)
推荐(0)
摘要：
1、 java中方法的重写的两同两小一大原则 方法名相同 参数类型相同 子类返回类型小于等于父类方法返回类型， 子类抛出异常小于等于父类方法抛出异常， 子类访问权限大于等于父类方法访问权限。 2、Class.forName(); 类.class; 对象.getClass(); Class.forNa 阅读全文
posted @ 2021-02-14 20:53
麦油
阅读(9)
评论(0)
推荐(0)
摘要：
1.同步与异步 同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)； 同步是指：当程序1调用程序2时，程序1停下不动，直到程序2完成回到程序1来，程序1才继续执行下去。 异步是指：当程序1调用程序2时，程序1 阅读全文
posted @ 2021-02-14 20:51
麦油
阅读(13)
评论(0)
推荐(0)
摘要：
1、线程和线程池分别都有哪些状态？ 线程的状态： new 尚未启动 runnable RUNNABLE 正在执行中 blocked 阻塞的（被同步锁或者IO锁阻塞） waiting 永久等待状态 timed_waitng 等待指定的时间重新被唤醒的状态 terminated 执行完成 线程池的状态： 阅读全文
posted @ 2021-02-14 20:50
麦油
阅读(26)
评论(0)
推荐(0)
摘要：
1. JVM 的主要组成部分？及其作用？ （1）类加载器（ClassLoader）：在JVM启动时或者在类运行时将需要的class加载到JVM中。 （2）执行引擎（Execution Engine）：负责执行class文件中包含的字节码指令。 （3）本地库接口（Native Interface） （ 阅读全文
posted @ 2021-02-14 20:49
麦油
阅读(12)
评论(0)
推荐(0)
摘要：
ll -h 即为ls -lh是文件的实际大小； du -sh 显示文件所占用的 block 大小； 注：用du命令查看文件大小的时候，当文件只有1个字节，也会占用 4KB （inux默认是4k）。 du -ach * #这个能看到当前目录下的所有文件占用磁盘大小和总大小 du -sh #查看当前目录 阅读全文
posted @ 2021-02-14 20:48
麦油
阅读(812)
评论(0)
推荐(0)
摘要：
2020大数据面试题真题总结(附答案) 2020年大厂面试题-数据仓库篇 教你如何使用正确姿势关闭SparkStreaming 朋友面试数据研发岗遇到的面试题 美团优选-数据仓库高级工程师面试 数仓开发需要了解的5大SQL分析函数 蚂蚁金服数据专家岗笔试题 一份还热乎的蚂蚁金服面经（已拿Offer） 阅读全文
posted @ 2021-02-14 20:47
麦油
阅读(89)
评论(0)
推荐(0)
摘要：
一 复杂业务梳理 数仓建设初期，需要了解各种业务，有些业务比较复杂，对数据开发人员的要求比较高，这个时候，需要和业务开发多交流沟通，可以看看他们的详细设计文档，ER图和时序图，多方位去了解，最终落成文档共享 二 技术选型困难 技术选型也是需要在数仓建设前就需要考虑的，从数据抽取同步到数据处理再入供需 阅读全文
posted @ 2021-02-14 20:45
麦油
阅读(68)
评论(0)
推荐(0)
摘要：
面试中有的让写一条shell统计WordCount leetcode也有这个题，链接地址 为了简单起见，我们设定： words.txt只包括小写字母和 ' ' 。 每个单词只由小写字母组成。 单词间由一个或多个空格字符分隔。 words.txt 内容如下： the day is sunny the 阅读全文
posted @ 2021-02-14 20:43
麦油
阅读(35)
评论(0)
推荐(0)
摘要：
CPU TOP shift + p cpu使用情况排序 shift + m 内存排序内存 free free -h 汇总硬盘IO raid df -h du -s -h ./* | du -s ./*|sort -n find 目录 |grep 文件名 find 目录 |xargs grep -ri 阅读全文
posted @ 2021-02-14 20:41
麦油
阅读(8)
评论(0)
推荐(0)
浙公网安备 33010602011771号