面试范围

面试问的比较多的

JAVA:进程、线程、多线程、反射、IO、集合、网络编程、接口、类与对象

Linux：shell脚本、AWK与sed指令，其他常用指令

hadoop：HDFS读写机制、mapreduce的执行流程、shuffle的执行流程、yarn平台的执行流程、hive的架构、hive中的各种join、视图、索引、hive中的数据倾斜、hive中的HQL语句如何转换成mapreduce任务的

             面试时还有可能现场写HQL语句

             Zookeeper的运行原理、选举机制

             Hbase的架构原理、逻辑结构与物理机构、列族、RowKey、常用的shell命令、常用Java API、  Hbase作为输入或输出 源的实现思路、布隆过滤器、扫描器

spark：scala中的Trait（特质）、高阶函数、匿名函数、模式匹配、类型参数、集合（seq、set、map）、伴生类与伴生对象、apply方法、隐式转换（隐式函数、隐式参数、隐式值）、actor、偏函数

          spark的运行原理、spark与hadoop的区别、spark为什么处理数据的速度比较快（基于内存计算、DAG）

          flatmap与map的区别、reduceByKey与groupByKey的区别、容错机制（lineage、checkpoint）、窄依赖于宽依赖的区别、共享变量（广播变量、累加器）

         sparkContext初始化的过程和运行原理

         sparksql的执行流程、sqlcontext与hivecontext的区别、

         如何对文本文件、json、parquet进行操作

         spark streaming架构原理、streamingContext的初始化过程

         spark streaming如何操作flume\kafka中的数据

        flume（海量日志收集系统）的组件有哪些，数据在flume中的执行流程

          kafka（分布式发布-订阅消息系统）中组件有哪些:发布者（或生产者）producer \Broker Server\订阅过程（或消费者）consumer

        kafka的消息发布订阅的执行过程

         spark streaming 与storm的区别

        解释一下DStream(离散流)、windows窗口操作（窗口长度，滑动时间间隔）

 

spark MLlib:（可选）

机器学习(ML):k-means、KNN、决策树

神经网络、朴素贝叶斯、回归、降维、关联规则