随笔分类 -  面试总结

摘要：大数据面试题总结 Hadoop 1、由来 Hadoop是apache lucene的创始人doug cutting开发的广泛使用的文本搜索库 雏形于2002年的apache nutch，nutch是java编写的开源的搜索引擎 2003年Google发布了GFS，提供了海量的文件存储系统 2004年 阅读全文

摘要：spark精华面试题 1、driver的功能是什么？ 1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stag 阅读全文