摘要: 转自:https://blog.csdn.net/qq_26803795/article/details/79474604 本篇博客列举几个笔试或面试常见的小案例,其实它们的解决方案很多都是类似的,主要考察的也是大数据技术处理数据的思想,下面让我们一起分析总结: 1)海量日志数据,提取出某日访问百度 阅读全文
posted @ 2018-08-29 20:05 流氓小伙子 阅读(302) 评论(0) 推荐(0)
摘要: 转自: https://blog.csdn.net/qq_26803795/article/details/79466592 本篇博客继续HIVE,将所有HIVE优化相关的内容深入清楚: hive 优化: 1)Map的优化 • 增加map的个数: set mapred.map.tasks=10; • 阅读全文
posted @ 2018-08-29 20:00 流氓小伙子 阅读(327) 评论(0) 推荐(0)
摘要: 转自:https://blog.csdn.net/qq_26803795/article/details/79162203 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续HIVE: 1)hive 支持 not in 吗? 2)Hive 有哪些方式保存元数据,各有哪些优缺点? 3)h 阅读全文
posted @ 2018-08-29 19:54 流氓小伙子 阅读(385) 评论(0) 推荐(0)
摘要: 转自:https://blog.csdn.net/qq_26803795/article/details/79161599 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续Hbase的尾巴,并开始HIVE: 1)怎样将mysql的数据导入到hbase中? 2)hbase的快速查找建立 阅读全文
posted @ 2018-08-29 19:53 流氓小伙子 阅读(294) 评论(0) 推荐(0)
摘要: 转自:https://blog.csdn.net/qq_26803795/article/details/79152808 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续Hbase: 1)hive 跟 hbase 的区别是? 2)HBase 接收数据,如果短时间导入数量过多的话就会 阅读全文
posted @ 2018-08-29 19:51 流氓小伙子 阅读(307) 评论(0) 推荐(0)
摘要: 转自:https://blog.csdn.net/qq_26803795/article/details/79142512 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,下面我们开始Hbase: 1)介绍一下 hbase 过滤器。 HBase为筛选数据提供了一组过滤器,通过这个过滤器可以在 阅读全文
posted @ 2018-08-29 19:49 流氓小伙子 阅读(376) 评论(0) 推荐(0)
摘要: 转自:https://blog.csdn.net/qq_26803795/article/details/79131678 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续HDFS: 1)hdfs原理,以及各个模块的职责 Client:切分文件;访问或通过命令行管理HDFS;与Nam 阅读全文
posted @ 2018-08-29 19:47 流氓小伙子 阅读(413) 评论(0) 推荐(0)
摘要: 转自:https://blog.csdn.net/qq_26803795/article/details/79109240 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们从HDFS开始: 1)如何杀死一个job hadoop job –list ./hadoop job -kill j 阅读全文
posted @ 2018-08-29 19:45 流氓小伙子 阅读(392) 评论(0) 推荐(0)
摘要: spark工作机制,哪些角色,作用。 spark yarn模式下的cluster模式和client模式有什么区别。 阅读全文
posted @ 2018-08-29 19:29 流氓小伙子 阅读(205) 评论(0) 推荐(0)