08 2023 档案
摘要:[TOC] ## 问题描述 在win10右下角,出现“激活windows 转到“设置”以激活windows“字样,看起来就像水印一样出现在屏幕最顶层的右下角 ## 解决方式 Microsoft Activation Scripts (MAS),是 github 上的一个开源项目,只要输入一条命令就能
阅读全文
摘要:[TOC] ## 1.1 hive出现的原因 FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了hive这门技术,并继续发展成为一个成功的Apache项目(hive是由Facebook开源用于解决海量结构化日志的数据统计)==》广泛应用原因: +
阅读全文
摘要:本文会通过四个方面介绍Hive性能调优,主要包括: √性能调优工具 √设计优化策略 √数据存储优化 √作业优化技巧 ## 1.合并中间表 一个日志文件中,每一行记录,会有很多很多字段,四五十个字段很正常。实际分析中,常常使用少数几个字段将原始的表中数据,依据业务需求提取出要分析的字段,数据放入到对应
阅读全文
摘要:[TOC] ## hadoop 的三大组件和关系 ### 1. HDFS:分布式文件系统 > #### hdfs 的特点和不适用使用场景 >> 1.1 HDFS文件系统可存储超大文件(不适用有大量小文件场景和小量场景,默认块大小是MB,资源浪费) >> 1.2 一次写入,多次读取(不适用多用户更新,
阅读全文

浙公网安备 33010602011771号