行勝於言

摘要： 面试总结： ##1、HDFS小文件 小文件的产生原因 1） 数据本身的特点：比如我们在 HDFS 上存储大量的图片、短视频、短音频等文件，这些文件本身较小，达不到一个block的大小，而且数量众多。 2） MapReduce产生：例如使用查询一张含有海量数据的表，然后存储在另外一张表中，而这个查询只 阅读全文

摘要： 某公司面试题： 1、阐述数据库的三大范式？ 2、Linux 自带的常用命令举例至少20个？ 3、Spark 有哪些聚合类的算子，我们应该尽量避免什么类型的算子？ 4、Hive 和 HBase 的区别？ 5、你了解设计模式吗？写出你知道的设计模式。 6、常见的GC算法有哪些？ 7、kafka 的数据存 阅读全文

摘要： 前言 ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper 的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooK 阅读全文

摘要： 低级到高级：ods - dw - ads 有哪些应用 数据整合 数据仓库 BI 报表 实时大屏展示 数据标签 用户画像 - 脸谱 用户客群分析 个性化推荐 反洗钱 金融风控 ... 阅读全文

摘要： 技术选型：一个优秀的大数据生态组件需要满足这些条件。 阅读全文

摘要： 代码如下： scala> sc.parallelize(Array("a_b","c_d","e_f")).foreach(println) a_b c_d e_f scala> sc.parallelize(Array("a_b","c_d","e_f")).map(string=>{string 阅读全文

摘要： Spark-shell 执行sql查询报错： 20/08/24 15:33:59 WARN metastore.ObjectStore: Failed to get database default, returning NoSuchObjectException 20/08/24 15:34:03 阅读全文

摘要： 原作者：睶先森 原文链接：https://blog.csdn.net/Butterfly_resting/article/details/89668661 面试题： 1、Redis 持久化机制 2、缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 3、热点数据和冷数据是什么 4、Memcach 阅读全文

摘要： Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： 阅读全文

摘要： HDFS读过程 HDFS API 读文件 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStre 阅读全文