业余砖家

摘要： 1. 简介 Apache Hudi(简称：Hudi)允许您在现有的hadoop兼容存储之上存储大量数据，同时提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。 这两种原语分别是: 1）Update/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Dele 阅读全文

摘要： 1.HBase是什么？ 1) HBase是一个分布式的基于列式存储的数据库，基于Hadoop的hdfs存储，zookeeper进行管理。 2) HBase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。 3) HBase为null的记录不会被存储。 4 阅读全文

摘要： 1、简答说一下hadoop的map-reduce编程模型 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-val 阅读全文

摘要： Spark Core面试篇01 一、简答题 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，D 阅读全文

摘要： 1．前言 Hive的分区和分桶都是细化数据管理，加快数据查询和分析，两者有什么区别呢？下面讲解一下分区和分桶的原理。 2．分区 （1）分区原理 Hive的分区表可以有一个或多个分区键，用于确定数据的存储方式。分区（除了作为存储单元）还允许用户有效地识别满足指定条件的数据，显著加快查询分析速度。分区字 阅读全文

摘要： 1、Hadoop集群的最主要瓶颈 磁盘IO 2、Hadoop三大组件 (1)、HDFS HDFS(Hadoop Distributed File System)是 Hadoop 项目的核心子项目，主要负责集群数据的存储与读取，HDFS 是一个主/从(Master/Slave) 体系结构的分布式文件系 阅读全文

摘要： MySQL 报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket 一、错误现场还原： 下面我们通过三种方式来连接，然后观察提示的错误信息： 1、直接使用“mysql”命令，不带主机名参数； 2、使用带了主机 阅读全文

摘要： 1、安装wxauto和pyautogui库，pip安装即可。 pip install wxauto pip install pyautogui 2、登录电脑微信客户端 这里有两个注意点：（1）不能将客户端最小化。（2）不能将客户端缩小到后台运行的小菜单。 3、编写代码 #!/usr/bin/env 阅读全文

摘要： 1．Shell （1）Shell 脚本是什么？ 一个 Shell 脚本是一个文本文件，包含一个或多个命令。作为系统管理员，我们经常需要使用多个命令来完成一项任务，我们可以添加这些所有命令在一个文本文件(Shell 脚本)来完成这些日常工作任务。 （2）什么是默认登录 Shell ？ 在 Linux 阅读全文

摘要： 一、open 函数语法 open() 函数的作用是打开一个文件，并返回一个 file对象(即文件对象)。 open 是一个动作，可以理解为我们打开文档的点击动作。 file 对象是一个实物，可以理解为我们打开的具体文档，例如记事本、表格、Word 或其他具体的文档。 open() 函数的语法为： f 阅读全文