jsqup

摘要： 1.变量 系统变量： 会话变量：仅仅针对于当前会话(连接)有效 全局变量：服务器每次启动将为所有的全局变量赋初始值，针对于所有的会话(连接)有效，但是不能跨重启。 自定义变量： 用户变量 局部变量 2.系统变量 说明：变量由系统提供，不是用户定义，属于服务器层面 使用的语法： 1.查看所有的系统变量 阅读全文

摘要： https://www.nowcoder.com/discuss/837182?source_id=profile_create_nctrack&channel=-1 摘抄自上链接 阅读全文

摘要： 1. 介绍 可以将/dev/null看作"黑洞". 它非常等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到. 然而, /dev/null对命令行和脚本都非常的有用. 2. 1>/dev/null 2>&1的含义 > 代表重定向到哪里，例如：echo "123 阅读全文

摘要： 1.背景 在没有开窗函数之前，我们知道，用了分组之后，查询字段就只能是分组字段和聚合的字段，这带来了极大的不方便； 有时我们查询时需要分组，有需要查询分组的字段，每次都要用到子查询，这样显得sql语句复杂难懂； 给维护代码的人带来了很大的痛苦，然而开窗函数出现了，曙光也来临了。 2.定义 开窗函数与 阅读全文

摘要： 1.mapreduce核心思想 分而治之，先分后和 将一个大的、复杂的工作或任务，拆分成小的任务，并行处理，最终 进行合并 适用于大量复杂的、时效性不高的任务处理场景 Map负责数据拆分map:[k1, v1] → [k2, v2] Reduce负责数据合并 reduce:[k1, (v1, vn. 阅读全文

摘要： = null 判断某个值是否和空相等 is null和is not null 判断某个值为否为空 举例 select e.name, b.bonus from employee e left join bonus b on e.empId = b.empId where b.bonus < 1000 阅读全文

摘要： 1. 什么是Shuffle机制？ 在Hadoop中数据从Map阶段传递给Reduce阶段的过程就叫Shuffle，Shuffle机制是整个MapReduce框架中最核心的部分。 Shuffle翻译成中文的意思为：洗牌、发牌（核心机制：数据分区、排序、缓存) 2. Shuffle的作用范围 一般把数据 阅读全文

摘要： 1.高可用集群搭建 2.准备安装环境 tar -zxvf hadoop-3.1.2.tar.gz mv hadoop-3.1.2 /opt/ cd /opt/hadoop-3.1.2/etc/hadoop/ 3.修改集群环境 vim hadoop-env.sh # 直接在文件的最后添加 export 阅读全文

摘要： Hadoop1.x 组成 由Common(公共模块辅助工具)、HDFS(分布式数据存储)、MapReduce(分布式计算+资源调度)组成 简介 其中HDFS由一个NN和多个DN组成，MapReduce有一个JobTracker和多个TaskTracker组成。 在Hadoop1.0中容易造成单点故障 阅读全文

摘要： 1. 写数据读数据 写数据流程 读数据流程 2. 为什么HDFS不支持存储小文件？ 原因 占用NameNode大量的内存和磁盘来存储文件目录和块信息 读取小文件的寻址时间大于读取小文件内容的时间 解决方案 从根源上解决小文件的产生，如从每小时抽取一次修改为每天抽取一次来积累数据量 合并。写一个MR任 阅读全文