摘要： #!/bin/bash function check(){ echo "$1" return 100 } r=$(check $1) echo "$r" d=$(check) echo "$?" 主要有两种办法接收返回值：return echo 这里要注意$?返回上一条语句执行的结果，正常的命令来说 阅读全文

摘要： 一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义 阅读全文

摘要： Spark On Yarn的优势 每个Spark executor作为一个YARN容器(container)运行。Spark可以使得多个Tasks在同一个容器(container)里面运行 1. Spark支持资源动态共享，运行于Yarn的框架都共享一个集中配置好的资源池 2. 可以很方便的利用Ya 阅读全文

摘要： 在网上查了很多资料，每一个真正解决问题的，但多少算贴点边吧，也有可能不是每个人都像我一样粗心大意 我们都知道hadoop需要配置代理用户，在配置文件core-site.xml里，这个文件配置完一定要分发到集群，不然就会出现root not allow to impersonate root 这种魔幻 阅读全文

摘要： 一、什么是ZooKeeper 从上面我们也可以发现，好像哪都有ZooKeeper的身影，那什么是ZooKeeper呢？我们先去官网看看介绍： 官网还有另一段话： ZooKeeper: A Distributed Coordination Service for Distributed Applica 阅读全文

摘要： 如一个金融系统，当某个操作员读取用户的数据，并在读出的用户数据的基础上进行修改时（如更改用户帐户余额），如果采用悲观锁机制，也就意味着整个操作过 程中（从操作员读出数据、开始修改直至提交修改结果的全过程，甚至还包括操作 员中途去煮咖啡的时间），数据库记录始终处于加锁状态，可以想见，如果面对几百上千个 阅读全文

摘要： 行式存储VS 列式存储 行式存储 传统的数据库是关系型的，且是按行来存储的。如下图 行式存储示意图 观察上图，我们不难发现：因为每个人学历不一样的原因，只有张三一个人将整行数据都填满了，李四、王五、赵六的数据都没有将对应的行填满。因为这里的行结构是固定的，每一行都一样，即使你不用，也必须空到那里，而 阅读全文

摘要： 不配置这个找不到MRAppMaster类，所以报错了 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property> <na 阅读全文

摘要： CentOS 8操作系统上安装MySQL 8.0，可从默认的CentOS 8存储库中安装最新版本的MySQL数据库服务器8.0版(首先先确保我们一定要有网的情况下安装)（1）通过以root用户使用CentOS软件包管理器来安装MySQL 8.0服务器： sudo dnf install @mysql 阅读全文

摘要： DEVICE 接口名（设备,网卡）USERCTL [yes|no]（非root用户是否可以控制该设备）BOOTPROTO IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）HWADDR MAC地址 ONBOOT 系统启动的时 阅读全文