yanzu

摘要： 虚拟机完美搭建IOS自动化测试环境 一、win系统 1.1 安装虚拟机VM16 如果是macos系统请跳过 详细安装请看压缩包，私信可以提供安装包 1.2 VM解锁macOS 使用的是unlocker 解锁涉及到修改注册列表，会报毒，请先关闭杀毒软件 解锁前需要关闭vmvare程序 同时关闭任务管理 阅读全文

摘要： 假如现在有一个a文件，里面有decision、chehaoduo、credit、eventcode。。。这些数值。 要根据a.txt文件进行循环取出文件里面的数据，并行执行2条数据，用shell 如何实现呢？ #!/bin/bash # 读取a.txt文件中的每一行数据，并使用数组保存 data=( 阅读全文

摘要： 一、控制hive任务中的map数: 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改) 阅读全文

该文被密码保护。 阅读全文

摘要： 1、spark-shell 启动设置动态分区 --executor-memory 16G \ --total-executor-cores 10 \ --executor-cores 10 \ --conf "spark.hadoop.hive.exec.dynamic.partition=true 阅读全文

摘要： CDH集群安装部署 大数据平台软件清单 本文部署的大数据基础平台为CDH,操作系统的版本为CentOS6.8,JDK的版本为1.8，Cloudera Manager与CDH的版本为5.15.1，数据库采用MySQL5.7，JDBC驱动的版本为5.1.40，以上所有软件均为开源版本，具体如下表所示： 阅读全文

摘要： Hbase、Kudu和ClickHouse全视角对比 Hbase、Kudu和ClickHouse横向对比V2.0 前言 Hadoop生态圈的技术繁多。HDFS一直用来保存底层数据，地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一 阅读全文

摘要： 后台运行脚本 执行脚本test.sh:./test.sh 中断脚本test.sh：ctrl+c 在1的基础上将运行中的test.sh，切换到后台并暂停：ctrl+z 执行ctrl+z后，test.sh在后台是暂停状态（stopped）,使用命令：bg number让其在后台开始运行（“number” 阅读全文

摘要： 1，-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args> 选 阅读全文

摘要： 查看所有分区 show partitions 表名; 删除一般会有两种方案 1、直接删除hdfs文件 亲测删除hdfs路径后 查看分区还是能看到此分区 可能会引起其他问题 此方法不建议 2、 使用删除分区命令（推荐） alter table 表名 drop partition (date=20200 阅读全文