记忆残留

摘要： 一、外部表和内部表的区别 (1)创建表时指定external关键字，就是外部表,不指定external就是内部表 (2)内部表删除后把元数据和数据都删除了，外部表删除后只是删除了元数据，不会删除hdfs上的数据文件 (3)外部表创建表时通过location指定存放表数据的hdfs上的路径，而内部表是 阅读全文

摘要： ZK的节点有5种操作权限：CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda(即：每个单词的首字符缩写)注：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限 身份的认证有4种方式：world： 阅读全文

摘要： 1.下载ambari-impala-service VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` sudo git clone https://github.com 阅读全文

摘要： deploy.conf 文件分发:deploy.sh 远程执行命令：runRemoteCmd.sh 使用示例 将~/.bashrc 分发到所有主机 在zookeeper主机上执行cp -rf /home/hadoop/zkdata/* /home/hadoop/zkdata_upgrade命令 阅读全文

摘要： 命令中的 zwshen86 为 Ambari Server 的机器名（端口默认为 8080），bigdata 为 cluster 名字，STORM 为 Service 的名字。 查看hdfs的信息 主机角色 node01,datanode,journalnode,node02,datanode,jo 阅读全文

摘要： bashrc与profile的区别 bashrc和profile的差异在于：1. bashrc是在系统启动后就会自动运行。2. profile是在用户登录后才会运行。3. 进行设置后，可运用source bashrc命令更新bashrc，也可运用source profile命令更新profile。P 阅读全文

摘要： cp覆盖时，无论加什么参数-f之类的还是提示是否覆盖，当文件比较少的时候还可以按Y确认，当很多文件的时候就不好说了 方法一：vi ~/.bashrc 把#alias cp='cp -i' 注释掉 source ~/.bashrc 方法二：在命令前面加上 “\” \cp -rf /var/lib/aa 阅读全文

摘要： 1. Linux系统中用户切换的命令为su，语法为： su [-fmp] [-c command] [-s shell] [--help] [--version] [-] [USER [ARG]] 参数说明 -f ， –fast：不必读启动文件（如 csh.cshrc 等），仅用于csh或tcsh两 阅读全文

摘要： 1 查看nproc(max user processes)命令 2 修改nproc 临时修改, 重登录或重启后失效: 32768 尝试在 /etc/security/limits.conf 中加入下面的配置: 退出当前用户, 重登录或重启后, 查看发现配置仍然失效. 继续尝试在 /etc/secur 阅读全文

摘要： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内 阅读全文