会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
记忆残留
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
8
···
13
下一页
2017年6月27日
hive 表优化
摘要: 一、外部表和内部表的区别 (1)创建表时指定external关键字,就是外部表,不指定external就是内部表 (2)内部表删除后把元数据和数据都删除了,外部表删除后只是删除了元数据,不会删除hdfs上的数据文件 (3)外部表创建表时通过location指定存放表数据的hdfs上的路径,而内部表是
阅读全文
posted @ 2017-06-27 10:45 记忆残留
阅读(1365)
评论(0)
推荐(0)
2017年6月9日
ZooKeeper ACL权限设置
摘要: ZK的节点有5种操作权限:CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限,这5种权限简写为crwda(即:每个单词的首字符缩写)注:这5种权限中,delete是指对子节点的删除权限,其它4种权限指对自身节点的操作权限 身份的认证有4种方式:world:
阅读全文
posted @ 2017-06-09 16:21 记忆残留
阅读(3757)
评论(0)
推荐(0)
2017年5月12日
ambari hdp 集成 impala
摘要: 1.下载ambari-impala-service VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` sudo git clone https://github.com
阅读全文
posted @ 2017-05-12 16:16 记忆残留
阅读(6189)
评论(1)
推荐(0)
2017年3月3日
远程执行命令和文件分发shell脚本
摘要: deploy.conf 文件分发:deploy.sh 远程执行命令:runRemoteCmd.sh 使用示例 将~/.bashrc 分发到所有主机 在zookeeper主机上执行cp -rf /home/hadoop/zkdata/* /home/hadoop/zkdata_upgrade命令
阅读全文
posted @ 2017-03-03 14:39 记忆残留
阅读(2035)
评论(0)
推荐(0)
2017年3月2日
ambari HDFS-HA 回滚
摘要: 命令中的 zwshen86 为 Ambari Server 的机器名(端口默认为 8080),bigdata 为 cluster 名字,STORM 为 Service 的名字。 查看hdfs的信息 主机角色 node01,datanode,journalnode,node02,datanode,jo
阅读全文
posted @ 2017-03-02 15:52 记忆残留
阅读(3343)
评论(2)
推荐(0)
2017年1月10日
bashrc profile的区别
摘要: bashrc与profile的区别 bashrc和profile的差异在于:1. bashrc是在系统启动后就会自动运行。2. profile是在用户登录后才会运行。3. 进行设置后,可运用source bashrc命令更新bashrc,也可运用source profile命令更新profile。P
阅读全文
posted @ 2017-01-10 21:56 记忆残留
阅读(1232)
评论(0)
推荐(0)
cp -rf 提示覆盖解决办法
摘要: cp覆盖时,无论加什么参数-f之类的还是提示是否覆盖,当文件比较少的时候还可以按Y确认,当很多文件的时候就不好说了 方法一:vi ~/.bashrc 把#alias cp='cp -i' 注释掉 source ~/.bashrc 方法二:在命令前面加上 “\” \cp -rf /var/lib/aa
阅读全文
posted @ 2017-01-10 21:31 记忆残留
阅读(10522)
评论(1)
推荐(1)
2016年12月2日
Linux 系统中用户切换(su user与 su - user 的区别)
摘要: 1. Linux系统中用户切换的命令为su,语法为: su [-fmp] [-c command] [-s shell] [--help] [--version] [-] [USER [ARG]] 参数说明 -f , –fast:不必读启动文件(如 csh.cshrc 等),仅用于csh或tcsh两
阅读全文
posted @ 2016-12-02 10:51 记忆残留
阅读(12746)
评论(1)
推荐(1)
2016年11月29日
linux 用户打开进程数和文件数调整
摘要: 1 查看nproc(max user processes)命令 2 修改nproc 临时修改, 重登录或重启后失效: 32768 尝试在 /etc/security/limits.conf 中加入下面的配置: 退出当前用户, 重登录或重启后, 查看发现配置仍然失效. 继续尝试在 /etc/secur
阅读全文
posted @ 2016-11-29 15:15 记忆残留
阅读(4197)
评论(0)
推荐(0)
2016年11月23日
hive sql 语法详解
摘要: Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内
阅读全文
posted @ 2016-11-23 22:43 记忆残留
阅读(2969)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
8
···
13
下一页
公告