06 2017 档案

Hive 元数据库表信息
摘要：Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。 1. 版本表 i) VERSION -- 查询版本信息 2. 数据库、文件存储相关 i) DBS -- 存储Hive中所有数据库的基本信息 ii) SDS -- 存储Hive中文件存储的基本信息 3. 表、视图相 阅读全文
posted @ 2017-06-30 20:16 Kimbo 阅读(5697) 评论(0) 推荐(0)
Hive 表结构操作
摘要：添加列 add columns alter table table_name add columns (id int comment '主键ID' ) ; 默认在表所有字段之后，分区字段之前。 替换列 replace columns ,会替换所有列，慎用 alter table table_name 阅读全文
posted @ 2017-06-22 17:39 Kimbo 阅读(2093) 评论(0) 推荐(0)
Hive 导入、导出数据
摘要：< 导入 > 从本地目录文件导入Hive表 语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOCAL : 区 阅读全文
posted @ 2017-06-22 16:43 Kimbo 阅读(585) 评论(0) 推荐(0)
mysql 命令行参数说明
摘要：mysql --help -h : 主机名 -u : 用户名 -p : 密码 -P : 端口，不写默认(3306) -D :指定数据库（一般不指定） -e :查询语句 --column-names :打印列名，默认是。 -N, --skip-column-names : 不打印列名 -s, --si 阅读全文
posted @ 2017-06-22 16:22 Kimbo 阅读(659) 评论(0) 推荐(0)
mysql 查看表信息
摘要：desc 表名; 查看表结构信息 show create table 表名; 查询建表详细信息 select COLUMN_NAME,COLUMN_TYPE,COLUMN_COMMENT from information_schema.columns where table_name='表名'; 查 阅读全文
posted @ 2017-06-22 16:03 Kimbo 阅读(722) 评论(0) 推荐(0)
shell 数组操作
摘要：1. 定义数组： var_array=(one two three four five) 2.常用操作 获取数组长度： ${#var_array[@]} 获取所有数组元素： ${var_array[@]} or ${var_array[*]} 获取第一个数组元素：${var_array[0]} 数组 阅读全文
posted @ 2017-06-20 17:20 Kimbo 阅读(413) 评论(0) 推荐(0)
shell awk命令
摘要：语法： awk '{command}' filename 多个命令以分号分隔。 awk 'BEGIN {command1} {command2} END{command3}' 注意：BEGIN ,END 需要大写 常用变量说明： FS : 指定分隔符，默认是空格和tab 。 也可以简写 -F ";" 阅读全文
posted @ 2017-06-20 15:29 Kimbo 阅读(8890) 评论(0) 推荐(0)
shell read
摘要：#!/bin/bash read -p "Enter your account:" acct #提示用户输入用户名read -s -p "Enter your password:" passwd #提示用户输入密码，密码不显示echo #输出回车echo "$acct"echo $passwd #读 阅读全文
posted @ 2017-06-13 20:34 Kimbo 阅读(297) 评论(0) 推荐(0)
shell sed 命令
摘要：sed：Stream Editor文本流编辑,可以处理多个文件多行的内容。 格式：sed [选项]... {脚本(如果没有其他脚本)} [输入文件]... 选项参数： -n ：只打印模式匹配的行 -e ：直接在命令行模式上编辑，此为默认选项 -f ：文件操作，用 –f filename 执行file 阅读全文
posted @ 2017-06-13 20:20 Kimbo 阅读(1029) 评论(0) 推荐(0)
Linux cut 命令
摘要：含义： 根据分隔符，按列切分文件 语法格式：cut [选项]... [文件]... -c, --characters 按照字符 -f, --fields 按照列 -d, --delimiter 指定分隔符,默认是制表符(\t) 例子：查看文件内容 cat kimbo_test.txt 结果： 阅读全文
posted @ 2017-06-13 19:34 Kimbo 阅读(653) 评论(0) 推荐(0)
Linux grep 命令大全
摘要：grep: 用于模糊查找，在标准输入或者文件中 格式: grep [选项参数]... PATTERN |FILE ... 选项参数说明： -E, --extended-regexp PATTERN 是一个可扩展的正则表达式-e, --regexp=PATTERN 用 PATTERN 来进行匹配操作- 阅读全文
posted @ 2017-06-13 17:35 Kimbo 阅读(668) 评论(0) 推荐(0)
Linux find 命令大全
摘要：find 含义： 顾名思义，是从来查找满足条件的内容。 从指定目录，递归的查找满足条件的内容。 格式： find [查询目录] [参数] [匹配方式] -name : 查找文件名 ( find . -name "*.txt" ) -- 查询当前目录及子目录下，已txt结尾的文件 -type : 查找 阅读全文
posted @ 2017-06-13 16:22 Kimbo 阅读(1237) 评论(0) 推荐(0)