摘要: 1.hbase的特点是什么? 答:1)hbase是一个分布式的,基于列式存储的数据库,基于hadoop的hdfs存储,zookeeper进行管理。 2)hbase 适合存储半结构化或非结构化的数据,对于数据结构字段不够确定或者杂乱无章很难按照一个概念去抽取的数据。 3)hbase为null的数据不会 阅读全文
posted @ 2019-12-04 10:27 玩转大数据 阅读(1015) 评论(0) 推荐(1)
摘要: 1、Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管理;(也就是说对存储在HDFS中的数据进行分析和管理,我们不想使用手工,我们建立一个工具把,那么这个工具就可以是hive) 2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED 阅读全文
posted @ 2019-12-04 10:22 玩转大数据 阅读(229) 评论(0) 推荐(0)
摘要: (1)列出HDFS下的文件 hadoop dfs -ls <目录> (2)上传文件 将Linux系统本地文件上传到HDFS中 hadoop dfs -put <本地文件> <HDFS文件> (3)下载文件 将HDFS 中的文件下载到Linux系统本地目录 hadoop dfs -get <HDFS文 阅读全文
posted @ 2019-12-03 21:03 玩转大数据 阅读(312) 评论(0) 推荐(0)
摘要: 1.点击更改适配器选项 2.右击以太网--点击属性--共享--选择要共享的网卡 3.修改 ifcfg-eth0文件 vim /etc/sysconfig/network-scripts/ifcfg-eth0 注意:GATEWAY写的是本机的vmnet1的ip IPADDR写的是虚拟机的ip 4.重启 阅读全文
posted @ 2019-12-03 20:22 玩转大数据 阅读(1346) 评论(0) 推荐(0)
摘要: gzip,bzip2,lzo,snappy是hadoop中比较常见的文件压缩格式,可以节省很多硬盘存储,以下是Gzip , BZip2 , Lzo Snappy 四种方式的优缺点 和使用场景 Gzip 优点: 1.压缩解压速度快 , 压缩率高 , hadoop本身支持 2.处理压缩文件时方便 , 和 阅读全文
posted @ 2019-11-28 20:40 玩转大数据 阅读(1834) 评论(0) 推荐(0)
摘要: cat cat(英文全拼:concatenate)命令用于连接文件并打印到标准输出设备上。 使用权限 所有使用者 语法格式 cat [-AbeEnstTuv] [--help] [--version] fileName 参数说明: -n 或 --number:由 1 开始对所有输出的行数编号。 -b 阅读全文
posted @ 2019-11-28 19:53 玩转大数据 阅读(731) 评论(0) 推荐(0)
摘要: netstat命令用于显示与IP、TCP、UDP和ICMP协议相关的统计数据,一般用于检验本机各端口的网络连接情况。netstat是在内核中访问网络及相关信息的程序,它能提供TCP连接,TCP和UDP监听,进程内存管理的相关报告。 netstat常用命令参数 1 2 3 4 5 6 7 8 9 10 阅读全文
posted @ 2019-11-28 19:14 玩转大数据 阅读(561) 评论(0) 推荐(0)
摘要: 问题症状修改 linux 内核文件#vi /etc/sysctl.conf后执行sysctl -P 报错error: "net.bridge.bridge-nf-call-ip6tables" is an unknown keyerror: "net.bridge.bridge-nf-call-ip 阅读全文
posted @ 2019-11-27 16:09 玩转大数据 阅读(777) 评论(0) 推荐(0)
摘要: 一、用户切换 "$":普通用户提示符 "#":root用户提示符 1.普通用户到root: 方式一:命令:su然后输入root密码 此种方式只是切换了root身份,但Shell环境仍是普通用户的Shell,pwd命令一下,目录仍然是普通用户的工作目录。 方式二:命令:su -然后输入root密码 此 阅读全文
posted @ 2019-11-25 17:22 玩转大数据 阅读(7458) 评论(0) 推荐(0)
摘要: SELECT * FROM emp ORDER BY sal DESC LIMIT 1 OFFSET 1 limit x offset y :表示从第y行开始查询(不包括第y行),查询出x条记录 阅读全文
posted @ 2019-11-21 19:58 玩转大数据 阅读(476) 评论(0) 推荐(0)