摘要：
一.HDFS命令简介: HDFS命令和Linux系统操作命令有很多相似之处,后面主要讲hadoop fs的常用命令 1. hadoop fs ：适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统 2. hadoop dfs：只能适用于HDFS文件系统 3. hdfs dfs：也只能适用于H 阅读全文
posted @ 2019-07-31 17:39
等木鱼的猫
阅读(147)
评论(0)
推荐(0)
摘要：
1.Shell 既是一种命令语言，又是一种程序设计语言2.Shell 脚本（shell script），是一种为 shell 编写的脚本程序3.shell脚本第一行: #!/bin/sh 4.shell变量: #注意: 变量名和等号之间不能有空格 my_name="Peanut" #使用变量时,在变 阅读全文
posted @ 2019-07-29 17:47
等木鱼的猫
阅读(187)
评论(0)
推荐(0)
摘要：
①把文件夹A复制到文件夹B下 cp -R /home/test/A /home/B把test1路径下的a.txt复制到test2路径下并重命名为b.txt cp /home/test1/a.txt /home/test2/b.txt ②修改文件拥有者: chown user01 hello.txt 阅读全文
posted @ 2019-07-29 17:46
等木鱼的猫
阅读(168)
评论(0)
推荐(0)
摘要：
(一).hive基本介绍 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能 其他知识: DML(data manipulation language)数据操控语言 常用的select,update,insert,delete;主要用来对数 阅读全文
posted @ 2019-07-29 17:34
等木鱼的猫
阅读(146)
评论(0)
推荐(0)
摘要：
NoSQL(Not Only SQL):泛指非关系型数据库 CAP定理: Consistency(一致性), 数据一致更新，所有数据变动都是同步的; Availability(可用性), 好的响应性能; Partition tolerance(分区容错性) 可靠性;定理：任何分布式系统只可同时满足二 阅读全文
posted @ 2019-07-29 17:31
等木鱼的猫
阅读(151)
评论(0)
推荐(0)
摘要：
(一).Hbase基本介绍 1.hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统 2.hbase特点: HBase中的存储一切皆是字节 HBase的RowKey会按照字节顺序排序，并且添加索引 HBase会按照row数量自动切割成Region，保持负载均衡与 阅读全文
posted @ 2019-07-29 17:10
等木鱼的猫
阅读(192)
评论(0)
推荐(0)
摘要：
(1).三者区别和联系 DataFrame: DataFrame是以rdd为基础的分布式数据集，类似于传统数据库的二维表格，带有schema的元数据，即相当于二维表格的每一列都有列名和类型，基于次对于dataFrame的操作更有正对性， 优点：引入了Schema,用于管理数据类型 Datafram中 阅读全文
posted @ 2019-07-29 17:06
等木鱼的猫
阅读(475)
评论(0)
推荐(1)
摘要：
#######################################################Ctrl+Alt+T：生成try catchCtrl+N：查找类(enter class name)；Ctrl+shift+N：查找文件(enter file name)；Ctrl+shif 阅读全文
posted @ 2019-07-09 19:35
等木鱼的猫
阅读(244)
评论(0)
推荐(0)
摘要：
1.需要加上转义字符java.util.regex.PatternSyntaxException: Unclosed character class near index 0java.util.regex.PatternSyntaxException: Unexpected internal err 阅读全文
posted @ 2019-07-09 19:33
等木鱼的猫
阅读(252)
评论(0)
推荐(0)
摘要：
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch 阅读全文
posted @ 2019-07-09 19:31
等木鱼的猫
阅读(813)
评论(0)
推荐(0)
浙公网安备 33010602011771号