摘要：
一、HQL初步试用1、创建一个student表#创建一个student表hive> create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';OKTime taken: 0.028 secondshive> show tables;OKbf_logstudentTime take... 阅读全文
posted @ 2019-04-18 18:25
米兰的小铁將
阅读(252)
评论(0)
推荐(0)
摘要：
一、官网：http://hive.apache.org/下载：http://archive.apache.org/dist/hive/GitHub：https://github.com/apache/hive二、伪分布式部署前提是hadoop环境已经部署好了；我用的之前的hadoop伪分布式环境；1、准备安装包、解压[root@hadoop-senior softwares]# tar zxf a... 阅读全文
posted @ 2019-04-18 17:47
米兰的小铁將
阅读(283)
评论(0)
推荐(0)
摘要：
一、hive是什么由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能；构建在Hadoop之上的数据仓库： 使用HQL作为查询接口； 使用HDFS存储； 使用MapReduce计算；本质是：将HQL转化成MapReduce程序灵活性和扩展性比较好：支持UDF，自定义存储格式... 阅读全文
posted @ 2019-04-18 16:49
米兰的小铁將
阅读(178)
评论(0)
推荐(0)
摘要：
一、日志分析以nginx日志为例；1、日志字段含义：$remote addr客户端的ip地址（如果中间有代理服务器那么这里显示的ip就为代理服务器的ip地址）Sremote user用于记录远程客户端的用户名称（一般为“-”）Stime local用于记录访问时间和时区$request用于记录请求的ur1以及请求方法$status响应状态码Sbody bytes sent给客户端发送的文件主体内容... 阅读全文
posted @ 2019-04-18 15:17
米兰的小铁將
阅读(240)
评论(0)
推荐(0)
摘要：
一、基于HDFS云盘存储系统如：某度网盘优点：*普通的商用机器 内存 磁盘*数据的安全性操作：*put get*rm mv*java api*filesystem核心：*HDFS集群二、极速秒传用户所上传文件的时候，将文件解析成hash码，去文件库中对比，如果有就不用传了(表面上会传)，直接就是极速秒传，然后给用户显示一个指向那个文件的引用；三、hadoop三大发行版本1、Ap... 阅读全文
posted @ 2019-04-18 14:07
米兰的小铁將
阅读(675)
评论(0)
推荐(0)
摘要：
一、ResourceManager HAResourceManager（RM）负责跟踪集群中的资源，以及调度应用程序（例如，MapReduce作业）。在Hadoop 2.4之前，ResourceManager是YARN集群中的单点故障。高可用性功能以Active / Standby ResourceManager对的形式添加冗余，以消除此单点故障。RM故障转移：ResourceManager HA... 阅读全文
posted @ 2019-04-18 13:30
米兰的小铁將
阅读(1069)
评论(0)
推荐(0)
摘要：
一、hdfs federation hdfs federation即hdfs的联邦；可以理解为有多个namenode节点的hdfs集群； HA方案解决的是单点故障问题，而Fdederation解决的是单命名空间问题。 集群的全部元数据都存放在一个名称节点上，当集群足够大的时候，这个名称节点就成了性能 阅读全文
posted @ 2019-04-18 13:00
米兰的小铁將
阅读(206)
评论(0)
推荐(0)
摘要：
一、说明从上一节可看出，虽然搭建好了HA架构，但是只能手动进行active与standby的切换；接下来看一下用zookeeper进行自动故障转移：#在启动HA之后，两个NameNode都是standby状态，可以利用zookeeper的选举功能，选出一个当Active#监控 ZKFC FailoverController二、配置1、hdfs-site.xml#”开启自动转移功能“，加... 阅读全文
posted @ 2019-04-18 10:46
米兰的小铁將
阅读(922)
评论(0)
推荐(0)
摘要：
一、input标签与form表单 Title 说明：#是一个输入标签；表单使用表单标签 来设置，要提交内容必须有标签；# action="http://ip:port/index" ：表示当前表单中的内容提交给哪个页面进行处理； method="post" ：表... 阅读全文
posted @ 2019-04-18 00:50
米兰的小铁將
阅读(438)
评论(0)
推荐(0)
浙公网安备 33010602011771号