06 2019 档案

大数据学习第20天
摘要：DDL语句desc formatted psn; create table psn(id int,name string,likes array<string>,address map<string,string>)row format delimitedfields terminated by ' 阅读全文
posted @ 2019-06-28 17:06 lkoooox 阅读(150) 评论(0) 推荐(0)
大数据学习第19天
摘要：hive三种方式区别和搭建Hive中metastore（元数据存储）的三种方式：a)内嵌Derby方式b)Local方式c)Remote方式1.本地模式（derby）这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可<?xml version="1.0"?> <?xml-s 阅读全文
posted @ 2019-06-27 21:34 lkoooox 阅读(103) 评论(0) 推荐(0)
大数据学习第18天
摘要：storm通讯机制初解 Worker间的通信经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信：不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信，St 阅读全文
posted @ 2019-06-26 21:21 lkoooox 阅读(105) 评论(0) 推荐(0)
大数据学习第17天
摘要：1. storm如何保障消息的完全处理？每当spout生成一个tuple元组时,将一个字符串作为锚点传入ack方法并调用ack方法,将该tupleid与ack方法中的64位二进制码进行异或运算,ack方法会在每个bolt处理完tuple元组和生成新的tuple元组时调用ack方法,进行异或运算,当该 阅读全文
posted @ 2019-06-25 21:11 lkoooox 阅读(138) 评论(0) 推荐(0)
大数据学习第16天
摘要：单节点搭建环境准备：Java 6+Python 2.6.6+上传、解压安装包在storm目录中创建logs目录mkdir logs./storm help启动Zookeeper./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &启动Nimbus./bin 阅读全文
posted @ 2019-06-24 21:20 lkoooox 阅读(135) 评论(0) 推荐(0)
大数据学习第15天
摘要：cluster代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。 阅读全文
posted @ 2019-06-21 20:42 lkoooox 阅读(99) 评论(0) 推荐(0)
大数据学习第14天
摘要：redis笔记 String组命令 设置字符串值 set getSET key value [EX seconds] [PX milliseconds] [NX|XX]EX 设置过期时间，秒，等同于SETEX key seconds valuePX 设置过期时间，毫秒，等同于PSETEX key m 阅读全文
posted @ 2019-06-20 20:57 lkoooox 阅读(122) 评论(0) 推荐(0)
大数据学习第13天
摘要：redis学习笔记 伪分布式单节点配置启动sen1.conf port 26379sentinel monitor s1 127.0.0.1 6379 2 sen2.conf port 26380sentinel monitor s1 127.0.0.1 6379 2 sen3.conf port 阅读全文
posted @ 2019-06-20 11:08 lkoooox 阅读(104) 评论(0) 推荐(0)
大数据学习第12天
摘要：package com.bjsxt.mgqq; import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apac 阅读全文
posted @ 2019-06-20 08:41 lkoooox 阅读(118) 评论(0) 推荐(0)
大数据学习第11天
摘要：天气比较代码 package com.bjsxt.weather; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path; 阅读全文
posted @ 2019-06-19 10:03 lkoooox 阅读(139) 评论(0) 推荐(0)
大数据学习第10天
摘要：分布式应用开发，计算向数据移动思路： 1，客户端干了什么 Job 2，框架干了什么 MapTask ReduceTask 3，MR语义： 相同的key作为一组调用一次reduce 相同是由排序保证的 具体的比较方法实现产生不同的排序标准 计算向数据移动（理想状态） 数据本地化读取 public cl 阅读全文
posted @ 2019-06-15 08:54 lkoooox 阅读(177) 评论(0) 推荐(0)
大数据学习第9天
摘要：YARN YARN：Yet Another Resource Negotiator； Hadoop 2.0新引入的资源管理系统，直接从MRv1演化而来的； 核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由 ResourceManager和ApplicationMas 阅读全文
posted @ 2019-06-14 14:30 lkoooox 阅读(131) 评论(0) 推荐(0)
大数据学习第8天
摘要：hadoop高可用配置 hadoop配置官方文档:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html hdfs-site.xml配置明细 dfs.n 阅读全文
posted @ 2019-06-13 09:40 lkoooox 阅读(189) 评论(0) 推荐(0)
大数据学习第6天
摘要：HDFS安装-完全分布式 1、 先决条件 a) 三台机器（以上） b) 每台机器时间一致，相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,并且JDK的环境变量必须配置好。 i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk ii. 配置环境变 阅读全文
posted @ 2019-06-11 20:40 lkoooox 阅读(110) 评论(0) 推荐(0)
大数据学习第5天
摘要：大数据学习第五天 ulimit 查看进程最大文件描述符创建数 -a all详细信息 nginx_config 文件记录 #user nobody ngx_work进程属主 worker_processes 单核进程数 worker_connections 最大连接数 nginx单连接双文件描述符 一 阅读全文
posted @ 2019-06-11 20:35 lkoooox 阅读(226) 评论(0) 推荐(0)
大数据学习第4天
摘要：大数据学习第四天 pstree 查看当前进程结构 source 加载文件 在当前bash . 在当前bash运行脚本 bash 相当于浏览器加cmd chomd +x 把文件变为可执行文件 #! /路径 在文件首行指定运行编译/解释器 不写时默认bash #! 注释的行会在第一次读取时直接运行 yu 阅读全文
posted @ 2019-06-09 17:49 lkoooox 阅读(163) 评论(0) 推荐(0)
大数据学习第3天
摘要：大数据学习第三天 tar 解压gz安装包 -zxvf yum install 软件名 下载软件 rpm 安装rpm文件 -qa 查看所有已安装rpm文件 yum 网络安装 clean all 清除所有缓存文件 makecache 重建依赖关系文件 /etc/yum.repos.d/ 目录中的依赖文件 阅读全文
posted @ 2019-06-05 21:08 lkoooox 阅读(99) 评论(0) 推荐(0)
大数据学习第2天
摘要：linux命令笔记 系统设置类 type 查看命令 获取命令路径 /ELF(二进制文件)/shell builtin(内部命令) 搭配file 查看是内部命令还是外部 搭配man或help查看帮助手册 cd 切换目录 source 重加载文件 man 查看外部命令帮助 man 指令 1:用户命令 2 阅读全文
posted @ 2019-06-04 20:58 lkoooox 阅读(93) 评论(0) 推荐(0)
大数据学习第1天
摘要：大数据学习第一天 Linux系统文件目录初记 /bin:存放ls、rm、mv等常用可执行文件（命令）的地方。 /sbin:存放系统管理常用的程序，如fdisk、mount等命令，与/bin不同的是该目录下存放的程序是root等系统管理员使用的程序。 /boot:用于存放Linux系统内核和加载内核所 阅读全文
posted @ 2019-06-03 20:04 lkoooox 阅读(117) 评论(0) 推荐(0)