06 2020 档案

（二）Hbase 高可用HA搭建
摘要：一.集群规划 Master Slave1 Slave1 HMaster Y Y N HRegionServer Y Y Y 二.Hbase(Ha) Hbase(Ha)搭建在Hbase分布式搭建基础上更改两个配置文件即可。本身不存在单点故障，HBase集群的高可用性，实际上就是保持NameNode的高 阅读全文
posted @ 2020-06-29 12:00 九五二七_唐伯虎 阅读(256) 评论(0) 推荐(0)
（二）Spark高可用HA搭建
摘要：一.集群规划 Master Slave1 Slave2 Slave3 IP 192.168.2.131 192.168.2.132 192.168.2.133 192.168.2.134 Zookeeper Y Y Y N Master Y Y N N Worker Y Y Y Y 二.搭建Spar 阅读全文
posted @ 2020-06-27 11:34 九五二七_唐伯虎 阅读(175) 评论(0) 推荐(0)
（二）Hadoop高可用HA搭建
摘要：一．集群规划 Master Slave1 Slave2 Slave3 IP 192.168.2.131 192.168.2.132 192.168.2.133 192.168.2.134 namenode Y Y N N datanode Y Y Y Y resourcemanager N N Y 阅读全文
posted @ 2020-06-26 23:41 九五二七_唐伯虎 阅读(214) 评论(0) 推荐(0)
（一）redis搭建
摘要：一.Redis安装方法 1.第一种(安装完整RPM源) 1.安装完整的RPM源(第一种安装的是最新版本) # yum install -y http://rpms.famillecollet.com/enterprise/remi-release-7.rpm 2.在线安装最新版本redis:(网速不 阅读全文
posted @ 2020-06-26 23:27 九五二七_唐伯虎 阅读(206) 评论(0) 推荐(0)
（一）Mongodb全分布式搭建
摘要：一.集群规划 1.1.配置规划 【注意】得部署奇数台。 节点 Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 配置实例 a1\b1\c1\configserver1 a2\b2\c2\configserver2 a3\b 阅读全文
posted @ 2020-06-26 15:42 九五二七_唐伯虎 阅读(372) 评论(0) 推荐(0)
（一）Sqoop搭建
摘要：一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo 阅读全文
posted @ 2020-06-26 15:05 九五二七_唐伯虎 阅读(288) 评论(0) 推荐(0)
（一）hive远程模式搭建
摘要：一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Hadoop版本 2.7.3 2.7.3 2.7.3 Hive版本 2.1. 阅读全文
posted @ 2020-06-26 11:06 九五二七_唐伯虎 阅读(548) 评论(0) 推荐(0)
（一）Hbase 全分布式搭建
摘要：一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo 阅读全文
posted @ 2020-06-26 09:53 九五二七_唐伯虎 阅读(184) 评论(0) 推荐(0)
（一）Spark(spark on yarn 模式)搭建
摘要：一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo 阅读全文
posted @ 2020-06-25 21:31 九五二七_唐伯虎 阅读(295) 评论(0) 推荐(0)
（一）Hadoop全分布式搭建
摘要：一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo 阅读全文
posted @ 2020-06-25 21:26 九五二七_唐伯虎 阅读(205) 评论(0) 推荐(0)
（一）基础配置
摘要：1.基本配置 下载相关工具(3台) # yum install -y vim 下载vi编译器升级版vim 1.1 修改主机名(3台) # hostnamectl set-hostname 结点名 修改主机名永久修改 # vim /etc/sysconfig/network 内添加 NETWORKIN 阅读全文
posted @ 2020-06-25 20:40 九五二七_唐伯虎 阅读(154) 评论(0) 推荐(0)
（一）Zookeeper全分布式搭建
摘要：一.集群规划 Myid 1 2 3 Name Master slave1 slave2 Ip 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3 阅读全文
posted @ 2020-06-25 20:26 九五二七_唐伯虎 阅读(142) 评论(0) 推荐(0)
（三）Scrapy框架
摘要：1.Scrapy框架简介 Scrapy是一个为爬取网站数据、提取结构性数据而设计的应用程序框架，它可以应用在广泛领域：Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。 前面数据采集流程： 阅读全文
posted @ 2020-06-25 15:06 九五二七_唐伯虎 阅读(182) 评论(0) 推荐(0)
（二）反爬机制
摘要：1.反爬机制函数 下面是已定义好的反爬函数一个函数对应一个或N个知识点，相互调用构造调试反爬。 # 1.随机头部 def 随机头部(): from fake_useragent import UserAgent my_headers = { 'User-Agent': UserAgent().ran 阅读全文
posted @ 2020-06-25 15:01 九五二七_唐伯虎 阅读(208) 评论(0) 推荐(0)