摘要：
#查看解析html查找API ####其实我们发现这就是一条json语句 去除头部和尾部就是一条json文件，解析json文件即可 #Scrapy Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy常应用在包括数据挖掘，信息处理或存储历史数据 阅读全文
摘要：
#一、Numpy（科学计算） ##1、概述 ###1、概念 Numpy 是一个专门用于矩阵化运算、科学计算的开源Python NumPy将Python相当于变成一种免费的更强大的Matlab系统 1、强大的 ndarray 多维数组结构 2、成熟的函数库 3、用于整合C/C++和Fortran代码的 阅读全文
摘要：
链接：https://pan.baidu.com/s/1WJV5bTQ22bCMgsD69k422g 提取码：lycc #python环境安装 ##1、安装python 3.7.9版本 ###安装步骤 ###测试 ####Windows+R 打开dos命令窗口输入cmd测试 如图即为安装完成 ##2 阅读全文
摘要：
链接：https://pan.baidu.com/s/1q4Frq77GBDxTw26eY5ADRQ 提取码：lycc #一、Flume简介 ##1、概念 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据 flume的数据流由事 阅读全文
摘要：
链接：https://pan.baidu.com/s/1yF5B3gepf_TFboiht2O-3g 提取码：lycc #一、DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS 阅读全文
摘要：
链接：https://pan.baidu.com/s/1PESrpOhFBDl03U8jyTw9bg 提取码：lycc #一、sqoop安装及使用 ##1、上传解压重命名 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/sof 阅读全文
摘要：
链接：https://pan.baidu.com/s/18q--vv9xoDaZtb3NPr4Sfw 提取码：lycc #一、phoenix搭建 ##1、关闭hbase集群，在master执行 stop-hbase.sh ##2、上传解压分发 上传 解压 tar -xvf apache-phoeni 阅读全文
摘要：
#一、高可用 #二、预分区 ##建立分区方式 ###1、手动设定预分区 create '表名','列族名',SPLITS=>['1000','2000','3000'] ###2、生成十六进制序列预分区 create '表名','列族名',NUMREGIONS=>15,SPLITLGO=>{'Hex 阅读全文
摘要：
#一、Java查看zookeeper 1、使用idea下载zookeeper插件 2、启动集群 3、开始使用查看 #二、Hbase Java api 1、新建maven项目命名hbase 2、hbase项目pom文件导包 <dependencies> <dependency> <groupId>or 阅读全文
摘要：
链接：https://pan.baidu.com/s/1OZKdUk1rNpqSdxyUvvsHFQ 提取码：lycc #一HBase集群搭建 ##1、集群要求 ###1.1、Hadoop集群搭建 Hadoop-2.7.6版本集群安装与环境配置 ###1.2、hdfs分布式文件系统 ###1.3、z 阅读全文