会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
艺术派大星
博客园
首页
新随笔
联系
订阅
管理
1
2
3
4
5
···
8
下一页
2021年12月16日
python爬虫
摘要: #查看解析html查找API ####其实我们发现这就是一条json语句 去除头部和尾部就是一条json文件,解析json文件即可 #Scrapy Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy常应用在包括数据挖掘,信息处理或存储历史数据
阅读全文
posted @ 2021-12-16 22:34 艺术派大星
阅读(764)
评论(0)
推荐(0)
2021年12月14日
数据计算和分析
摘要: #一、Numpy(科学计算) ##1、概述 ###1、概念 Numpy 是一个专门用于矩阵化运算、科学计算的开源Python NumPy将Python相当于变成一种免费的更强大的Matlab系统 1、强大的 ndarray 多维数组结构 2、成熟的函数库 3、用于整合C/C++和Fortran代码的
阅读全文
posted @ 2021-12-14 22:31 艺术派大星
阅读(252)
评论(0)
推荐(0)
2021年12月11日
Python3.7.9版本安装和使用
摘要: 链接:https://pan.baidu.com/s/1WJV5bTQ22bCMgsD69k422g 提取码:lycc #python环境安装 ##1、安装python 3.7.9版本 ###安装步骤 ###测试 ####Windows+R 打开dos命令窗口输入cmd测试 如图即为安装完成 ##2
阅读全文
posted @ 2021-12-11 16:57 艺术派大星
阅读(4763)
评论(0)
推荐(0)
2021年12月9日
ETL工具——flume日志采集
摘要: 链接:https://pan.baidu.com/s/1q4Frq77GBDxTw26eY5ADRQ 提取码:lycc #一、Flume简介 ##1、概念 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据 flume的数据流由事
阅读全文
posted @ 2021-12-09 22:37 艺术派大星
阅读(1168)
评论(0)
推荐(0)
2021年12月7日
ETL工具——DataX,FlinkX
摘要: 链接:https://pan.baidu.com/s/1yF5B3gepf_TFboiht2O-3g 提取码:lycc #一、DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS
阅读全文
posted @ 2021-12-07 22:20 艺术派大星
阅读(3572)
评论(2)
推荐(0)
2021年12月6日
ETL工具——sqoop
摘要: 链接:https://pan.baidu.com/s/1PESrpOhFBDl03U8jyTw9bg 提取码:lycc #一、sqoop安装及使用 ##1、上传解压重命名 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/sof
阅读全文
posted @ 2021-12-06 20:00 艺术派大星
阅读(304)
评论(0)
推荐(0)
2021年12月3日
phoenix搭建和使用
摘要: 链接:https://pan.baidu.com/s/18q--vv9xoDaZtb3NPr4Sfw 提取码:lycc #一、phoenix搭建 ##1、关闭hbase集群,在master执行 stop-hbase.sh ##2、上传解压分发 上传 解压 tar -xvf apache-phoeni
阅读全文
posted @ 2021-12-03 14:03 艺术派大星
阅读(568)
评论(0)
推荐(0)
HBase优化
摘要: #一、高可用 #二、预分区 ##建立分区方式 ###1、手动设定预分区 create '表名','列族名',SPLITS=>['1000','2000','3000'] ###2、生成十六进制序列预分区 create '表名','列族名',NUMREGIONS=>15,SPLITLGO=>{'Hex
阅读全文
posted @ 2021-12-03 13:18 艺术派大星
阅读(186)
评论(0)
推荐(0)
2021年11月30日
Hbase java API
摘要: #一、Java查看zookeeper 1、使用idea下载zookeeper插件 2、启动集群 3、开始使用查看 #二、Hbase Java api 1、新建maven项目命名hbase 2、hbase项目pom文件导包 <dependencies> <dependency> <groupId>or
阅读全文
posted @ 2021-11-30 21:52 艺术派大星
阅读(612)
评论(0)
推荐(0)
2021年11月29日
HBase分布式集群搭建和重置
摘要: 链接:https://pan.baidu.com/s/1OZKdUk1rNpqSdxyUvvsHFQ 提取码:lycc #一HBase集群搭建 ##1、集群要求 ###1.1、Hadoop集群搭建 Hadoop-2.7.6版本集群安装与环境配置 ###1.2、hdfs分布式文件系统 ###1.3、z
阅读全文
posted @ 2021-11-29 17:48 艺术派大星
阅读(567)
评论(0)
推荐(0)
1
2
3
4
5
···
8
下一页
公告
levels of contents