10 2021 档案

预备知识-python核心用法常用数据分析库（下）
摘要：2、预备知识-python核心用法常用数据分析库（下） 概述 Python 是当今世界最热门的编程语言，而它最大的应用领域之一就是数据分析。在python众多数据分析工具中，pandas是python中非常常用的数据分析库，在数据分析，机器学习，深度学习等领域经常被使用。使用 Pandas 我们可以 阅读全文
posted @ 2021-10-28 22:22 lmandcc 阅读(307) 评论(0) 推荐(0)
预备知识-python核心用法常用数据分析库
摘要：1、预备知识-python核心用法常用数据分析库（上） 概述 Python 是当今世界最热门的编程语言，而它最大的应用领域之一就是数据分析。在python众多数据分析工具中，pandas是python中非常常用的数据分析库，在数据分析，机器学习，深度学习等领域经常被使用。使用 Pandas 我们可以 阅读全文
posted @ 2021-10-28 22:20 lmandcc 阅读(566) 评论(0) 推荐(1)
Kettle的安装及简单使用
摘要：Kettle的安装及简单使用 目录Kettle的安装及简单使用一、kettle概述二、kettle安装部署和使用Windows下安装案例1：MySQL to MySQL案例2：使用作业执行上述转换，并且额外在表stu2中添加一条数据案例3：将hive表的数据输出到hdfs案例4：读取hdfs文件并将 阅读全文
posted @ 2021-10-24 22:22 lmandcc 阅读(4219) 评论(0) 推荐(1)
Flume的安装及使用
摘要：Flume的安装及使用 Flume的安装 1、上传至虚拟机，并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft alias soft= 阅读全文
posted @ 2021-10-22 21:51 lmandcc 阅读(1049) 评论(0) 推荐(0)
FlinkX的安装与简单使用
摘要：FlinkX的安装与简单使用 FlinkX的安装 安装unzip：yum install unzip 1、上传并解压 unzip flinkx-1.10.zip -d /usr/local/soft/ 2、配置环境变量 3、给bin/flinkx这个文件加上执行权限 chmod a+x flinkx 阅读全文
posted @ 2021-10-21 21:57 lmandcc 阅读(1231) 评论(0) 推荐(0)
DataX的安装及使用
摘要：DataX的安装及使用 DataX的安装 DataX不需要依赖其他服务，直接上传、解压、安装、配置环境变量即可 也可以直接在windows上解压 DataX的使用 stream2stream 编写配置文件stream2stream.json # stream2stream.json { "job": 阅读全文
posted @ 2021-10-21 21:55 lmandcc 阅读(340) 评论(0) 推荐(0)
Sqoop
摘要：SQOOP安装及使用 SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/ 2、修改文件夹名字 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7 阅读全文
posted @ 2021-10-19 20:04 lmandcc 阅读(342) 评论(0) 推荐(0)
Phoenix
摘要：Phoenix Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。 Pho 阅读全文
posted @ 2021-10-14 19:09 lmandcc 阅读(505) 评论(0) 推荐(0)
Jave Hbase API
摘要：Hbase API 类和数据模型的对应关系 HBaseAdmin 类:org.apache.hadoop.hbase.client.HBaseAdmin 作用：提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括：创建表，删 除表，列出表项，使表有效或无效，以及添加或删除表列族成员等。 阅读全文
posted @ 2021-10-12 22:46 lmandcc 阅读(166) 评论(0) 推荐(0)
Hbase Shell
摘要：Hbase Shell 1.创建表 语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>} 创建一个‘table’表，info是它的列簇 2.查看表list 3.查看表详情desc 4.修改表alter 添加指定列簇 alter ' 阅读全文
posted @ 2021-10-11 21:46 lmandcc 阅读(170) 评论(0) 推荐(0)
Hbase的安装及其架构
摘要：1.启动Hadoop start-all.sh 验证http://master:50070 2、启动zookeeper 需要在在三台中分别启动 zkServer.sh start zkServer.sh status 搭建Hbase1、上传解压配置环境变量 tar -xvf hbase-1.4.6- 阅读全文
posted @ 2021-10-11 20:42 lmandcc 阅读(185) 评论(0) 推荐(0)