05 2023 档案

RESTFUL的实现-springboot2.0版本
摘要：本文仅仅使用一个示例来说明restful的使用，是以springboot的2.0版本作为基础的。 基于springboot的示例，包含get、post、put和delete，以及使用resttemplate接收json。参数形式可以使用restful，也可以使用形如：url?id=xx，使用方式不同 阅读全文
posted @ 2023-05-12 09:09 一瓢一瓢的饮 阅读(285) 评论(0) 推荐(0)
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-11 16:05 一瓢一瓢的饮 阅读(1051) 评论(0) 推荐(0)
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-11 16:04 一瓢一瓢的饮 阅读(897) 评论(0) 推荐(0)
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-11 16:01 一瓢一瓢的饮 阅读(1139) 评论(0) 推荐(0)
6、NIFI综合应用场景-离线同步Mysql数据到HDFS中
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-11 16:00 一瓢一瓢的饮 阅读(610) 评论(0) 推荐(0)
5、NiFi FileFlow示例和NIFI模板示例
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-11 15:59 一瓢一瓢的饮 阅读(860) 评论(0) 推荐(0)
4、NiFi集群部署及验证、监控及节点管理
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-11 15:55 一瓢一瓢的饮 阅读(1172) 评论(0) 推荐(0)
3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-10 17:23 一瓢一瓢的饮 阅读(636) 评论(0) 推荐(0)
2、NIFI应用示例-GetFile和PutFile应用
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-10 16:38 一瓢一瓢的饮 阅读(607) 评论(0) 推荐(0)
1、nifi-1.9.2介绍、单机部署及简单验证
摘要：Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模 阅读全文
posted @ 2023-05-10 16:37 一瓢一瓢的饮 阅读(1337) 评论(0) 推荐(0)
5、kafka监控工具Kafka-Eagle介绍及使用
摘要：Apache Kafka系列文章 1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kafka分区、副本介绍及示例 5、kafka监控工具Kafka-Eagle介绍及使用 文章目录 Apache Kafka系列 阅读全文
posted @ 2023-05-09 16:09 一瓢一瓢的饮 阅读(780) 评论(0) 推荐(0)
4、kafka分区、副本介绍及示例、高级API与低级API
摘要：Apache Kafka系列文章 1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kafka分区、副本介绍及示例 5、kafka监控工具Kafka-Eagle介绍及使用 文章目录 Apache Kafka系列 阅读全文
posted @ 2023-05-09 16:08 一瓢一瓢的饮 阅读(583) 评论(0) 推荐(0)
3、kafka重要概念介紹及示例
摘要：Apache Kafka系列文章 1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kafka分区、副本介绍及示例 5、kafka监控工具Kafka-Eagle介绍及使用 文章目录 Apache Kafka系列 阅读全文
posted @ 2023-05-09 16:07 一瓢一瓢的饮 阅读(301) 评论(0) 推荐(0)
2、java调用kafka api
摘要：Apache Kafka系列文章 1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kafka分区、副本介绍及示例 5、kafka监控工具Kafka-Eagle介绍及使用 文章目录 Apache Kafka系列 阅读全文
posted @ 2023-05-09 16:07 一瓢一瓢的饮 阅读(479) 评论(0) 推荐(0)
1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试
摘要：Apache Kafka系列文章 1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kafka分区、副本介绍及示例 5、kafka监控工具Kafka-Eagle介绍及使用 文章目录 Apache Kafka系列 阅读全文
posted @ 2023-05-09 16:07 一瓢一瓢的饮 阅读(757) 评论(0) 推荐(0)
3、Sqoop导出(HDFS到RMDB-mysql)
摘要：Apache Sqoop系列文章 1、Apache Sqoop介绍及部署 2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 3、Sqoop导出(HDFS到RMDB-mysql) 4、Sqoop job作业 文章目录 Apache Sqoop系列文章一、Sqoop导出介绍1 阅读全文
posted @ 2023-05-09 10:21 一瓢一瓢的饮 阅读(154) 评论(0) 推荐(0)
4、Sqoop job
摘要：Apache Sqoop系列文章 1、Apache Sqoop介绍及部署 2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 3、Sqoop导出(HDFS到RMDB-mysql) 4、Sqoop job作业 文章目录 Apache Sqoop系列文章一、job 语法二、创建 阅读全文
posted @ 2023-05-09 10:20 一瓢一瓢的饮 阅读(68) 评论(0) 推荐(0)
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
摘要：Apache Sqoop系列文章 1、Apache Sqoop介绍及部署 2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 3、Sqoop导出(HDFS到RMDB-mysql) 4、Sqoop job作业 文章目录 Apache Sqoop系列文章一、Sqoop导入介绍1 阅读全文
posted @ 2023-05-09 10:20 一瓢一瓢的饮 阅读(536) 评论(0) 推荐(0)
1、Apache Sqoop介绍及部署
摘要：Apache Sqoop系列文章 1、Apache Sqoop介绍及部署 2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 3、Sqoop导出(HDFS到RMDB-mysql) 4、Sqoop job作业 文章目录 Apache Sqoop系列文章一、Apache Sqo 阅读全文
posted @ 2023-05-09 10:19 一瓢一瓢的饮 阅读(794) 评论(0) 推荐(0)
5、ETL工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldeng
摘要：DataX3.0系列文章 1、datax3.0部署与验证 2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步 3、oracle相关同步-oracle到hdfs 4、sybase相关同步-sybase到hdfs 5、ETL工具的比较(DataPipeline，Kettle 阅读全文
posted @ 2023-05-06 08:46 一瓢一瓢的饮 阅读(148) 评论(0) 推荐(0)
4、sybase相关同步-sybase通过datax同步到hdfs
摘要：DataX3.0系列文章 1、datax3.0部署与验证 2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步 3、oracle相关同步-oracle到hdfs 4、sybase相关同步-sybase到hdfs 5、ETL工具的比较(DataPipeline，Kettle 阅读全文
posted @ 2023-05-06 08:45 一瓢一瓢的饮 阅读(357) 评论(0) 推荐(0)
2、mysql相关同步-mysql通过datax同步到mysql、mysql和hdfs通过datax相互同步
摘要：DataX3.0系列文章 1、datax3.0部署与验证 2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步 3、oracle相关同步-oracle到hdfs 4、sybase相关同步-sybase到hdfs 5、ETL工具的比较(DataPipeline，Kettle 阅读全文
posted @ 2023-05-06 08:43 一瓢一瓢的饮 阅读(906) 评论(0) 推荐(0)
3、oracle相关同步-oracle通过datax同步到hdfs
摘要：DataX3.0系列文章 1、datax3.0部署与验证 2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步 3、oracle相关同步-oracle到hdfs 4、sybase相关同步-sybase到hdfs 5、ETL工具的比较(DataPipeline，Kettle 阅读全文
posted @ 2023-05-06 08:41 一瓢一瓢的饮 阅读(476) 评论(0) 推荐(0)
1、datax3.0部署与验证
摘要：DataX3.0系列文章 1、datax3.0部署与验证 2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步 3、oracle相关同步-oracle到hdfs 4、sybase相关同步-sybase到hdfs 5、ETL工具的比较(DataPipeline，Kettle 阅读全文
posted @ 2023-05-06 08:40 一瓢一瓢的饮 阅读(331) 评论(0) 推荐(0)
5、ClickHouse查看数据库容量、表的指标、表分区、数据大小等
摘要：ClickHouse系列文章 1、ClickHouse介绍 2、clickhouse安装与简单验证（centos） 3、ClickHouse表引擎-MergeTree引擎 4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用 5、ClickHouse查看数据库容量、 阅读全文
posted @ 2023-05-05 14:51 一瓢一瓢的饮 阅读(2000) 评论(0) 推荐(0)
4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用
摘要：ClickHouse系列文章 1、ClickHouse介绍 2、clickhouse安装与简单验证（centos） 3、ClickHouse表引擎-MergeTree引擎 4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用 5、ClickHouse查看数据库容量、 阅读全文
posted @ 2023-05-05 14:51 一瓢一瓢的饮 阅读(431) 评论(0) 推荐(0)
3、ClickHouse表引擎-MergeTree引擎
摘要：ClickHouse系列文章 1、ClickHouse介绍 2、clickhouse安装与简单验证（centos） 3、ClickHouse表引擎-MergeTree引擎 4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用 5、ClickHouse查看数据库容量、 阅读全文
posted @ 2023-05-05 14:49 一瓢一瓢的饮 阅读(456) 评论(0) 推荐(0)
2、clickhouse安装与简单验证（centos）
摘要：ClickHouse系列文章 1、ClickHouse介绍 2、clickhouse安装与简单验证（centos） 3、ClickHouse表引擎-MergeTree引擎 4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用 5、ClickHouse查看数据库容量、 阅读全文
posted @ 2023-05-05 14:48 一瓢一瓢的饮 阅读(614) 评论(0) 推荐(0)
1、ClickHouse介绍
摘要：ClickHouse系列文章 1、ClickHouse介绍 2、clickhouse安装与简单验证（centos） 3、ClickHouse表引擎-MergeTree引擎 4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用 5、ClickHouse查看数据库容量、 阅读全文
posted @ 2023-05-05 14:46 一瓢一瓢的饮 阅读(164) 评论(0) 推荐(0)
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
摘要：文章目录 9、分别在hive和impala中查询验证结果(比較HDFS存儲三種格式文件的查詢性能textfile、orc、parquet)1）、查詢總條數2）、隨便找一條信息，按照name查詢3）、按照多条件查询4）、按照時間區間查詢5）、兩張表join6）、總結1、文件存儲2、hive查詢與imp 阅读全文
posted @ 2023-05-02 17:59 一瓢一瓢的饮 阅读(184) 评论(0) 推荐(0)
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
摘要：文章目录 一、结论二、三种文件简单介绍1、parquet2、text3、orc 三、需求四、实现步骤五、实现1、创建topic2、写入kafka topic t_kafka_flink_user 1亿条数据1）、pom.xml2)、代码1、bean2、生产者 3）、验证 3、将kafka topic 阅读全文
posted @ 2023-05-02 17:42 一瓢一瓢的饮 阅读(549) 评论(0) 推荐(0)
24、hadoop系列博客文章质量调查
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-02 12:07 一瓢一瓢的饮 阅读(14) 评论(0) 推荐(0)
2、SpringCloud子项目简介
摘要：文章目录 一、spring cloud整体架构二、子项目介绍1、Spring Cloud Config2、Spring Cloud Netflix3、Spring Cloud Bus4、Spring Cloud Consul5、Spring Cloud Security6、Spring Cloud 阅读全文
posted @ 2023-05-02 08:46 一瓢一瓢的饮 阅读(90) 评论(0) 推荐(0)
1、并发测试的几种简单方法
摘要：文章目录 一、AB二、postman1、添加 Collection2、添加要测试的URL3、选中添加的Collection，设置运行时参数4、结果如下 三、JMeter四、代码模拟五、Testng 并发测试1、注解方式2、配置文件方式 本文介绍几种简单的并发测试方法。 本文分为五部分，即ab、pos 阅读全文
posted @ 2023-05-01 18:08 一瓢一瓢的饮 阅读(1360) 评论(0) 推荐(0)
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 17:44 一瓢一瓢的饮 阅读(762) 评论(0) 推荐(0)
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 17:03 一瓢一瓢的饮 阅读(759) 评论(0) 推荐(0)
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 14:54 一瓢一瓢的饮 阅读(931) 评论(0) 推荐(0)
20、MapReduce 工作流介绍
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 14:12 一瓢一瓢的饮 阅读(143) 评论(0) 推荐(0)
19、Join操作map side join 和 reduce side join
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 13:56 一瓢一瓢的饮 阅读(523) 评论(0) 推荐(0)
18、MapReduce的计数器与通过MapReduce读取/写入数据库示例
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 12:04 一瓢一瓢的饮 阅读(150) 评论(0) 推荐(0)
17、MapReduce的分区Partition介绍
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 11:12 一瓢一瓢的饮 阅读(131) 评论(0) 推荐(0)
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 10:53 一瓢一瓢的饮 阅读(234) 评论(0) 推荐(0)
15、MapReduce介绍及wordcount
摘要：Hadoop系列文章目录 1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HD 阅读全文
posted @ 2023-05-01 09:38 一瓢一瓢的饮 阅读(165) 评论(0) 推荐(0)