随笔分类 -  大数据

HDFS的数据导入工具
摘要：基于spark将关系型数据库数据导入hdfs,支持增量追加导入、覆盖导入和去重导入 package com.shenyuchong; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem 阅读全文
posted @ 2019-10-05 14:15 shenyuchong 阅读(1109) 评论(0) 推荐(0)
采集文件到kafka
摘要：采集指定目录下文本数据到kafka 配置文件编写customer2kafka.conf maven打包执行: pom.xml 阅读全文
posted @ 2019-09-03 17:49 shenyuchong 阅读(1120) 评论(0) 推荐(0)
sparksql查询excel
摘要：Spark官网下载Spark Spark下载,版本随意,下载后解压放入bigdata下(目录可以更改) 下载Windows下Hadoop所需文件winutils.exe 同学们自己网上找找吧，这里就不上传了，其实该文件可有可无，报错也不影响Spark运行，强迫症可以下载，本人就有强迫症~~,文件下载 阅读全文
posted @ 2019-01-19 14:46 shenyuchong 阅读(3839) 评论(0) 推荐(0)