2021 年 1月 20 日随笔档案 - 阿邦1027

nginx代理ftp上传下载

摘要：出于安全考虑，使用nginx服务来代理ftp的上传下载功能安装nginx 在/etc/nginx/nginx.conf文件的下面添加如下配置，并在开始位置添加user root，其中ftpIp为ftp服务所在的机器ip，port为ftp服务的端口号 stream{ upstream ftp{ ha 阅读全文

posted @ 2021-01-20 15:21 阿邦1027 阅读(816) 评论(0) 推荐(0)

nifi改造---CsvRecordSetWriter处理器解析时间数据不正确的问题

摘要：当从数据库获取日期时间数据，然后使用CsvRecordSetWriter服务将数据转换为csv数据时，会出现日期时间数据和数据库中的数据不一致的问题查看源码之后发现在日期时间数据转换时，nifi默认使用gmt时区，且没有给显示选择或填写的地方，因此修改/nifi-1.11.4/nifi-commo 阅读全文

posted @ 2021-01-20 11:27 阿邦1027 阅读(396) 评论(0) 推荐(0)

nifi改造---ftp数据获取处理器报找不到home目录的问题

摘要：当ftp的根目录不是机器的一级目录时，如根目录为/home/ftp时，nifi的GetFtp处理器会报找不到home的问题，经过排查源码发现有bug，修改nifi的nifi-standard-bundle/nifi-standard-processors/src/main/java/org/apa 阅读全文

posted @ 2021-01-20 11:20 阿邦1027 阅读(249) 评论(0) 推荐(0)

nifi改造---ftp数据获取数据流卡死的情况

摘要： nifi是apache的顶级开源项目，可以用来做数据流的分发和处理，目前最新版本是1.12.1，但是该项目中存在一些bug，这里记录一下我在使用过程中踩过的坑，给遇到同样问题的同学一点经验。在使用GetFtp处理器获取数据时，有时会遇到数据获取特别慢的情况，经过我查看源码之后，发现可以在nifi- 阅读全文

posted @ 2021-01-20 11:02 阿邦1027 阅读(643) 评论(0) 推荐(0)

kafka集群安装

摘要：这里介绍kafka集群的docker容器化安装下载好kafka.tar安装包在集群机器上安装docker环境，设置为开启自启动将kafka.tar文件拷贝到机器的/opt/kafka目录下使用docker load -i kafka.tar命令将kafka相关镜像导入使用docker ru 阅读全文

posted @ 2021-01-20 10:50 阿邦1027 阅读(115) 评论(0) 推荐(0)

hive使用注意事项

摘要： hive的安装比较简单，百度找一个教程照着来即可，这里将一下安装使用过程中需要注意的点。当使用或开启hive2server时，需要使用beeline进行连接时，要在hadoop的hdfs-site.xml里面添加如下属性 </property> <property> <name>dfs.webhd 阅读全文

posted @ 2021-01-20 09:50 阿邦1027 阅读(99) 评论(0) 推荐(0)

HDFS安装

摘要：以3台linux机器的hdfs集群安装为例，使用hadoop-3.xx版本安装，安装步骤如下在3台机器上安装好java环境，使用java -version测试是否安装成功在三台机器上配置静态IP和主机名的映射，vim /etc/hosts进行修改配置免密码登陆，在主节点上顺序指定以下命令 ss 阅读全文

posted @ 2021-01-20 09:43 阿邦1027 阅读(730) 评论(0) 推荐(0)

2021年1月20日