摘要： 基于LDAP搭建NIFI集群安全模式 基于ldap搭建nifi集群的安全模式分为三步：搭建nifi集群、配置ldap登陆和用户授权，其中有一些坑，因此将过程记录下来，以备下次使用。 搭建NIFI集群 准备：linux机器3台（centos7）、java jdk1.8+、ldap服务器、nifi工具包 阅读全文

摘要： 本文以创建uid=test,dc=nifi,ou=user为例，说明如何使用Apache Directory Studio去创建ladp用户。 1.打开Apache Directory Studio软件，在左下角有创建新连接的按钮选项，点击之后连接上ldap。 2.此时需要创建顶层目录dc=nifi 阅读全文

摘要： 在shell脚本中，通过ssh root@ip “commond”方式执行命令或脚本时，会出现某些命令无法执行或者某些操作无法生效的问题 解决方法：ssh root@ip “source /etc/profile; commond”，在执行命令或脚本前，添加source /etc/profile命令 阅读全文

摘要： 删除容器 docker rm 容器id删除镜像 docker rmi 镜像名:tag保存镜像 docker commit 8a1003ab0829 liftoff/gateone:v2.1导出镜像 docker save -o 镜像名 镜像名:tag查看当前镜像状态 docker ps -a导入镜像 阅读全文

摘要： NIFI经验交流 1.如何实现nifi汉化 nifi汉化实质就是将nifi界面上显示的文字改为汉字，主要是包括两部分，界面的汉化和处理器的汉化。为了方便以后nifi国际化的扩展，选择i18n.properties技术进行。 i18n.properties的使用方法很简单，只需要在项目中引用jquer 阅读全文

摘要： 出于安全考虑，使用nginx服务来代理ftp的上传下载功能 安装nginx 在/etc/nginx/nginx.conf文件的下面添加如下配置，并在开始位置添加user root，其中ftpIp为ftp服务所在的机器ip，port为ftp服务的端口号 stream{ upstream ftp{ ha 阅读全文

摘要： 当从数据库获取日期时间数据，然后使用CsvRecordSetWriter服务将数据转换为csv数据时，会出现日期时间数据和数据库中的数据不一致的问题 查看源码之后发现在日期时间数据转换时，nifi默认使用gmt时区，且没有给显示选择或填写的地方，因此修改/nifi-1.11.4/nifi-commo 阅读全文

摘要： 当ftp的根目录不是机器的一级目录时，如根目录为/home/ftp时，nifi的GetFtp处理器会报找不到home的问题，经过排查源码发现有bug， 修改nifi的nifi-standard-bundle/nifi-standard-processors/src/main/java/org/apa 阅读全文

摘要： nifi是apache的顶级开源项目，可以用来做数据流的分发和处理，目前最新版本是1.12.1，但是该项目中存在一些bug，这里记录一下我在使用过程中踩过的坑，给遇到同样问题的同学一点经验。 在使用GetFtp处理器获取数据时，有时会遇到数据获取特别慢的情况，经过我查看源码之后，发现可以在nifi- 阅读全文

摘要： 这里介绍kafka集群的docker容器化安装 下载好kafka.tar安装包 在集群机器上安装docker环境，设置为开启自启动 将kafka.tar文件拷贝到机器的/opt/kafka目录下 使用docker load -i kafka.tar命令将kafka相关镜像导入 使用docker ru 阅读全文