• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • YouClaw
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






学无涯，苦做舟

阿邦
 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

01 2021 档案

 
NIFI项目国际化
摘要：1. 背景 由于项目需要，需要对NIFI进行汉化操作，以便于后期的使用，于是在查询资料的基础上决定对NIFI进行国际化的操作，国际化操作的技术有很多，这里选择i18n.properties技术进行。 2. 概述 项目国际化操作的实质是为了让项目可以支持多种语言显示，如可以显示为汉语，英语，韩语等，方 阅读全文
posted @ 2021-01-29 09:11 阿邦1027 阅读(535) 评论(0) 推荐(0)
Oracle创建表空间
摘要：建立表空间并设置为默认表空间（最大32GB） 1. create temporary tablespace test tempfile '/home/oracle/oradata/abc/test.dbf' size 50m autoextend on next 50m maxsize 20480m 阅读全文
posted @ 2021-01-29 08:58 阿邦1027 阅读(102) 评论(0) 推荐(0)
nifi使用详解
摘要：1.从本地获取文件，合并后输出 需要的处理器有获取文件、合并文件、放文件，三者之间的串联关系为“获取文件à合并文件à放文件 获取文件的配置如下图，重点是输入目录的设置，其余的配置根据需求进行配置。 合并文件的配置如下图，重点是压缩文件大小和分界符的配置，其余根据需要进行配置，分隔符策略选择文本，在分 阅读全文
posted @ 2021-01-29 08:54 阿邦1027 阅读(2204) 评论(0) 推荐(0)
java读取大文件
摘要：java一般读取文件时，将文件文内容全部加在到内存，然后读取，但是这种读取方式很明显不适合读取大文件，在进行大文件处理时，考虑到内存有限，采用分次读取的方式。 java分次读取文件内容有三种方式， 1、对文件建立文件字节流，然后接连取出一段内容放到内存中，然后进行读取，效率不高 2、对文件建立文件通 阅读全文
posted @ 2021-01-28 09:38 阿邦1027 阅读(1371) 评论(0) 推荐(0)
java类找不到的问题
摘要：问题： 1.nifi处理器的编写中，添加了新的类，在类里面调用了别的jar包的方法，然后在该类下写main函数进行测试时，程序运行正常，但是将项目打包后，将processor包拷贝到相应的nifi启动的位置，在nifi中运行时出现找不到类的错误。简言之，在main函数中运行正常，打包后找不到类。 解 阅读全文
posted @ 2021-01-28 09:17 阿邦1027 阅读(523) 评论(0) 推荐(0)
avro文件读写
摘要：avro文件是常用的一种文件类型，它跟json文件一样存储了文件的元信息，它可以方便的进行序列化和反序列化。 写avro文件 写avro文件主要包括三步，第一步创建avro文件的schema，第二步创建avro文件的输出，第三步将要写入avro文件的数据按照schema写出去。 1.创建schema 阅读全文
posted @ 2021-01-28 09:09 阿邦1027 阅读(1256) 评论(0) 推荐(0)
构建动态byte数组
摘要：有时候需要构建动态的byte数组去接收数据，比如传入一个inputStream对象，需要返回一个byte数组，这种情况下就需要使用动态byte数组。 实现方式如下：定义一个ByteArrayOutputStream对象，将数据写入其中，最后将其转换为byte数组返回。 PS：之前用的方法是定义一个S 阅读全文
posted @ 2021-01-27 10:58 阿邦1027 阅读(944) 评论(0) 推荐(0)
vSphere Client创建虚拟机
摘要：1.创建虚拟机 2.安装操作系统 3.配置IP，使用vim /etc/sysconfig/network-scripts/ifcfg-eth0 命令编辑，设置ONBOOT=yes，BOOTPROTO=static，IPADDR=192.168.80.251，IPV6INIT=no，NETMASK=2 阅读全文
posted @ 2021-01-27 10:45 阿邦1027 阅读(611) 评论(0) 推荐(0)
如何创建一个nifi处理器
摘要：需求 创建一个nifi处理器，根据自己的业务需求编写处理器的功能，集成到nifi中，进行数据的处理。 网上有很多相关的资料可供参考，但是大家都懂得，跟着网上的做总是会出现这样那样的问题，不是网上讲的不对，而是可能不够全，或者自己的情况与其并不相同，在经过半天的研究之后，终于搞定了这个问题，现将过程记 阅读全文
posted @ 2021-01-27 10:43 阿邦1027 阅读(380) 评论(0) 推荐(0)
深入理解JAVA虚拟机---02---对象进入老年代方法
摘要：对象进行老年代的方法有哪些1.对象需要占用连续的大内存（大于阈值），则直接分配到老年代。2.对象在新生代生成，本身所占内存大于Survivor内存，则在发生GC时，会直接进入老年代。3.对象在新生代生成，本身所占内存小于Survivor内存，则发生GC时，移入Survivor中，之后每熬过一次GC， 阅读全文
posted @ 2021-01-26 10:37 阿邦1027 阅读(264) 评论(0) 推荐(0)
深入理解JAVA虚拟机---01---JVM堆内存回收过程
摘要：JVM堆内存回收（HotSpot） 分为两个大区域：新生代和老年代，一般比例为1:2 新生代使用“复制算法”进行回收，因此新生代分为三个区域：Eden，Survivor1，Survivor2，比例为8:1:1，实现该复制算法的过程为：在Eden和一个Survivor1内存中产生新的对象，然后当这两个 阅读全文
posted @ 2021-01-26 10:34 阿邦1027 阅读(122) 评论(0) 推荐(0)
linux下使用ftp
摘要：使用场景 在linux命令行模式下，需要登录到FTP服务器上获取文件到本地 方法 使用命令ftp ip登录ftp服务器，其中ip为ftp服务器所在的机器ip，按照提示输出账户名和密码即可登录ftp服务器。 使用dir命令查看当前ftp的目录及文件。 使用cd dir命令进入ftp目录。 使用bin命 阅读全文
posted @ 2021-01-25 09:58 阿邦1027 阅读(826) 评论(0) 推荐(0)
windows下验证某个端口是否开放的方法
摘要：使用场景 在windows下验证某个机器上的某个端口（某个服务）是否打开。 方法 使用telnet ip port命令即可，其中ip为机器的ip，port为端口号。 输入完命令后回车，若能进入新窗口则表示端口开放且能连接，否则会提示连接不上。 阅读全文
posted @ 2021-01-25 09:47 阿邦1027 阅读(1368) 评论(0) 推荐(0)
使用bcp命令导出sqlserver数据库
摘要：使用场景 需要将sqlserver数据库中的表数据导出到txt中，或将txt中的数据导入到sqlserver数据库的表中。 方法 使用bcp的命令进行。具体使用方法请百度。 1.进入cmd命令窗口，使用以下命令 bcp table out/in filePath –c –U”sa” –P”12345 阅读全文
posted @ 2021-01-25 09:45 阿邦1027 阅读(296) 评论(0) 推荐(0)
linux下java发送post请求以及安全证书问题
摘要：Linux下Java发送post请求，header为application/x-www-form-urlencoded。 1.添加依赖 <dependency> <groupId>commons-httpclient</groupId> <artifactId>commons-httpclient< 阅读全文
posted @ 2021-01-25 08:53 阿邦1027 阅读(599) 评论(0) 推荐(0)
基于LDAP搭建NIFI集群安全模式
摘要：基于LDAP搭建NIFI集群安全模式 基于ldap搭建nifi集群的安全模式分为三步：搭建nifi集群、配置ldap登陆和用户授权，其中有一些坑，因此将过程记录下来，以备下次使用。 搭建NIFI集群 准备：linux机器3台（centos7）、java jdk1.8+、ldap服务器、nifi工具包 阅读全文
posted @ 2021-01-22 10:17 阿邦1027 阅读(1171) 评论(0) 推荐(0)
Apache Directory Studio创建ldap用户
摘要：本文以创建uid=test,dc=nifi,ou=user为例，说明如何使用Apache Directory Studio去创建ladp用户。 1.打开Apache Directory Studio软件，在左下角有创建新连接的按钮选项，点击之后连接上ldap。 2.此时需要创建顶层目录dc=nifi 阅读全文
posted @ 2021-01-22 08:57 阿邦1027 阅读(1490) 评论(0) 推荐(0)
shell脚本中ssh到其他机器执行命令不生效的问题
摘要：在shell脚本中，通过ssh root@ip “commond”方式执行命令或脚本时，会出现某些命令无法执行或者某些操作无法生效的问题 解决方法：ssh root@ip “source /etc/profile; commond”，在执行命令或脚本前，添加source /etc/profile命令 阅读全文
posted @ 2021-01-21 15:50 阿邦1027 阅读(1425) 评论(0) 推荐(1)
docker常用操作
摘要：删除容器 docker rm 容器id删除镜像 docker rmi 镜像名:tag保存镜像 docker commit 8a1003ab0829 liftoff/gateone:v2.1导出镜像 docker save -o 镜像名 镜像名:tag查看当前镜像状态 docker ps -a导入镜像 阅读全文
posted @ 2021-01-21 15:43 阿邦1027 阅读(65) 评论(0) 推荐(0)
nifi经验交流
摘要：NIFI经验交流 1.如何实现nifi汉化 nifi汉化实质就是将nifi界面上显示的文字改为汉字，主要是包括两部分，界面的汉化和处理器的汉化。为了方便以后nifi国际化的扩展，选择i18n.properties技术进行。 i18n.properties的使用方法很简单，只需要在项目中引用jquer 阅读全文
posted @ 2021-01-21 15:18 阿邦1027 阅读(890) 评论(0) 推荐(0)
nginx代理ftp上传下载
摘要：出于安全考虑，使用nginx服务来代理ftp的上传下载功能 安装nginx 在/etc/nginx/nginx.conf文件的下面添加如下配置，并在开始位置添加user root，其中ftpIp为ftp服务所在的机器ip，port为ftp服务的端口号 stream{ upstream ftp{ ha 阅读全文
posted @ 2021-01-20 15:21 阿邦1027 阅读(826) 评论(0) 推荐(0)
nifi改造---CsvRecordSetWriter处理器解析时间数据不正确的问题
摘要：当从数据库获取日期时间数据，然后使用CsvRecordSetWriter服务将数据转换为csv数据时，会出现日期时间数据和数据库中的数据不一致的问题 查看源码之后发现在日期时间数据转换时，nifi默认使用gmt时区，且没有给显示选择或填写的地方，因此修改/nifi-1.11.4/nifi-commo 阅读全文
posted @ 2021-01-20 11:27 阿邦1027 阅读(407) 评论(0) 推荐(0)
nifi改造---ftp数据获取处理器报找不到home目录的问题
摘要：当ftp的根目录不是机器的一级目录时，如根目录为/home/ftp时，nifi的GetFtp处理器会报找不到home的问题，经过排查源码发现有bug， 修改nifi的nifi-standard-bundle/nifi-standard-processors/src/main/java/org/apa 阅读全文
posted @ 2021-01-20 11:20 阿邦1027 阅读(250) 评论(0) 推荐(0)
nifi改造---ftp数据获取数据流卡死的情况
摘要：nifi是apache的顶级开源项目，可以用来做数据流的分发和处理，目前最新版本是1.12.1，但是该项目中存在一些bug，这里记录一下我在使用过程中踩过的坑，给遇到同样问题的同学一点经验。 在使用GetFtp处理器获取数据时，有时会遇到数据获取特别慢的情况，经过我查看源码之后，发现可以在nifi- 阅读全文
posted @ 2021-01-20 11:02 阿邦1027 阅读(649) 评论(0) 推荐(0)
kafka集群安装
摘要：这里介绍kafka集群的docker容器化安装 下载好kafka.tar安装包 在集群机器上安装docker环境，设置为开启自启动 将kafka.tar文件拷贝到机器的/opt/kafka目录下 使用docker load -i kafka.tar命令将kafka相关镜像导入 使用docker ru 阅读全文
posted @ 2021-01-20 10:50 阿邦1027 阅读(122) 评论(0) 推荐(0)
hive使用注意事项
摘要：hive的安装比较简单，百度找一个教程照着来即可，这里将一下安装使用过程中需要注意的点。 当使用或开启hive2server时，需要使用beeline进行连接时，要在hadoop的hdfs-site.xml里面添加如下属性 </property> <property> <name>dfs.webhd 阅读全文
posted @ 2021-01-20 09:50 阿邦1027 阅读(103) 评论(0) 推荐(0)
HDFS安装
摘要：以3台linux机器的hdfs集群安装为例，使用hadoop-3.xx版本安装，安装步骤如下 在3台机器上安装好java环境，使用java -version测试是否安装成功 在三台机器上配置静态IP和主机名的映射，vim /etc/hosts进行修改 配置免密码登陆，在主节点上顺序指定以下命令 ss 阅读全文
posted @ 2021-01-20 09:43 阿邦1027 阅读(737) 评论(0) 推荐(0)
Cloudera Manager添加主机节点
摘要：为了监控方便，想把研发环境中的主机节点都纳入Cloudera Manager的管理中，这样在遇到问题时可方便的查看主机的硬件资源情况。 添加主机节点有多种方式，由于我是离线工作，所以选择rpm包的方式安装agent，然后添加节点（还有一种部署本地仓库的方式更简单方便，回头有时间整理一下再发出来）。在 阅读全文
posted @ 2021-01-19 17:02 阿邦1027 阅读(839) 评论(0) 推荐(0)