随笔分类 - Java
摘要：在Intellij Idea中下载开源工程对应的源代码时，可能会出现下载失败问题。 排查思路一般从Maven入手： 1.Maven路径设置是否正确 2.Maven配置中是否注释掉maven-default-http-blocker
阅读全文
摘要：基于Flink进行流计算时，如要需要得到每个窗口的开始、结束、最大时间戳，可以通过TimeWindow对象的如下方法获得： /** * Gets the starting timestamp of the window. This is the first timestamp that belong
阅读全文
摘要：Flink 1.13.1使用log4j.properties定义了jobmanager、taskmanager等的日志输出： # Allows this configuration to be modified at runtime. The file will be checked every 3
阅读全文
摘要：之前使用Flink 1.11.1时，log4j.properties的配置如下： # This affects logging for both user code and Flink rootLogger.level = INFO rootLogger.appenderRef.file.ref =
阅读全文
摘要：一、单元测试 通过Nebula提供的Java Client完成代码开发后，使用JUnit对其进行单元测试，需要注意几点： 1.1 坑 1.Nebula创建图空间是异步实现的，Nebula将在下一个心跳周期内（默认是10s）完成图空间的创建 如果单元测试代码中有动态创建、删除图空间的语句，单元测试结果
阅读全文
摘要：Flink以Standalone模式运行时，可能会发生jobmanager（以下简称jm）或taskmanager（以下简称tm）异常退出的情况，我们可以使用Linux自带的Systemd方式管理jm以及tm的启停，并在jm或tm出现故障时，及时将jm以及tm拉起来。 Flink在1.11版本后，从
阅读全文
摘要：TFS是微软推出的一款研发过程管理利器，C#阵营的VS里做了默认集成，但是对于Java阵营的Intellij IDEA，需要安装插件并进行相应配置才能使用： 1.打开配置 2.搜索并安装插件 3.配置TFS连接 点击版本控制中TFS的“Manage”进行配置： 点击“Add”添加TFS连接，以下红框
阅读全文
摘要：Intellij IDEA中在导航栏打开多个类时，如何快速定位到某个类所在的目录？ 经过研究，可以通过以下设置完成（Intellij IDEA 2019.3）： 设置完成后，点击导航栏中的类，左边的Project导航就可以快速定位到该类所在的目录。
阅读全文
摘要：生产上部署了HDFS 2.7.4，最近遇到了一些异常，记录下来备忘： 一、dfs.datanode.directoryscan.throttle.limit.ms.per.sec DataNode运行一段时间后，报如下异常： 谷歌了一下，发现是一个Bug： https://issues.apache
阅读全文
摘要：基于Flink进行秒级计算时，发现监控图表中CPU有数据中断现象，通过一段时间的跟踪定位，该问题目前已得到有效解决，以下是解决思路： 一、问题现象 以SQL02为例，发现本来10秒一个点的数据，有时会出现断点现象，会少1-2个点甚至更多： 二、问题定位 针对该问题，根据数据处理链路，制定了数据输出跟
阅读全文
摘要：根据一些公开资料整理，也许有失偏颇，仅供参考： 1.第一代 Hadoop 承载的 MapReduce 2.第二代 支持 DAG（有向无环图） 的框架： Tez 、 Oozie，主要还是批处理任务 3.第三代 Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spark
阅读全文
摘要：随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批处理计算，而是更倾向于应用实时流计算，要想在残酷的企业竞争中立于不败之地，企业数据必须被快速处理并输出结果，流计算无疑将是企业Must Have的大杀器。作为充电生态网的领军企
阅读全文
摘要：1.选中类，点击顶部菜单：Run-->Edit Configuration，如下所示： 2.选择Application，指定的类，在右边选择Configuration，并在VM options中输入相应参数，如下所示：
阅读全文
摘要：使用jvisualvm的remote方式监控服务器端jvisualvm时，不是很方便，因此通过local方式，应该是正路。 一、服务器端（Linux，最小安装模式，没有图形界面） 1.安装xauth 如果在Xshell中配置了X11转发后，出现如下提示： 则需要查看/etc/ssh/sshd_con
阅读全文
摘要：使用Java自带的jvisualvm调试Java程序，可以查看CPU、内存、类及线程等信息，还可以进行Dump，无疑是一个利器 由于客户端是Windows、服务端是Linux，并且是最小安装的Linux，没有图形界面，因此需要进行远程调试 一、客户端：Windows 打开%JAVA_HOME%/bi
阅读全文
摘要：一、.proto文件语法高亮显示 需要安装Protobuf Support插件 依次点击Intellij中的“File”-->"Settings"-->"Plugins"-->"Browse repositories"，如下所示： 输入Protobuf，如下所示 安装完后，重启Intellij ID
阅读全文
摘要：如果编译Scala工程时，遇到如下异常： 很可能是工程的scala版本，和依赖的包的版本不一致，这时候需要将工程的版本，调整为和依赖的包的版本一致，以下是解决方案： 1.选中工程，从File中选择Project Structure，如下所示： 或者直接点击右上角的“Project Structure
阅读全文
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 flink-1.3.2-bin-hadoop27-scala_2.11.tgz 2.2 下载地址 http://flink.apache
阅读全文
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 alluxio-1.5.0-hadoop-2.7-bin.tar.gz 2.2 下载地址 http://downloads.alluxi
阅读全文
摘要：一、定义DateTime Message 参考文档：https://github.com/mgravell/protobuf-net/blob/master/src/Tools/bcl.proto DateTime中包含两个属性：value，TimeSpanScale；value为时间值，TimeS
阅读全文
浙公网安备 33010602011771号