RICH-ATONE

flume到底会丢数据吗？

摘要：什么时候最容易出问题呢？——flush到HDFS的时候组容易出问题 Flume的两套事务流程，确保不丢数据（一下针对FileChannel）： Put事务：可以理解为Source和Channel为一个整体的事务（比如说，source对接kafka，真正到了Channel(Sink? 根据监控来看，应阅读全文

posted @ 2021-04-14 14:50 RICH-ATONE 阅读(564) 评论(0) 推荐(0)

hadoop节点磁盘损坏

摘要：节点是否损坏，可以查看集群web界面，如果损坏，等运维更换为新的磁盘后，需要更新配置；执行如下命令： hdfs dfsadmin -reconfig datanode 192.168.10.231:50010 start 如果上述命令不起作用，更新不了磁盘，则重启hadoop即可；参考：http 阅读全文

posted @ 2021-04-13 18:42 RICH-ATONE 阅读(548) 评论(0) 推荐(0)

CoProcessFunction(双流处理)

摘要：参考： Flink处理函数实战之五：CoProcessFunction(双流处理) 阅读全文

posted @ 2021-04-13 18:14 RICH-ATONE 阅读(156) 评论(0) 推荐(0)

Flink 报错：The generic type parameters of 'Tuple2' are missing. In many cases lambda methods don't provide enough information for automatic type extraction when Java generics are involved

摘要：针对flink中的算子为什么要返回指定的类型，不然的话报错比如(Tuple，KeyBy) 函数的输入i和输出参数的类型map()无需声明，因为它们是Java编译器推断的。有的则使Flink无法自动推断输出类型的类型信息。常见报错信息： org.apache.flink.api.common.fun 阅读全文

posted @ 2021-04-13 10:48 RICH-ATONE 阅读(2478) 评论(0) 推荐(0)

Kafka常用命令

摘要：启动Kafka：/export/servers/zookeeper/bin/zkServer.sh startnohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & 停用阅读全文

posted @ 2021-04-12 10:34 RICH-ATONE 阅读(151) 评论(0) 推荐(0)

java 接口实现和继承关系

摘要： 1.简单的理解为： java中的类和类（包含抽象类）之间是继承（extends）的关系。 java中的类和接口直接为实现（implements）关系。 2.继承和实现的区别： ①接口可以进行多实现（implements）。类直接单继承（extends），继承在java中具有单根性,子类只能继承一个阅读全文

posted @ 2021-04-11 10:17 RICH-ATONE 阅读(1248) 评论(0) 推荐(0)

Hadoop中的DataNode直接宕机(进入安全模式)或者节点再次上线造成副本过多产生的问题

摘要： HDFS如何检测并删除多余副本块查看修复HDFS中丢失的块 &HDFS block丢失过多进入安全模式（safe mode）的解决方法阅读全文

posted @ 2021-04-08 14:13 RICH-ATONE 阅读(347) 评论(0) 推荐(0)

java中的volatile关键字

摘要：参考： https://baijiahao.baidu.com/s?id=1595669808533077617&wfr=spider&for=pc https://www.cnblogs.com/ustc-anmin/p/11434769.html 阅读全文

posted @ 2021-04-07 22:09 RICH-ATONE 阅读(106) 评论(0) 推荐(0)

Java面试题及答案整理（持续更新）

摘要： https://zhuanlan.zhihu.com/p/358925051 阅读全文

posted @ 2021-04-06 18:19 RICH-ATONE 阅读(121) 评论(0) 推荐(0)

java对象 POJO及JavaBean详解

摘要：一、POJO的内在含义是指那些: 1、有一些private的参数作为对象的属性，然后针对每一个参数定义get和set方法访问的接口。 2、没有从任何类继承、也没有实现任何接口，更没有被其它框架侵入的java对象。二、什么是JavaBean： JavaBean是一个遵循特定写法的Java类，它通常具阅读全文

posted @ 2021-04-01 14:04 RICH-ATONE 阅读(405) 评论(0) 推荐(0)