kpsmile

摘要： mapper.xml文件配置 阅读全文

摘要： BIO实现： Server端： Client端： 1 public class SendRun implements Runnable { 2 3 private DataOutputStream dos = null; 4 private boolean isStop = false; 5 pri 阅读全文

摘要： 转自：https://my.oschina.net/u/553266/blog/3022046 https://blog.csdn.net/ty497122758/article/details/78979302 在高性能的I/O体系设计中，有几个概念常常会使我们感到迷惑不解。具体如下： 1 什么是 阅读全文

摘要： IO流的分类： （1）根据处理单元来分： 字节流：InputStream , OutputStream. 字符流：Reader ，Writer （2）根据流向来分： 输入流：InputStream , Reader 输出流：OutputStream , Writer （3）功能是否直接与数据源/目的 阅读全文

摘要： 如果字符串常量池中不存在“abc”,该语句执行时会先在字符串常量池中创建一个“abc”对象，在执行new语句时在堆去开辟新的空间，创建“abc”字符串，同时栈区会有一个引用s指向堆区的对象，此时如果要算上栈区的引用，共创建3个对象，不算，则创建两个对象。 二:如果字符串常量池中存在“abc”,则只会 阅读全文

摘要： linux脚本为： Java代码为： 阅读全文

摘要： 一、从kafkaBroker获取offset 二、从zookeeper获取offset 三、使用zookeeper管理offset 阅读全文

摘要： 一、receiver模式 1 、receiver模式原理图 2 receiver模式理解： 在SparkStreaming程序运行起来后，Executor中会有receiver tasks接收kafka推送过来的数据。数据会被持久化，默认级别为MEMORY_AND_DISK_SER_2,这个级别也可 阅读全文

摘要： spark Streaming的checkpoint是一个利器，帮助在driver端非代码逻辑错误导致的driver应用失败重启，比如网络，jvm等，当然也仅限于支持自动重启的集群管理器，比如yarn。由于checkpoint信息包含序列化的Scala / Java / Python对象，尝试使用新 阅读全文

摘要： 本测试使用本地文件系统代替HDFS，如需测试HDFS监控请解开注释换成自己的HDFS集群 sparkstreaming只会监控该文件夹下新增的文件，并不会监控到原文件的删除和修改 SparkStreaming On HDFS 代码 1：监控文件夹下新增加的数据并打印到控制台上 代码 2：该代码源源不 阅读全文