摘要：问题： SparkStreaming 流式流式任务总是异常退出，看过worker的日志后发现再爬取一个二进制文件时会出现堆内存溢出的问题，将该文件下载下来后发现该文件的大小只有8m左右，我们的任务设置的worker内存为3G,正常来说是不会导致内存溢出的。网络爬虫的框架使用的是webmagic，于是 阅读全文

摘要：来源与尼恩的《Java高并发核心卷》 同步阻塞io 阻塞与非阻塞： 阻塞是指需要内核io彻底执行完毕后才返回到用户空间执行用户程序的指令，阻塞是指用户程序的运行状态。 同步与异步： 同步io是指用户空间主动发起io请求的一方，内核系统是接收方；相反的异步io是指，系统的内核空间是主动的发起io请求的 阅读全文

摘要：一句话概述 Java Nio 可以做到用一个线程处理多个网络请求。假设有1000个请求过来，根据实际的情况可以分配20或者80个线程进行处理，不必像阻塞io那样需要启动1000个线程进行处理。 基本介绍 Nio与Io 有着相同的作用与目的，但是使用方式完全不同，Nio支持面向缓冲区、基于通道的Io操 阅读全文