摘要： 1、代码如下 package cn.spark.study.core import org.apache.spark.{SparkConf, SparkContext} /** * @author: yangchun * @description: * @date: Created in 2020- 阅读全文

摘要： package cn.spark.study.core; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD 阅读全文

摘要： 1、分布式 2、基于内存 3、迭代式计算 每一批节点上的每一批数据就是一个RDD RDD是spark的核心抽象 1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的 阅读全文

摘要： 1、virtualbox 1、关闭虚拟机选择第一个休眠，会记录各种进程的状态。如果直接关掉虚拟机会关闭各种进程，导致环境崩溃。 2、Centos7 1、修改网络 网卡桥接，配置主机和虚拟机相互pingtong vim /etc/sysconfig/network-scripts/ifcfj-enp0 阅读全文

摘要： 1、scala下载 下载安装包直接安装 2、配置环境变量 path里面添加$SCALA_HOME/bin 3、idea环境配置 直接安装scala插件 4、变量声明 val表示常量,大型系统设计开发时，通常将传递给其他模块的对象设计为不可变。var表示变量 val result = 1+1 存放计算 阅读全文

摘要： 1、Hadoop MapReduce，大数据计算框架,map将数据写入磁盘，然后分发到reduce。只适合处理对处理速度不敏感的大数据计算任务。基于磁盘，大量网络传输。处理过程太死板，必须shuffle HDFS，大数据存储系统 Hive，SQL，大数据查询框架/计算框架 HBase，NOSQL，实 阅读全文

摘要： 1、如何模拟百万连接 sever开启8000-8100端口 client开启1025-65535 统计连接数 package com.xiaofeiyang; import io.netty.channel.ChannelHandlerContext; import io.netty.channel 阅读全文

摘要： 装饰者与被装饰者继承同一个接口 修改被装饰者行为 package com.xiaofeiyang; /** * @author: yangchun * @description: * @date: Created in 2020-04-23 14:48 */ public class Decorat 阅读全文

摘要： 1、FastThreadLocal * @author: yangchun * @description: * @date: Created in 2020-04-23 12:53 */ public class FastThreadLocalTest { private static FastTh 阅读全文

摘要： 1、通过channel调用writeAndFlush方法 2、在pipeline上从tail节点开始往head节点传播write方法，判断是否能处理这个对象，最后会回调到MessageToByteEncode的encode方法，向out里面写入字节流。 匹配对象 分配内存 编码对象 释放对象 传播数 阅读全文