K.O的技术博客

摘要： 将博客搬至CSDN 阅读全文

摘要： Spark Streaming 进阶与案例实战 1.带状态的算子: UpdateStateByKey 2.实战：计算到目前位置累积出现的单词个数写入到MySql中 1.create table sql CREATE TABLE ( VARCHAR(50) NOT NULL, INT(11) NOT 阅读全文

摘要： Spark Streaming核心概念与编程 1. 核心概念 StreamingContext Create StreamingContext StreamingContext的构造函数 batch interval 可以根据你的应用程序需求的延迟要求以及集群可用的资源状况来设置 创建Streami 阅读全文

摘要： 分布式日志收集框架Flume 1.业务现状分析 WebServer/ApplicationServer分散在各个机器上 想在大数据平台Hadoop进行统计分析 日志如何收集到Hadoop平台上 解决方案及存在的问题 如何解决我们的数据从其他的server上移动到Hadoop之上？ 1. shell: 阅读全文

摘要： 1. Spark Streaming入门 1. 概述 Spark Streaming is an extension of the core Spark API that enables scalable(Spark Streaming是基于Spark Core的扩展) high throughpu 阅读全文

摘要： 1.环境准备 2.安装Hadoop 1.解压移动 2.配置Hadoop JAVA_HOME 3.配置Hadoop环境变量 4.修改etc/hadoop/core-site.xml 5.修改etc/hadoop/hdfs-site.xml 6.检测localhost是否可以免密登录 7.格式化Name 阅读全文

摘要： security过滤器链检查请求是否有请求信息-主要校验规则UsernamePasswordAuthenticationFilter: 处理表单登录, 请求是否带用户名密码BasicAuthenticationFilter: 是否有Basic码信息, 有会进... 阅读全文

摘要： Spring MVC 对于异步请求处理的两种方式场景: Tomcat对于主线程性能瓶颈，当Tomcat请求并发数过多时，当线程数满时，就会出现请求等待Tomcat处理，这个时候可以使用子线程处理业务逻辑，主线程只是处理返回请求，这样可以大大提高Tomcat的... 阅读全文

摘要： 1.当使用Spring Boot将应用打成jar时，需要读取resources目录下配置文件时，通常使用ClassLoader直接读取，通常建议使用这种方式，直接将xml文件读成流传入 // 加载xml private InputStream l... 阅读全文

摘要： 使用appassembler-maven-plugin 打包自定义目录1.Pom中添加 maven-resources-plugin copy-resources ... 阅读全文