前进的小蜗牛

摘要： 模块和组件 从逻辑的角度来拆分系统后，得到的单元就是“模块”； 从物理的角度来拆分系统后，得到的单元就是“组件”。 划分模块的主要目的是职责分离； 划分组件的主要目的是单元复用。 框架和架构 软件框架（Software framework）通常指的是为了实现某个业界标准或完成特定基础任务的软件组件规 阅读全文

摘要： APP、前后端分离项目都采用API接口形式与服务器进行数据通信，传输的数据被偷窥、被抓包、被伪造时有发生，那么如何设计一套比较安全的API接口方案呢？ 一般的解决方案如下： Token授权认证，防止未授权用户获取数据； 时间戳超时机制； URL签名，防止请求参数被篡改； 防重放，防止接口被第二次请求 阅读全文

摘要： 1. 什么是 Azkaban Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job 阅读全文

摘要： 简单的任务调度：直接使用 linux系统的crontab 实现； 复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如 ooize(xml)、azkaban(java)、airflow(python) 等 阅读全文

摘要： 1. 下载源代码 1. 通过https://github.com/azkaban/azkaban/tree/master下载源代码 2. 或通过命令行 git clone https://github.com/azkaban/azkaban.git 2. 编译源代码 （1）命令行执行：cd azka 阅读全文

摘要： 参考：https://www.cnblogs.com/justinzhang/p/4983673.html https://blog.csdn.net/qq_31806205/article/details/80450742 scala调用hdfs出现这个问题的解决办法： 步骤1. maven的po 阅读全文

摘要： 一、基本概念 redis单机使用不同的数据库保存多个键值对，单机redis默认有16个db,但是redis集群中节点只使用第一个数据库db[0]。 redis集群使用分片的方式保存数据库中的键值对，集群的整个数据库被分成16384个槽slot,数据库中每个键都属于这16384个槽的其中一个，集群中每 阅读全文

摘要： 1. continue import scala.util.control.Breaks._for(){ breakable{ if(){ break // continue } }　} 2.break import scala.util.control.Breaks._breakable{ for 阅读全文

摘要： 参考：https://www.jianshu.com/p/69bff3c7ec97 Scala的集合类可以从三个维度进行切分： 可变与不可变集合（Immutable and mutable collections） 静态与延迟加载集合 （Eager and delayed evaluation ) 阅读全文

摘要： 参考：https://www.runoob.com/scala/scala-lists.html https://www.jianshu.com/p/24c0ed2e3ae8 1. 默认scala的List是可不变的，值一旦被定义了就不能改变了，所以列表改变后都需要重新赋值。 2. ListBuff 阅读全文