2020年4月6日
数据处理之《数据缺失值》问题
摘要： 阅读全文
posted @ 2020-04-06 17:38 石棠 阅读(236) 评论(0) 推荐(0)
人工智能之入门学问
摘要： 第一课： 思维 感知 行动 的模型约束条件 代数 记号 符号 命名方法 技术 程序 算法 表示 生成测试法包括：生成一些可能的值 生成器 分类整理信息强有力的思想：Rumpelstiltskin原则：给某种事物命名后，你就对他拥有了力量。命名事物的力量，符号标记让我们对概念拥有力量。画状态图ADA 阅读全文
posted @ 2020-04-06 17:36 石棠 阅读(302) 评论(0) 推荐(0)
数据迁移之Sqoop
摘要： 一 简介 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 官方下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7 1. Sqoop是什么 Sqoop：SQL- 阅读全文
posted @ 2020-04-06 17:29 石棠 阅读(775) 评论(0) 推荐(0)
OGG技术原理
摘要： OGG架构 在一个典型的OGG环境中，会有两个数据库存在，同时也会有两个GG实例运行，主要包括四个核心对象:源数据库、目标数据库、源GG、目标GG。数据复制运行流程大概如下：源数据库在运行过程中，LGWR进程会源源不断地把日志记录到联机日志中（online log)。源GG的工作起点或者整个GG数据 阅读全文
posted @ 2020-04-06 17:21 石棠 阅读(1237) 评论(0) 推荐(0)
四种CDC方案比较优劣
摘要： 抽取处理需要重点考虑增量抽取，也被称为变化数据捕获，简称CDC。假设一个数据仓库系统，在每天夜里的业务低峰时间从操作型源系统抽取数据，那么增量抽取只需要过去24小时内发生变化的数据。变化数据捕获也是建立准实时数据仓库的关键技术。 当你能够识别并获得最近发生变化的数据时，抽取及其后面的转换、装载操作显 阅读全文
posted @ 2020-04-06 17:16 石棠 阅读(1914) 评论(0) 推荐(0)
2020年1月1日
Kubernetes之Pod你真了解吗？
摘要： Pod是Kubernetes的最重要也最基本的概念。我们看到每个Pod都有一个特殊的被称为“根容器”的Pause容器对应的镜像属于Kubernetes平台的一部分。除了Pause容器，每个Pod还包含一个或多个紧密相关的用户业务容器。 为什么Kubernetes会设计一个全新的Pod的概念并且Pod 阅读全文
posted @ 2020-01-01 09:41 石棠 阅读(773) 评论(0) 推荐(0)
2019年12月18日
Kubernetes基本概念和术语之《Master和Node》
摘要： Kubernetes中的大部分概念如Node、Pod、Replication Controller、Service等都可以看作一种“资源对象”，几乎所有的资源对象都可以通过Kubernetes提供的kubectl工具（或者API编程调用）执行增、删、改、查等操作并将其保存在etcd中持久化存储。从这 阅读全文
posted @ 2019-12-18 23:16 石棠 阅读(753) 评论(0) 推荐(0)
2019年12月13日
软件架构质量属性之《独孤九剑》
摘要： 什么是架构？架构是一个系统的基本组织结构，涵盖所包含的组件、组件之间的关系、组件与环境的关系、以及指导架构设计和演进的原则等内容。经常有人问架构重点需要关注多少属性，我们粗略的可以概括一下九点：可修改性、可测试性、可扩展性、性能、可用性、可维护性、安全性、可部署性、共享性。 一、可修改性 什么是可修 阅读全文
posted @ 2019-12-13 06:14 石棠 阅读(791) 评论(0) 推荐(2)
2019年12月4日
Java代码开发之《异常日志》
摘要： 异常日志 (一) 异常处理 1. 【强制】Java 类库中定义的可以通过预检查方式规避的 RuntimeException 异常不应该通 过 catch 的方式来处理，比如：NullPointerException，IndexOutOfBoundsException 等等。 说明：无法通过预检查的异 阅读全文
posted @ 2019-12-04 22:37 石棠 阅读(519) 评论(0) 推荐(0)
Java代码开发之《安全规约》
摘要： 安全规约 1. 【强制】隶属于用户个人的页面或者功能必须进行权限控制校验。 说明：防止没有做水平权限校验就可随意访问、修改、删除别人的数据，比如查看他人的私信内容、修改 他人的订单。 2. 【强制】用户敏感数据禁止直接展示，必须对展示数据进行脱敏。 说明：中国大陆个人手机号码显示为:137****0 阅读全文
posted @ 2019-12-04 22:19 石棠 阅读(372) 评论(1) 推荐(1)