摘要: 1 一元线性回归是指通过线来拟合空间中的点来表示自变量和因变量之间的关系。 如何在知道这些点的情况下通过计算得出这条直线,进而在知道自变量情况下算出因变量,是本篇文档的目的。 首先来看下一元线性回归方程式及a,b值的公式推导。 2、数据 3、斜率方程为: 求出斜率 select ((regr_cou 阅读全文
posted @ 2019-12-02 15:08 lhqsida 阅读(242) 评论(1) 推荐(0)
摘要: 【dataX】阿里开源ETL工具——dataX简单上手 一、概述 1.是什么? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCom 阅读全文
posted @ 2019-11-16 21:45 lhqsida 阅读(309) 评论(0) 推荐(0)
摘要: 1 zookeeper自动化维护脚本 1.1 export与source export的用法 export a=1 export: 会把变量对于本进程及子进程有效; source的用法 source /etc/profile source:会把脚本文件的变量放到当前进程里有效; 1.2 远程启动zo 阅读全文
posted @ 2019-11-14 13:58 lhqsida 阅读(197) 评论(0) 推荐(0)
摘要: 1 zookeeper原理 Zookeeper虽然在配置文件中并没有指定master和slave 但是,zookeeper工作时,是有一个节点为leader,其他则为follower Leader是通过内部的选举机制临时产生的 1.1 zookeeper的选举机制(全新集群paxos) 以一个简单的 阅读全文
posted @ 2019-11-14 13:58 lhqsida 阅读(88) 评论(0) 推荐(0)
摘要: zookeeper命令行操作 运行 zkCli.sh –server <ip>进入命令行工具 1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容: [zk: 202.115.36.251:2181(CONNECTED) 1] ls / 2、创建一个新的 znode ,使用 creat 阅读全文
posted @ 2019-11-14 13:58 lhqsida 阅读(152) 评论(0) 推荐(0)
摘要: 1 zookeeper结构和命令 1.1 zookeeper两大功能: 读写数据:往往是状态信息或配置信息 提供监听:发现数据的变化情况 1.2 zookeeper特性 1、Zookeeper:一个leader,多个follower组成的集群 2、 全局数据一致:每个server保存一份相同的数据副 阅读全文
posted @ 2019-11-14 13:57 lhqsida 阅读(824) 评论(0) 推荐(0)
摘要: 安装Zookeeper 1.1 准备工作 安装到3台虚拟机上 安装好JDK 1.2 Rz工具安装 安装 yum install lrzsz 拖入后,右键send to zoom或者输入rz回车; 1.3 上传安装文件 输入rz回车; 选择zookeeper-3.4.5.tar.gz 确定后上传成功 阅读全文
posted @ 2019-11-14 13:56 lhqsida 阅读(101) 评论(0) 推荐(0)
摘要: zookeeper工作机制 投票算法:Paxos算法,衍生的azb算法; 配置文件包括三台机器min1,min2,min3;投票,投给id大的; 时序 事件 Min1【id=1】 Min2【id=2】 Min3【id=3】 1 Min1启动 投票给min1 得票1(1小于半数2票,继续投) 得票0 阅读全文
posted @ 2019-11-14 13:55 lhqsida 阅读(126) 评论(0) 推荐(0)
摘要: 1 zookeeper介绍 1.1 场景:应用程序动态补位(高可用) 多个应用服务程序的健康状况注册,监听,调度: A. 多个采集服务程序并行 B. 定期上报第三方自己的状态信息; C. 定期监控第三方的状态; D. 一旦发现某个服务下线了;就选出一台承担该下线的服务器的工作; 1.2 场景:服务程 阅读全文
posted @ 2019-11-14 13:54 lhqsida 阅读(165) 评论(0) 推荐(0)
摘要: 1 Linux shell编程 1.1 主要内容 shell编程 1.2 什么是Shell Shell是用户与内核进行交互操作的一种接口,目前最流行的Shell称为bash Shell Shell也是一门编程语言<解释型的编程语言>,即shell脚本 一个系统可以存在多个shell,可以通过cat 阅读全文
posted @ 2019-11-14 13:53 lhqsida 阅读(144) 评论(0) 推荐(0)