11 2019 档案

【dataX】阿里开源ETL工具——dataX简单上手
摘要：【dataX】阿里开源ETL工具——dataX简单上手 一、概述 1.是什么？ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCom 阅读全文
posted @ 2019-11-16 21:45 lhqsida 阅读(311) 评论(0) 推荐(0)
25大数据-zookeeper 自动化维护脚本
摘要：1 zookeeper自动化维护脚本 1.1 export与source export的用法 export a=1 export: 会把变量对于本进程及子进程有效； source的用法 source /etc/profile source：会把脚本文件的变量放到当前进程里有效； 1.2 远程启动zo 阅读全文
posted @ 2019-11-14 13:58 lhqsida 阅读(197) 评论(0) 推荐(0)
24大数据- zookeeper的原理
摘要：1 zookeeper原理 Zookeeper虽然在配置文件中并没有指定master和slave 但是，zookeeper工作时，是有一个节点为leader，其他则为follower Leader是通过内部的选举机制临时产生的 1.1 zookeeper的选举机制（全新集群paxos） 以一个简单的 阅读全文
posted @ 2019-11-14 13:58 lhqsida 阅读(88) 评论(0) 推荐(0)
23大数据-zookeeper的客户端命令
摘要：zookeeper命令行操作 运行 zkCli.sh –server <ip>进入命令行工具 1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容： [zk: 202.115.36.251:2181(CONNECTED) 1] ls / 2、创建一个新的 znode ，使用 creat 阅读全文
posted @ 2019-11-14 13:58 lhqsida 阅读(153) 评论(0) 推荐(0)
22大数据-zookeeper的数据结构及节点操作
摘要：1 zookeeper结构和命令 1.1 zookeeper两大功能： 读写数据：往往是状态信息或配置信息 提供监听：发现数据的变化情况 1.2 zookeeper特性 1、Zookeeper：一个leader，多个follower组成的集群 2、 全局数据一致：每个server保存一份相同的数据副 阅读全文
posted @ 2019-11-14 13:57 lhqsida 阅读(825) 评论(0) 推荐(0)
21大数据-安装Zookeeper
摘要：安装Zookeeper 1.1 准备工作 安装到3台虚拟机上 安装好JDK 1.2 Rz工具安装 安装 yum install lrzsz 拖入后，右键send to zoom或者输入rz回车； 1.3 上传安装文件 输入rz回车； 选择zookeeper-3.4.5.tar.gz 确定后上传成功 阅读全文
posted @ 2019-11-14 13:56 lhqsida 阅读(103) 评论(0) 推荐(0)
20大数据-zookeeper工作机制
摘要：zookeeper工作机制 投票算法：Paxos算法，衍生的azb算法； 配置文件包括三台机器min1,min2,min3；投票，投给id大的； 时序 事件 Min1【id=1】 Min2【id=2】 Min3【id=3】 1 Min1启动 投票给min1 得票1（1小于半数2票，继续投） 得票0 阅读全文
posted @ 2019-11-14 13:55 lhqsida 阅读(127) 评论(0) 推荐(0)
19大数据-zookeeper的功能
摘要：1 zookeeper介绍 1.1 场景：应用程序动态补位(高可用) 多个应用服务程序的健康状况注册，监听，调度： A. 多个采集服务程序并行 B. 定期上报第三方自己的状态信息; C. 定期监控第三方的状态; D. 一旦发现某个服务下线了;就选出一台承担该下线的服务器的工作; 1.2 场景：服务程 阅读全文
posted @ 2019-11-14 13:54 lhqsida 阅读(166) 评论(0) 推荐(0)
18大数据-shell编程
摘要：1 Linux shell编程 1.1 主要内容 shell编程 1.2 什么是Shell Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash Shell Shell也是一门编程语言<解释型的编程语言>，即shell脚本 一个系统可以存在多个shell，可以通过cat 阅读全文
posted @ 2019-11-14 13:53 lhqsida 阅读(145) 评论(0) 推荐(0)
16大数据-linux防火墙的设置
摘要：1 防火墙设置 1.1 常用操作  关闭iptables并设置其开机启动/不启动 service iptables stop 关闭防火墙 chkconfig iptables on 设置开机启动防火墙 chkconfig iptables off 设置开机关闭防火墙 1.2 查看帮助 iptabl 阅读全文
posted @ 2019-11-14 13:52 lhqsida 阅读(163) 评论(0) 推荐(0)
17大数据-自动化脚本部署
摘要：1 制动化脚本部署 1.1 准备工作 1.1.1 在192.168.133.61安装了httpd 1.1.2 启动了httpd服务和端口 1.1.3 Sftp上传了jdk-7u45-linux-x64.tar.gz到/root 目录 1.1.4 本地安装了expect yum install exp 阅读全文
posted @ 2019-11-14 13:52 lhqsida 阅读(265) 评论(0) 推荐(0)
15大数据-yum命令详解
摘要：1 Linux yum命令详解 yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包， 阅读全文
posted @ 2019-11-14 13:51 lhqsida 阅读(231) 评论(0) 推荐(0)
14大数据-mysql的用法
摘要：mysql的用法 1 #登录数据库 mysql –h localhost –u root -p; mysql –u root -p 2 #修改密码 mysqladmin -uroot -pold password new; 3 #显示数据库 show databases; 4 #显示数据表 show 阅读全文
posted @ 2019-11-14 13:50 lhqsida 阅读(244) 评论(0) 推荐(0)
12大数据-yum安装软件的方法
摘要：yum安装软件的方法 1 YUM安装方法 Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE、CentOS中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且 阅读全文
posted @ 2019-11-14 13:48 lhqsida 阅读(303) 评论(0) 推荐(0)
13大数据-Linux下使用yum安装MySQL
摘要：Linux下使用yum安装MySQL Linux下使用yum安装MySQL，以及启动、登录和远程访问MySQL数据库。 1 安装mysql 1.1 查看有没有安装过 yum list installed mysql* rpm -qa | grep mysql* 1.2 查看有没有安装包 yum li 阅读全文
posted @ 2019-11-14 13:48 lhqsida 阅读(129) 评论(0) 推荐(0)
10大数据-域名服务器
摘要：域名服务器 1 原理图 2 主机名配置 修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=minfbb 3 Hosts配置 修改ip地址和主机名的映射关系 vi /etc/hosts 127.0.0.1 localhost localho 阅读全文
posted @ 2019-11-14 13:47 lhqsida 阅读(184) 评论(0) 推荐(0)
11大数据-Linux软件安装-jdk
摘要：Linux软件安装-jdk 1 上传安装包 使用sftp工具： alt+p 调出后，用put命令上传 1.1 上传（如果不指定目录，则上传到当前用户的主目录）： sftp> cd /root/ sftp> put g:\soft\jdk\jdk-7u45-linux-x64.tar.gz 1.2 下 阅读全文
posted @ 2019-11-14 13:47 lhqsida 阅读(114) 评论(0) 推荐(0)
9大数据-linux服务管理
摘要：linux服务管理 1 后台服务管理 service network status 查看指定服务的状态 service network stop 停止指定服务 service network start 启动指定服务 service network restart 重启指定服务 service -- 阅读全文
posted @ 2019-11-14 13:46 lhqsida 阅读(111) 评论(0) 推荐(0)
8大数据-压缩解压操作
摘要：压缩解压操作 1.gzip压缩 gzip a.txt 2.解压 gunzip a.txt.gz gzip -d a.txt.gz 3.bzip2压缩 bzip2 a.txt 4.解压 bunzip2 a.txt.bz2 bzip2 -d a.txt.bz2 5.将当前目录的文件打包 tar -cvf 阅读全文
posted @ 2019-11-14 13:45 lhqsida 阅读(156) 评论(0) 推荐(0)
7大数据-vi文本编辑器的使用
摘要：vi文本编辑器的使用 1.1 基本用法 vi fbb.txt 1、首先会进入“一般模式”，此模式只接受各种快捷键，不能编辑文件内容 2、按i键，就会从一般模式进入编辑模式，此模式下，敲入的都是文件内容 3、编辑完成之后，按Esc键退出编辑模式，回到一般模式； 4、再按：，进入“底行命令模式”，输入w 阅读全文
posted @ 2019-11-14 13:45 lhqsida 阅读(199) 评论(0) 推荐(0)
6大数据-linux的常用命令
摘要：linux的常用命令 1.1 日常操作命令 查看当前所在的工作目录 pwd 查看当前系统的时间 date 查看有谁在线（哪些人登陆到了服务器） who 查看当前在线 last 查看最近的登陆历史记录 1.2 文件系统操作 查看文件 ls / 查看根目录下的子节点（文件夹和文件）信息 ls -al - 阅读全文
posted @ 2019-11-14 13:44 lhqsida 阅读(192) 评论(0) 推荐(0)
5大数据-SecureCRT的使用
摘要：SecureCRT的使用 1 解压出securecrs_33lc 2 打开G:\soft\securecrs_33lc，启动SecureCRTPortable.exe 3 File-quick connect 4 输入ip：192.168.33.61，及账号root 5 点击确定，输入密码 6 点击 阅读全文
posted @ 2019-11-14 13:43 lhqsida 阅读(354) 评论(0) 推荐(0)
4大数据-linux克隆
摘要：linux克隆 1 打开VMware, 在min1上右键-manage-clone 2 选择 create a full clone 3 输入min3，路径修改为g:\Machines\min3 4 点击完成 5 启动虚拟机min3，输入root/hadoop登录 6 网卡设置-min2-IPADD 阅读全文
posted @ 2019-11-14 13:43 lhqsida 阅读(127) 评论(0) 推荐(0)
3大数据-Linux网卡配置
摘要：Linux网卡配置 1 Min1上右键，power on 启动 2 登陆linux 用户 root 密码 hadoop 3 配置网卡  vi /etc/sysconfig/network-scripts/ifcfg-eth0 进行如下设置 ONBOOT=yes BOOTPROTO=none IPA 阅读全文
posted @ 2019-11-14 13:42 lhqsida 阅读(108) 评论(0) 推荐(0)
2大数据-Linux 安装
摘要：Linux 安装 1 准备软件 Windows7,8,10【腾出50g空间】 CentOS-6.7-x86_64-bin-DVD1.ISO 【安装盘】 CentOS-6.7-x86_64-bin-DVD2.ISO 【安装盘】 VMWare11-lite.rar【虚拟机软件】 SecureCRT_33 阅读全文
posted @ 2019-11-14 13:40 lhqsida 阅读(116) 评论(0) 推荐(0)
1大数据-Linux介绍
摘要：Linux介绍 1 介绍 Linux操作系统是基于UNIX操作系统发展而来的一种克隆系统，它诞生于1991 年的 10 月5 日（这是第一次正式向外公布的时间）。 以后借助于Internet网络，并通过全世界各地计算机爱好者的共同努力，已成为今天世界上使用最多的一种UNIX 类操作系统，并且使用人数 阅读全文
posted @ 2019-11-14 13:37 lhqsida 阅读(185) 评论(0) 推荐(0)