摘要：
一.下载安装docker 1.windows系统中Docker目前仅有win10专业版和企业版的安装包，win7/win8/win10家庭版需要通过docker toolbox来安装。CE为免费版 docker toolbox下载地址：http://mirrors.aliyun.com/docker 阅读全文
摘要：
一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me 阅读全文
摘要：
一.数据运输面临问题 1.数据来源不同,webserver,物联网,用户行为/接口数据等 2.数据速度快 3.数据量大 二.message queue信息队列 1.各个系统隔离,挂一个不影响 2.增加可扩展性 3.消息广播,告诉每一台机器 4.容易处理数据高峰 5.缓存失败的数据 三.message 阅读全文
摘要：
1.软件开发会经历多个阶段，如开发、测试、生产等，如何保证这些阶段的环境一致？通常人们使用虚拟化技术（如虚拟机）解决，但虚拟化技术存在占用空间资源大等问题。相对来说，docker极大的提高了资源的利用率，可在短时间内大量部署server。 2.为什么使用? 保证不同环境软件版本同步,qa测试环境版本 阅读全文
摘要：
一.分布式主从模式 1.主机选举: 整个系统初始化时和现有主机崩溃时 2.主机master崩溃:crash detection检测主机是否崩溃 3.节点worker崩溃:group membership主机把特定的任务分给特定的worker 4.主从机联系崩溃:metadata management 阅读全文
摘要：
1.查询磁盘空间 df -h 显示总的磁盘空间和使用情况 du -sh * 显示具体每个文件的大小 2.命令：jps 查询正在运行的程序 3.查看linux系统版本: uname -a,可显示电脑以及操作系统的相关信息 cat /proc/version,说明正在运行的内核版本 cat /etc/i 阅读全文
摘要：
1.一列拆为两列 select count(*) from (select test4.uid uid ,case when test4.money_on>=test4.money_off then ""线上"" else ""线下"" end main_channel from (select t 阅读全文
摘要：
描述： azkaban主要用于离线计算任务的调度 说明： 此处Azkaban选择版本为：3.52.0，部署方式为Cluster模式，即支持多Executor计算节点，目前默认安装方式选择在同一台机器上安装web/executor两个服务。 安装步骤： 解压安装包中的azkaban目录下的`azkab 阅读全文
摘要：
1.安装说明 操作用户：root 软件下载目录：/root/opt 无root权限时,放到自定义目录即可 2.预置条件 1.需要JDK1.6+支持； 2.需要Mysql数据库支持；（虽然SonarQube自带了H2数据库，但是为了方便管理数据推荐使用Mysql数据库） 3.安装 在安装之前，介绍一下 阅读全文