共24页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页 
摘要: 电信客服分析平台_学习总结阅读全文
posted @ 2019-03-22 11:23 黑泽君 阅读(64) 评论(0) 编辑
摘要: 3.4、数据展示3.4.1、环境准备3.4.2、编写代码3.4.3、最终预览3.5、定时任务四、项目总结 3.4、数据展示 令人兴奋的时刻马上到了,接下来我们需要将某人按照不同维度查询出来的结果,展示到 web 页面上。数据展示模块流程图: 3.4.1、环境准备 1) idea 新建 module 阅读全文
posted @ 2019-03-22 09:49 黑泽君 阅读(388) 评论(0) 编辑
摘要: 3.3、数据分析3.3.1、Mysql 表结构设计3.3.2、需求:按照不同的维度统计通话3.3.3、环境准备3.3.4、编写代码:数据分析3.3.5、运行测试3.3.6、bug 解决 3.3、数据分析 我们的数据已经完整的采集到了 HBase 集群中,这次我们需要对采集到的数据进行分析,统计出我们阅读全文
posted @ 2019-03-20 23:04 黑泽君 阅读(385) 评论(0) 编辑
摘要: 一、前言二、简介三、结论四、参考链接 一、前言 在工作中经常要与 mysql 打交道,但是对 mysql 的各个字段类型一直都是一知半解,因此写本文总结记录一番。 二、简介 对于 int 类型的一些基础知识其实上图已经说的很明白了,在这里想讨论下常用的 int(11) 代表什么意思,很长时间以来我都阅读全文
posted @ 2019-03-19 00:34 黑泽君 阅读(177) 评论(2) 编辑
摘要: 一、项目背景二、项目架构三、项目实现3.1、数据生产3.1.1、数据结构3.1.2、编写代码3.1.3、打包测试3.2、数据采集/消费(存储)3.2.1、数据采集:采集实时产生的数据到 kafka 集群3.2.2、编写代码:数据消费(HBase)3.2.3、编写测试单元:范围查找数据(本方案已弃用,阅读全文
posted @ 2019-03-18 15:14 黑泽君 阅读(759) 评论(1) 编辑
摘要: 一、通用优化1.1、NameNode 的元数据备份使用 SSD1.2、定时备份 NameNode 上的元数据1.3、为 NameNode 指定多个元数据目录1.4、设置 dfs.namenode.name.dir.restore 为 true1.5、NameNode 节点必须配置为 Raid1(镜像阅读全文
posted @ 2019-03-18 11:49 黑泽君 阅读(97) 评论(1) 编辑
摘要: 一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境准备3.阅读全文
posted @ 2019-03-17 09:20 黑泽君 阅读(175) 评论(0) 编辑
摘要: IDEA 里面的单词拼写检查是默认开启的,有时候看着不是单词的拼写下面出现波浪线感觉很难受,可以关闭单词拼写。 打开设置,Editor -> Inspections,勾选掉 Spelling。 如下图: 将typo后面的勾去掉即可。阅读全文
posted @ 2019-03-13 16:31 黑泽君 阅读(44) 评论(0) 编辑
摘要: Java 中:不允许逻辑操作、运算操作放在方法块外面,编译器会进行优化!!! 代码: 以上代码等价于:即编译对代码进行优化后的结果阅读全文
posted @ 2019-03-13 15:46 黑泽君 阅读(29) 评论(0) 编辑
摘要: 第1章 Oozie 的简介第2章 Oozie 的功能模块介绍2.1 模块2.2 常用节点第3章 Oozie 的部署3.1 部署 Hadoop(CDH版本的)3.1.1 解压缩 CDH 版本的 hadoop3.1.2 修改 CDH 版本的 Hadoop 配置3.1.3 格式化 CDH 版的 Hadoo阅读全文
posted @ 2019-03-12 18:57 黑泽君 阅读(228) 评论(1) 编辑
摘要: 一 概述1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 各种调度工具特性对比1.4 Azkaban 与 Oozie 对比二 Azkaban(阿兹卡班) 介绍三 Azkaban 安装部署3.1 安装前准备3.2 安装 azkaban3.2 创建 SSL 配置3.3 时间同步配置3.4阅读全文
posted @ 2019-03-10 19:06 黑泽君 阅读(193) 评论(0) 编辑
摘要: 第1章 Sqoop 简介第2章 Sqoop 原理第3章 Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功连接数据库第4章 Sqoop 的简单使用案例4.1 导入数据4.1.1 从 RDBMS 到 HDFS阅读全文
posted @ 2019-03-10 14:22 黑泽君 阅读(84) 评论(0) 编辑
摘要: HBase 构建 Scanner 体系图解阅读全文
posted @ 2019-03-10 10:23 黑泽君 阅读(27) 评论(0) 编辑
摘要: flush_compact.xml阅读全文
posted @ 2019-03-10 10:16 黑泽君 阅读(29) 评论(0) 编辑
摘要: 第8章 HBase 实战之谷粒微博8.1 需求分析8.2 代码实现第9章 扩展知识9.1 HBase 在商业项目中的能力9.2 布隆过滤器9.3 HBase2.0 新特性 第8章 HBase 实战之谷粒微博 8.1 需求分析 1) 微博内容的浏览,数据库表设计 2) 用户社交体现:关注用户,取关用户阅读全文
posted @ 2019-03-09 23:33 黑泽君 阅读(48) 评论(0) 编辑
摘要: 第6章 HBase API 操作6.1 环境准备6.2 HBase API6.2.1 判断表是否存在6.2.2 抽取获取 Configuration、Connection、Admin 对象的方法以及关闭资源的方法6.2.3 创建表(admin)6.2.4 删除表(admin)6.2.5 向表中插入数阅读全文
posted @ 2019-03-08 15:06 黑泽君 阅读(276) 评论(1) 编辑
摘要: 第1章 HBase 简介1.1 什么是 HBase1.2 HBase 特点1.3 HBase 架构1.3 HBase 中的角色1.3.1 HMaster1.3.2 RegionServer1.3.3 其他组件第2章 HBase 安装2.1 Zookeeper 正常部署2.2 Hadoop 正常部署2阅读全文
posted @ 2019-03-06 18:26 黑泽君 阅读(272) 评论(0) 编辑
摘要: shadowsocks 启动代理后,日志显示同一套接字上正在进行另一个异步操作时,不能调用beginconnect,可能时什么问题? 我尝试了卸载迅雷并删除C盘下Thunder Network文件夹,没有效果。Internet选项下局域网设置也修改过,也没有用。 请问如何才能测试到究竟是哪一个程序占阅读全文
posted @ 2019-03-06 18:22 黑泽君 阅读(7) 评论(0) 编辑
摘要: HBase默认配置文件注释解析: hbase-default.xml阅读全文
posted @ 2019-03-06 17:35 黑泽君 阅读(61) 评论(0) 编辑
摘要: 第1章 Kafka概述1.1 消息队列1.2 为什么需要消息队列1.3 什么是Kafka1.4 Kafka架构第2章 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.2 Kafka集群部署2.3 Kafka命令行操作第3章 Kafka工作流程分析3.1 Kafka 阅读全文
posted @ 2019-03-06 00:00 黑泽君 阅读(184) 评论(2) 编辑
摘要: 第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.4 Flume Agent内部原理1.5 Hadoop三大发行版本第2章 Flume快阅读全文
posted @ 2019-03-04 15:43 黑泽君 阅读(374) 评论(0) 编辑
摘要: 一、知识梳理1.1、背景表结构1.1.1、order by1.1.2、sort by1.1.3、distribute by1.1.4、cluster by1.2、行转列、列转行(UDAF 与 UDTF)1.2.1、行转列1.2.2、列转行1.3、建表时的数组操作1.4、orc 存储1.5、Hive 阅读全文
posted @ 2019-03-03 00:16 黑泽君 阅读(113) 评论(0) 编辑
摘要: 第10章 Hive实战之谷粒影音10.1 需求描述10.2 项目10.2.1 数据结构10.2.2 ETL原始数据10.3 准备工作10.3.1 创建表10.3.2 导入ETL后的数据到原始表10.3.3 向ORC表插入数据10.4 业务分析10.4.1 统计视频观看数Top1010.4.2 统计视阅读全文
posted @ 2019-03-02 14:44 黑泽君 阅读(162) 评论(0) 编辑
摘要: 第8章 压缩和存储(Hive高级)8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩编码8.2.2 压缩参数配置8.3 开启Map输出阶段压缩8.4 开启Reduce输出阶段压缩8.5阅读全文
posted @ 2019-02-28 19:40 黑泽君 阅读(205) 评论(0) 编辑
摘要: 第6章 查询6.1 基本查询(select … from)6.1.1 全表和特定列查询6.1.2 列别名6.1.3 算术运算符6.1.4 常用函数(聚合函数)6.1.5 limit语句6.2 where语句6.2.1 比较运算符(between/in/is null)6.2.2 like和rlike阅读全文
posted @ 2019-02-27 18:19 黑泽君 阅读(46) 评论(0) 编辑
摘要: 【mysql】count(*)、count(1)和count(column)区别 小结: count(*) 对行的数目进行计算,包含NULL。 count(column) 对特定的列的值具有的行数进行计算,不包含NULL值。 count(1) 这个用法和count(*)的结果是一样的。 性能问题: 阅读全文
posted @ 2019-02-26 11:48 黑泽君 阅读(49) 评论(0) 编辑
摘要: 第4章 DDL数据定义4.1 创建数据库4.2 查询数据库4.2.1 显示数据库4.2.2 查看数据库详情4.3.3 切换当前数据库4.3 修改数据库4.4 删除数据库4.5 创建表4.5.1 管理表(内部表)4.5.2 外部表4.5.3 管理表与外部表的互相转换4.6 分区表4.6.1 分区表基本阅读全文
posted @ 2019-02-25 21:30 黑泽君 阅读(52) 评论(0) 编辑
摘要: 第1章 Hive入门1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数阅读全文
posted @ 2019-02-25 00:28 黑泽君 阅读(103) 评论(0) 编辑
摘要: 第8章 HDFS HA 高可用8.1 HA概述8.2 HDFS-HA工作机制8.2.1 HDFS-HA工作要点8.2.2 HDFS-HA手动故障转移工作机制8.2.3 HDFS-HA自动故障转移工作机制8.3 HDFS-HA集群配置8.3.1 环境准备8.3.2 规划集群8.3.3 配置Zookee阅读全文
posted @ 2019-02-24 10:22 黑泽君 阅读(67) 评论(0) 编辑
摘要: 第1章 Zookeeper入门1.1 概述1.2 特点1.3 数据结构1.4 应用场景1.5 下载地址第2章 Zookeeper安装2.1 本地模式安装部署2.2 配置参数解读第3章 Zookeeper内部原理3.1 选举机制(面试重点)3.2 节点类型3.3 stat结构体3.4 监听器原理(面试阅读全文
posted @ 2019-02-23 01:37 黑泽君 阅读(139) 评论(2) 编辑
共24页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页