03 2019 档案
摘要：第十章 数据结构(上)-集合10.1 数据结构特点10.1.1 Scala 集合基本介绍10.1.2 可变集合和不可变集合举例10.2 Scala 不可变集合继承层次一览图10.2.1 图10.2.2 小结10.3 Scala 可变集合继承层次一览图10.3.1 图10.3.2 小结10.4 数组-
阅读全文
posted @ 2019-03-31 18:00
黑泽君
摘要：第八章 面向对象编程-高级8.1 静态属性和静态方法8.1.1 静态属性-提出问题8.1.2 基本介绍8.1.3 伴生对象的快速入门8.1.4 伴生对象的小结8.1.5 最佳实践-使用伴生对象解决小孩游戏问题8.1.6 伴生对象-apply 方法8.2 单列对象8.3 接口8.3.1 回顾 Java
阅读全文
posted @ 2019-03-30 14:58
黑泽君
摘要：第七章 面向对象编程-中级7.1 包7.1.1 Java 中的包7.1.2 Scala 中的包7.1.3 Scala 包的特点概述7.1.4 Scala 包的命名7.1.5 Scala 会自动引入的常用包7.1.6 Scala 包注意事项和使用细节7.1.7 包对象7.1.8 包对象的底层实现机制分
阅读全文
posted @ 2019-03-28 19:06
黑泽君
摘要：第五章 函数式编程-基础5.1 函数式编程内容说明5.1.1 函数式编程内容5.1.2 函数式编程授课顺序5.2 函数式编程介绍5.2.1 几个概念的说明5.2.2 方法、函数、函数式编程和面向对象编程关系分析图5.2.3 函数式编程小结5.3 为什么需要函数5.4 函数的定义5.4.1 函数的定义
阅读全文
posted @ 2019-03-26 23:58
黑泽君
摘要：第三章 运算符3.1 运算符介绍3.2 算术运算符3.2.1 介绍3.2.2 算术运算符一览图3.2.3 案例演示3.2.4 细节说明3.3.5 课堂练习3.3 关系运算符(比较运算符)3.3.1 基本介绍3.3.2 关系运算符一览图3.3.3 案例演示3.3.4 细节说明3.4 逻辑运算符3.4.
阅读全文
posted @ 2019-03-24 18:45
黑泽君
摘要：第二章 变量2.1 变量是程序的基本组成单位2.2 Scala 变量的介绍2.2.1 概念2.2.2 Scala 变量使用的基本步骤2.3 Scala 变量的基本使用2.4 Scala 变量使用说明2.4.1 变量声明基本语法2.4.2 注意事项2.5 Scala 程序中 +号 的使用2.6 Sca
阅读全文
posted @ 2019-03-23 17:39
黑泽君
摘要：第一章 Scala 语言概述1.1 why is Scala 语言?1.2 Scala 语言诞生小故事1.3 Scala 和 Java 以及 jvm 的关系分析图1.4 Scala 语言的特点1.5 Windows 下搭建 Scala 开发环境1.6 Linux 下搭建 Scala 开发环境1.7
阅读全文
posted @ 2019-03-23 09:29
黑泽君
摘要：电信客服分析平台_学习总结 电信项目： 一、idea 项目构建 1、安装 jdk 并配置环境变量。 2、安装 maven，解压离线仓库，并设置 settings。 ** conf 目录下的 setttings.xml 文件复制到离线仓库的 m2 目录下，并修改 mirror 标签以及离线仓库路径。
阅读全文
posted @ 2019-03-22 11:23
黑泽君
摘要：3.4、数据展示3.4.1、环境准备3.4.2、编写代码3.4.3、最终预览3.5、定时任务四、项目总结 3.4、数据展示 令人兴奋的时刻马上到了，接下来我们需要将某人按照不同维度查询出来的结果，展示到 web 页面上。数据展示模块流程图： 3.4.1、环境准备 1) idea 新建 module
阅读全文
posted @ 2019-03-22 09:49
黑泽君
摘要：3.3、数据分析3.3.1、Mysql 表结构设计3.3.2、需求：按照不同的维度统计通话3.3.3、环境准备3.3.4、编写代码：数据分析3.3.5、运行测试3.3.6、bug 解决 3.3、数据分析 我们的数据已经完整的采集到了 HBase 集群中，这次我们需要对采集到的数据进行分析，统计出我们
阅读全文
posted @ 2019-03-20 23:04
黑泽君
摘要：一、前言二、简介三、结论四、参考链接 一、前言 在工作中经常要与 mysql 打交道，但是对 mysql 的各个字段类型一直都是一知半解，因此写本文总结记录一番。 二、简介 对于 int 类型的一些基础知识其实上图已经说的很明白了，在这里想讨论下常用的 int(11) 代表什么意思，很长时间以来我都
阅读全文
posted @ 2019-03-19 00:34
黑泽君
摘要：一、项目背景二、项目架构三、项目实现3.1、数据生产3.1.1、数据结构3.1.2、编写代码3.1.3、打包测试3.2、数据采集/消费(存储)3.2.1、数据采集：采集实时产生的数据到 kafka 集群3.2.2、编写代码：数据消费（HBase）3.2.3、编写测试单元：范围查找数据（本方案已弃用，
阅读全文
posted @ 2019-03-18 15:14
黑泽君
摘要：一、通用优化1.1、NameNode 的元数据备份使用 SSD1.2、定时备份 NameNode 上的元数据1.3、为 NameNode 指定多个元数据目录1.4、设置 dfs.namenode.name.dir.restore 为 true1.5、NameNode 节点必须配置为 Raid1（镜像
阅读全文
posted @ 2019-03-18 11:49
黑泽君
摘要：一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境准备3.
阅读全文
posted @ 2019-03-17 09:20
黑泽君
摘要：IDEA 里面的单词拼写检查是默认开启的，有时候看着不是单词的拼写下面出现波浪线感觉很难受，可以关闭单词拼写。 打开设置，Editor -> Inspections，勾选掉 Spelling。 如下图： 将typo后面的勾去掉即可。
阅读全文
posted @ 2019-03-13 16:31
黑泽君
摘要：Java 中：不允许逻辑操作、运算操作放在方法块外面，编译器会进行优化！！！ 代码： 以上代码等价于：即编译对代码进行优化后的结果
阅读全文
posted @ 2019-03-13 15:46
黑泽君
摘要：第1章 Oozie 的简介第2章 Oozie 的功能模块介绍2.1 模块2.2 常用节点第3章 Oozie 的部署3.1 部署 Hadoop（CDH版本的）3.1.1 解压缩 CDH 版本的 hadoop3.1.2 修改 CDH 版本的 Hadoop 配置3.1.3 格式化 CDH 版的 Hadoo
阅读全文
posted @ 2019-03-12 18:57
黑泽君
摘要：一 概述1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 各种调度工具特性对比1.4 Azkaban 与 Oozie 对比二 Azkaban（阿兹卡班） 介绍三 Azkaban 安装部署3.1 安装前准备3.2 安装 azkaban3.2 创建 SSL 配置3.3 时间同步配置3.4
阅读全文
posted @ 2019-03-10 19:06
黑泽君
摘要：第1章 Sqoop 简介第2章 Sqoop 原理第3章 Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功连接数据库第4章 Sqoop 的简单使用案例4.1 导入数据4.1.1 从 RDBMS 到 HDFS
阅读全文
posted @ 2019-03-10 14:22
黑泽君
摘要：第8章 HBase 实战之谷粒微博8.1 需求分析8.2 代码实现第9章 扩展知识9.1 HBase 在商业项目中的能力9.2 布隆过滤器9.3 HBase2.0 新特性 第8章 HBase 实战之谷粒微博 8.1 需求分析 1) 微博内容的浏览，数据库表设计 2) 用户社交体现：关注用户，取关用户
阅读全文
posted @ 2019-03-09 23:33
黑泽君
摘要：第6章 HBase API 操作6.1 环境准备6.2 HBase API6.2.1 判断表是否存在6.2.2 抽取获取 Configuration、Connection、Admin 对象的方法以及关闭资源的方法6.2.3 创建表（admin）6.2.4 删除表（admin）6.2.5 向表中插入数
阅读全文
posted @ 2019-03-08 15:06
黑泽君
摘要：第1章 HBase 简介1.1 什么是 HBase1.2 HBase 特点1.3 HBase 架构1.3 HBase 中的角色1.3.1 HMaster1.3.2 RegionServer1.3.3 其他组件第2章 HBase 安装2.1 Zookeeper 正常部署2.2 Hadoop 正常部署2
阅读全文
posted @ 2019-03-06 18:26
黑泽君
摘要：*** 启动代理后，日志显示同一套接字上正在进行另一个异步操作时，不能调用beginconnect，可能时什么问题? 我尝试了卸载迅雷并删除C盘下Thunder Network文件夹，没有效果。Internet选项下局域网设置也修改过，也没有用。 请问如何才能测试到究竟是哪一个程序占
阅读全文
posted @ 2019-03-06 18:22
黑泽君
摘要：HBase默认配置文件注释解析： hbase-default.xml
阅读全文
posted @ 2019-03-06 17:35
黑泽君
摘要：第1章 Kafka概述1.1 消息队列1.2 为什么需要消息队列1.3 什么是Kafka1.4 Kafka架构第2章 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.2 Kafka集群部署2.3 Kafka命令行操作第3章 Kafka工作流程分析3.1 Kafka
阅读全文
posted @ 2019-03-06 00:00
黑泽君
摘要：第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.4 Flume Agent内部原理1.5 Hadoop三大发行版本第2章 Flume快
阅读全文
posted @ 2019-03-04 15:43
黑泽君
摘要：一、知识梳理1.1、背景表结构1.1.1、order by1.1.2、sort by1.1.3、distribute by1.1.4、cluster by1.2、行转列、列转行（UDAF 与 UDTF）1.2.1、行转列1.2.2、列转行1.3、建表时的数组操作1.4、orc 存储1.5、Hive
阅读全文
posted @ 2019-03-03 00:16
黑泽君
摘要：第10章 Hive实战之谷粒影音10.1 需求描述10.2 项目10.2.1 数据结构10.2.2 ETL原始数据10.3 准备工作10.3.1 创建表10.3.2 导入ETL后的数据到原始表10.3.3 向ORC表插入数据10.4 业务分析10.4.1 统计视频观看数Top1010.4.2 统计视
阅读全文
posted @ 2019-03-02 14:44
黑泽君
浙公网安备 33010602011771号