摘要: 一、Hive 基本面试1、什么是 metastore2、metastore 安装方式有什么区别3、什么是 Managed Table 跟 External Table?4、什么时候使用 Managed Table 跟 External Table?5、hive 有哪些复合数据类型?6、hive 分区阅读全文
posted @ 2019-06-18 21:50 黑泽君 阅读(60) 评论(0) 编辑
摘要: 1、== 和 equals 有什么区别?2、为什么需要同时覆写 hashCode 和 equals 方法?3、为什么用 eclipse 重写 hashCode 方法,有 31 这个数字?4、String 相关5、多态6、传值7、static 加载机制8、谈谈你对 HashMap 中 put/get 阅读全文
posted @ 2019-06-17 15:54 黑泽君 阅读(26) 评论(0) 编辑
摘要: 第1章 JavaSE 面试题1、自增变量2、编程题:写一个 Singleton 示例3、类初始化和实例初始化4、方法的参数传递机制5、递归与迭代6、成员变量与局部变量第2章 SSM 面试题1、Spring Bean 的作用域之间有什么区别?2、Spring 支持的常用数据库事务传播属性和事务隔离级别阅读全文
posted @ 2019-06-17 09:26 黑泽君 阅读(34) 评论(0) 编辑
摘要: 1、JVM 位置2、JVM 体系结构概览3、堆体系结构概述4、堆参数调优入门5、JVM 的配置和优化6、Tomcat 的配置和优化 熟悉 JVM 架构与 GC 垃圾回收机制以及相应的 JVM 调优,有过在 Linux 系统下的调优经验。 淘宝的周志明《深入理解 Java 虚拟机》中说 JVM 的优化阅读全文
posted @ 2019-06-15 23:54 黑泽君 阅读(26) 评论(0) 编辑
摘要: 第1章 Mysql 简介1.1 概述1.2 高级 MySQL第2章 Mysql Linux 版的安装2.1 下载地址2.2 检查当前系统是否安装过 mysql2.3 修改 Mysql 配置文件位置2.4 修改字符集和数据存储路径2.5 MySQL 的安装位置说明2.6 Mysql 配置文件说明2.7阅读全文
posted @ 2019-06-15 11:00 黑泽君 阅读(20) 评论(0) 编辑
摘要: 第1章 存储引擎1.1 Mysql 逻辑架构介绍1.2 查看命令1.3 MyISAM 和 InnoDB 的对比1.4 阿里巴巴、淘宝用哪个第2章 Join 查询2.1 SQL 执行顺序(一般情况下)2.1.1 手写顺序2.1.2 机读顺序2.1.3 总结2.2 建表 SQL2.3 7 种 JOIN 阅读全文
posted @ 2019-06-12 21:27 黑泽君 阅读(31) 评论(0) 编辑
摘要: 第4章 离线推荐服务建设4.1 离线推荐服务4.2 离线统计服务4.2.1 离线统计服务主体框架4.2.2 历史热门商品统计4.2.3 最近热门商品统计4.2.4 商品平均得分统计4.2.5 将 DF 数据写入 MongoDB 数据库对应的表中的方法4.3 基于隐语义模型的协同过滤推荐(相似推荐)4阅读全文
posted @ 2019-06-11 09:53 黑泽君 阅读(33) 评论(0) 编辑
摘要: 第1章 项目体系架构设计1.1 项目系统架构1.2 项目数据流程1.3 数据模型1.4 离线统计服务1.5 离线推荐服务(基于 LFM 模型)1.6 实时推荐服务(基于自定义模型)1.7 离线推荐服务--基于内容的协同过滤推荐(相似推荐)1.8 离线推荐服务--基于物品的协同过滤推荐(相似推荐)1.阅读全文
posted @ 2019-06-11 09:48 黑泽君 阅读(54) 评论(0) 编辑
摘要: 第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD、DataFrame 与 DataSet0.3.2 DataSet 与 R阅读全文
posted @ 2019-06-08 11:16 黑泽君 阅读(31) 评论(0) 编辑
摘要: 第1章 项目概述1.1 项目简介1.2 项目目标1.3 业务需求简介1.3.1 用户访问 session 统计1.3.2 页面单跳转化率统计1.3.3 区域热门商品离线统计1.3.4 广告流量实时统计第2章 项目主体架构2.1 项目架构2.2 离线日志采集宏观流程(参考)2.3 实时日志采集宏观流程阅读全文
posted @ 2019-06-07 23:01 黑泽君 阅读(34) 评论(0) 编辑
摘要: 一 大数据的框架回顾二 大数据的企业应用 一 大数据的框架回顾 Hadoopjob 提交简图 或 YARN 架构 或 YARN 工作机制 或 job 提交流程0、job 提交简图 1、YARN 架构2、YARN 工作机制3、job 提交流程源码解析图解 MapReduce 的 Shuffle 过程介阅读全文
posted @ 2019-05-30 07:31 黑泽君 阅读(51) 评论(0) 编辑
摘要: 一 项目背景二 项目架构与环境2.1 项目架构2.2 项目环境三 项目实现3.1 数据模拟3.1.1 数据结构3.1.2 编写代码3.1.3 测试3.2 数据采集3.2.1 编写代码3.2.2 测试3.3 数据建模3.3.1 编写代码3.3.2 测试3.4 数据预测3.4.1 编写代码3.4.2 测阅读全文
posted @ 2019-05-29 13:40 黑泽君 阅读(59) 评论(0) 编辑
摘要: 一 项目概述1.1 角色1.2 业务术语1.3 项目效果展示二 项目需求三 项目概要3.1 项目技术架构3.2 项目目录结构3.3 项目技术选型3.4 项目整体集群规划3.5 创建项目工程四 APP 数据生成模块4.1 创建公共模块工程4.1.1 创建 Java 工程,导入 pom 文件4.1.2 阅读全文
posted @ 2019-05-27 09:25 黑泽君 阅读(83) 评论(0) 编辑
摘要: 问题描述: 不知道大家有没有发现,在我们用 IDEA 敲击代码的时候,经常会发现如下所示的现象: 报出的错误:Class 'GeoUtil' is never used 翻译之后得出的是:从未使用过类'GeoUtil' 解决办法: 如果你感觉看起来不爽的话,那么就只需要这样操作就可以了: File 阅读全文
posted @ 2019-05-26 11:59 黑泽君 阅读(35) 评论(0) 编辑
摘要: 一 数据加载服务1、目标2、步骤二 离线推荐服务2.1 基于统计性算法1、目标2、步骤2.2 基于隐语义模型(LFM)的协同过滤推荐算法(ALS)1、目标2、步骤2.3 基于 ElasticSearch 的内容推荐算法1、目标2、步骤2.4 基于内容的推荐服务--电影标签三 实时推荐服务3.1 推荐阅读全文
posted @ 2019-05-25 23:14 黑泽君 阅读(47) 评论(0) 编辑
摘要: 在File --> Settings --> Code Sytle 中勾选 Wrap on typing 选项, 进入到【Code Style】中可以看到 Right Margin 的默认值为120,即表明当前代码行的宽度提示为 120 个字符长度,这里我想设置为 150 个 字符长度,如下图:阅读全文
posted @ 2019-05-25 07:51 黑泽君 阅读(69) 评论(0) 编辑
摘要: 问题描述: 不知道大家有没有发现,在我们用 IDEA 敲击代码的时候,经常会发现如下所示的现象: 报出的错误:Spellchecker inspection helps locate typos and misspelling in your code,comments and literals,a阅读全文
posted @ 2019-05-25 07:09 黑泽君 阅读(18) 评论(0) 编辑
摘要: 在idea中,当初手动第一次写 spring 配置文件的时候,出现了上面这个错误。错误提示如下: 很明显的两行错误提示。将鼠标放在上面,软件会提示 “URI is not registered ( Setting | Project Settings | Schemas and DTDs )”,翻译阅读全文
posted @ 2019-05-24 23:51 黑泽君 阅读(19) 评论(0) 编辑
摘要: 问题描述: 创建的maven项目,右键 New -> XML Configuration File 时,无 Spring Config 选项。即没有下图中的选项: 解决方法: 导入 spring 相关的依赖,比如:spring-context-support 或者 spring-webmvc,如下图阅读全文
posted @ 2019-05-24 23:45 黑泽君 阅读(51) 评论(0) 编辑
摘要: 问题描述: 新建的 maven 的 Module 项目,webapp 文件夹也是在创建完项目后手动添加的,出现了 webapp 文件夹不能被识别的情况。 解决方案: 第一步: 选中项目按 F4 键,找到你的项目 或者 选中项目 右键,然后点击 Open Module Settings 第二步: 选中阅读全文
posted @ 2019-05-24 22:31 黑泽君 阅读(113) 评论(0) 编辑
摘要: 第2章 工具环境搭建(具体实操)2.1 MongoDB(单节点)环境配置2.2 Redis(单节点)环境配置2.3 ElasticSearch(单节点)环境配置2.4 Azkaban(单节点)环境配置2.4.1 安装 Git2.4.2 编译 Azkaban2.4.3 部署 Azkaban Solo2阅读全文
posted @ 2019-05-23 21:57 黑泽君 阅读(61) 评论(0) 编辑
摘要: 第1章 项目体系架构设计1.1 项目系统架构1.2 项目数据流程1.3 数据模型第2章 工具环境搭建第3章 创建项目并初始化业务数据3.1 在 IDEA 中创建 maven 项目3.1.1 项目框架搭建3.1.2 声明项目中工具的版本信息3.1.3 添加项目依赖3.2 数据加载准备3.2.1 mov阅读全文
posted @ 2019-05-22 15:49 黑泽君 阅读(103) 评论(0) 编辑
摘要: 第十章 项目系统设计10.1 项目系统设计(上)10.2 项目系统设计(中)10.3 项目系统设计(下) 第十章 项目系统设计 10.1 项目系统设计(上) 1、主要内容概述 2、项目框架文字说明 3、数据生命周期 4、大数据处理流程--实时处理 5、大数据处理流程--离线处理 6、我们的目标 7、阅读全文
posted @ 2019-05-22 15:35 黑泽君 阅读(51) 评论(0) 编辑
摘要: 第九章 推荐系统算法详解9.1 常用推荐算法分类9.1.1 基于人口统计学的推荐与用户画像9.1.2 基于内容的推荐与特征方程9.1.3 基于协同过滤的推荐 第九章 推荐系统算法详解 9.1 常用推荐算法分类 9.1.1 基于人口统计学的推荐与用户画像 9.1.2 基于内容的推荐与特征方程 特征按照阅读全文
posted @ 2019-05-18 08:23 黑泽君 阅读(64) 评论(0) 编辑
摘要: 第七章 监督学习--简单线性回归模型7.1 最小二乘法求解线性回归7.2 梯度下降法求解线性回归7.3 调用 sklearn 库求解线性回归第八章 监督学习--分类模型8.1 K 近邻(KNN)模型8.2 逻辑斯蒂回归模型8.3 决策树模型第九章 无监督学习--K 均值聚类模型9.1 聚类--k 均阅读全文
posted @ 2019-05-18 08:20 黑泽君 阅读(23) 评论(0) 编辑
摘要: TF-IDF算法代码示例0.引入依赖1.定义数据和预处理2.进行词数统计3.计算词频 TF4.计算逆文档频率 IDF5.计算 TF-IDF TF-IDF算法代码示例 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分阅读全文
posted @ 2019-05-18 08:17 黑泽君 阅读(22) 评论(0) 编辑
摘要: LFM--梯度下降法--实现基于模型的协同过滤0.引入依赖1.数据准备2.算法的实现3.测试 LFM--梯度下降法--实现基于模型的协同过滤 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分析、科学计算 1.数据准阅读全文
posted @ 2019-05-18 08:17 黑泽君 阅读(28) 评论(0) 编辑
摘要: 无监督学习--聚类模型--K 均值0.引入依赖1.数据的加载和预处理2.算法实现3.测试 无监督学习--聚类模型--K 均值 0.引入依赖 import numpy as npimport matplotlib.pyplot as plt# 这里直接 sklearn 里的数据集from sklear阅读全文
posted @ 2019-05-18 08:16 黑泽君 阅读(16) 评论(0) 编辑
摘要: 有监督学习--简单线性回归模型(调用 sklearn 库代码实现)0.引入依赖1.导入数据(data.csv)2.定义损失函数3.导入机器学习库 sklearn4.测试:运行算法,从训练好的模型中提取出系数和截距5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型(调用 sklearn阅读全文
posted @ 2019-05-18 08:15 黑泽君 阅读(14) 评论(0) 编辑
摘要: 有监督学习--分类模型--K 近邻(kNN)0.引入依赖1.数据的加载和预处理2.核心算法实现3.测试4.自动化测试 有监督学习--分类模型--K 近邻(kNN) 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分析阅读全文
posted @ 2019-05-18 08:15 黑泽君 阅读(49) 评论(0) 编辑