10 2018 档案

Shell 脚本合集
摘要：Shell 脚本合集 阅读全文
posted @ 2018-10-31 17:41 山间一棵松 阅读(416) 评论(0) 推荐(0)
[HDFS_add_2] SecondaryNameNode 滚动 NameNode 数据流程
摘要：SecondaryNameNode 滚动 NameNode 数据流程 阅读全文
posted @ 2018-10-31 15:24 山间一棵松 阅读(169) 评论(0) 推荐(0)
[HDFS_add_1] HDFS 启动过程分析
摘要：HDFS 文件概念 && HDFS 启动过程分析 阅读全文
posted @ 2018-10-30 16:17 山间一棵松 阅读(361) 评论(0) 推荐(0)
Hadoop 命令 && Web UI
摘要：Hadoop 命令合集 && Web UI 阅读全文
posted @ 2018-10-30 10:53 山间一棵松 阅读(2049) 评论(0) 推荐(0)
[HDFS_4] HDFS 的 Java 应用开发
摘要：在 IDEA下 进行 HDFS 的 Java 应用开发 通过编写代码实现对 HDFS 的读写操作 阅读全文
posted @ 2018-10-30 10:28 山间一棵松 阅读(427) 评论(0) 推荐(0)
【爬坑】在 IDEA 中运行 Hadoop 程序 报 winutils.exe 不存在错误解决方案
摘要：在 IDEA 中运行 Hadoop 程序 报 winutils.exe 不存在错误解决方案 阅读全文
posted @ 2018-10-29 22:22 山间一棵松 阅读(5879) 评论(0) 推荐(0)
【爬坑】Vim 文档加密 & 解密
摘要：Vim 文档加密 & 解密 阅读全文
posted @ 2018-10-29 21:46 山间一棵松 阅读(344) 评论(0) 推荐(0)
Maven 安装配置
摘要：Maven 的介绍 && 安装配置 阅读全文
posted @ 2018-10-29 17:30 山间一棵松 阅读(127) 评论(0) 推荐(0)
Linux 辅助命令
摘要：记录在 Linux 使用过程中的一些有帮助的命令 阅读全文
posted @ 2018-10-29 16:23 山间一棵松 阅读(312) 评论(0) 推荐(0)
OpenResty 安装配置
摘要：OpenResty 安装配置 阅读全文
posted @ 2018-10-28 11:34 山间一棵松 阅读(731) 评论(0) 推荐(0)
[Redis_1] Redis 介绍 && 安装
摘要：Redis 介绍 && 安装 阅读全文
posted @ 2018-10-26 15:27 山间一棵松 阅读(183) 评论(0) 推荐(1)
[Spark Core] Spark Client Job 提交三级调度框架
摘要：Spark Job 三级调度框架 阅读全文
posted @ 2018-10-26 00:04 山间一棵松 阅读(239) 评论(0) 推荐(0)
[Java] Log4j
摘要：Log4j 介绍 && Log4j 的日志等级 && Log4j 的配置方式 阅读全文
posted @ 2018-10-25 10:09 山间一棵松 阅读(133) 评论(0) 推荐(0)
DStream
该文被密码保护。
posted @ 2018-10-24 21:45 山间一棵松 阅读(0) 评论(0) 推荐(0)
[Spark Streaming_1] Spark Streaming 概述
摘要：Spark Streaming 介绍 && 在 IDEA 中编写 Spark Streaming 程序 阅读全文
posted @ 2018-10-23 14:57 山间一棵松 阅读(206) 评论(0) 推荐(0)
[Spark SQL_3] Spark SQL 高级操作
摘要：DataSet 介绍 && Spark SQL 访问 JSON 文件 && Spark SQL 访问 Parquet 文件 && Spark SQL 访问 JDBC 数据库 && Spark SQL 作为分布式查询引擎 阅读全文
posted @ 2018-10-22 20:56 山间一棵松 阅读(1333) 评论(0) 推荐(0)
【未完成】[Spark SQL_2] 在 IDEA 中编写 Spark SQL 程序
摘要：在 IDEA 中编写 Spark SQL 程序，分别编写 Java 程序 & Scala 程序 阅读全文
posted @ 2018-10-22 20:42 山间一棵松 阅读(222) 评论(0) 推荐(0)
【概率论】条件概率 & 全概率公式 & 朴素贝叶斯公式
摘要：条件概率 & 全概率公式 & 朴素贝叶斯公式 学习笔记 阅读全文
posted @ 2018-10-21 22:20 山间一棵松 阅读(1818) 评论(0) 推荐(0)
【爬坑】Python 3.6 在 Socket 编程时出现类型错误 TypeError: a bytes-like object is required, not 'str'
摘要：1. 问题描述 Python 3.6 在 Socket 编程时出现错误如下 2. 解决方案 类型错误，解决方案参考 python执行tcp服务器和客户端 将 Client 端代码改为以下 详情请查看 [Python_7] Python Socket 编程 阅读全文
posted @ 2018-10-20 20:05 山间一棵松 阅读(325) 评论(0) 推荐(0)
[Python_7] Python Socket 编程
摘要：Python Socket 编程 阅读全文
posted @ 2018-10-20 20:03 山间一棵松 阅读(208) 评论(0) 推荐(0)
[Python_6] Python 配置 MySQL 访问
摘要：Python 访问 MySQL 配置 阅读全文
posted @ 2018-10-20 17:29 山间一棵松 阅读(146) 评论(0) 推荐(0)
[Python_5] Python 线程
摘要：Python 线程笔记 阅读全文
posted @ 2018-10-20 17:15 山间一棵松 阅读(147) 评论(0) 推荐(0)
[Python_4] Python 面向对象(OOP)
摘要：Python 面向对象(OOP) 笔记、迭代磁盘文件、析构函数、内置方法、多重继承、异常处理 阅读全文
posted @ 2018-10-20 16:28 山间一棵松 阅读(181) 评论(0) 推荐(0)
[Python_3] Python 函数 & IO
摘要：Python 函数 & IO 笔记 阅读全文
posted @ 2018-10-20 15:00 山间一棵松 阅读(462) 评论(0) 推荐(0)
[Python_2] Python 基础
摘要：Python 的变量、字符串操作、list、元组、字典、循环、range、类型转换、运算等操作 阅读全文
posted @ 2018-10-20 11:16 山间一棵松 阅读(203) 评论(0) 推荐(0)
【一首小诗】每一个难捱的日子都是一首诗
摘要：作者写日记后有感而发创作的一首小诗 阅读全文
posted @ 2018-10-19 23:49 山间一棵松 阅读(150) 评论(0) 推荐(0)
【排序算法】选择排序(Selection sort)
摘要：0. 说明 选择排序（Selection sort）是一种简单直观的排序算法。 它的工作原理如下。 首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。 选择排序的主要优点与数据 阅读全文
posted @ 2018-10-19 19:55 山间一棵松 阅读(333) 评论(0) 推荐(0)
【排序算法】冒泡排序(Bubble Sort)
摘要：冒泡排序笔记 阅读全文
posted @ 2018-10-19 15:55 山间一棵松 阅读(1079) 评论(0) 推荐(0)
【待补充】[Python_1] Python 安装
摘要：Python 安装 阅读全文
posted @ 2018-10-18 16:45 山间一棵松 阅读(98) 评论(0) 推荐(0)
[IDEA_6] IDEA 集成 Python
摘要：IDEA 集成 Python 阅读全文
posted @ 2018-10-18 16:29 山间一棵松 阅读(476) 评论(0) 推荐(0)
MySQL 的 CURD 操作
摘要：0. 说明 1. 创建表 【1.0 通用语法】 【1.1 创建学生表】 【1.2 创建一个员工表】 阅读全文
posted @ 2018-10-17 20:12 山间一棵松 阅读(959) 评论(0) 推荐(0)
[Spark SQL_1] Spark SQL 配置
摘要：Spark SQL 配置 阅读全文
posted @ 2018-10-16 21:09 山间一棵松 阅读(1245) 评论(0) 推荐(0)
MySQL 基础
摘要：MySQL 事务 && MySQL 数据类型 && MySQL 登陆 && MySQL 数据库操作 阅读全文
posted @ 2018-10-16 09:34 山间一棵松 阅读(125) 评论(0) 推荐(0)
[HDFS_2] HDFS 的 Shell 操作
摘要：HDFS 的 Shell 操作 阅读全文
posted @ 2018-10-15 15:54 山间一棵松 阅读(265) 评论(0) 推荐(0)
[HDFS_1] HDFS 的概念和特性
摘要：HDFS的概念和特性 阅读全文
posted @ 2018-10-15 11:58 山间一棵松 阅读(2235) 评论(0) 推荐(0)
Spark 分布式调试工具
摘要：0. 说明 编写工具类，考察 Spark 分布式程序的执行地点 1. 工具类编写 [ JMX ] Java Management Extend , Java 管理扩展服务。 主要用于运维和监控。 【测试 JMX】 开启 nc，参考 [Linux] nc 通过 Client 模式运行 Spark 在 阅读全文
posted @ 2018-10-14 19:36 山间一棵松 阅读(605) 评论(0) 推荐(0)
【爬坑】MySQL 无法启动
摘要：启动 MySQL 时出现 ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061) 解决方案 阅读全文
posted @ 2018-10-14 13:06 山间一棵松 阅读(195) 评论(0) 推荐(0)
[Spark RDD_add_2] Spark RDD 分区补充内容
摘要：Spark & Hadoop 的分区 && 指定分区 repartition 和 coalesce 阅读全文
posted @ 2018-10-13 19:35 山间一棵松 阅读(308) 评论(0) 推荐(0)
【待补充】[Linux] nc
摘要：nc 的介绍 & 使用 阅读全文
posted @ 2018-10-13 17:25 山间一棵松 阅读(152) 评论(0) 推荐(0)
[Spark RDD_add_1] groupByKey & reduceBykey 的区别
摘要：groupByKey & reduceBykey 的区别 阅读全文
posted @ 2018-10-13 16:26 山间一棵松 阅读(286) 评论(0) 推荐(0)
【待补充】Spark 集群模式 && Spark Job 部署模式
摘要：Spark 集群模式 && Spark Job 部署模式 阅读全文
posted @ 2018-10-13 16:09 山间一棵松 阅读(160) 评论(0) 推荐(0)
Spark 集群管理命令
摘要：Spark 集群管理命令 阅读全文
posted @ 2018-10-13 15:44 山间一棵松 阅读(1338) 评论(0) 推荐(0)
Spark job 部署模式
摘要：Spark job 部署模式 阅读全文
posted @ 2018-10-12 21:20 山间一棵松 阅读(300) 评论(0) 推荐(0)
[Spark Core] Spark 核心组件
摘要：Spark 核心组件 阅读全文
posted @ 2018-10-12 20:08 山间一棵松 阅读(828) 评论(0) 推荐(0)
[Spark RDD_1] RDD 基本概念
摘要：RDD 概述 && 创建 RDD 的方式 && RDD 编程 API（Transformation 和 Action Operations） && RDD 的依赖关系 阅读全文
posted @ 2018-10-11 20:37 山间一棵松 阅读(558) 评论(0) 推荐(0)
【读书笔记】《天才在左 疯子在右》
摘要：遇见有趣的自己 阅读全文
posted @ 2018-10-11 18:40 山间一棵松 阅读(284) 评论(0) 推荐(0)
[Spark Core] Spark 使用第三方 Jar 包的方式
摘要：Spark 下运行job，使用第三方 Jar 包的 3 种方式。 阅读全文
posted @ 2018-10-10 18:43 山间一棵松 阅读(7343) 评论(1) 推荐(0)
[Spark Core] 在 Spark 集群上运行程序
摘要：将 IDEA 下的项目导出为 Jar 包，部署到 Spark 集群上运行。 阅读全文
posted @ 2018-10-10 15:49 山间一棵松 阅读(1416) 评论(0) 推荐(0)
【待补充】[Spark Core] Spark 实现标签生成
摘要：在 IDEA 中编写 Spark 代码实现将 JSON 数据转换成标签，分别用 Scala & Java 两种代码实现。 阅读全文
posted @ 2018-10-10 15:05 山间一棵松 阅读(784) 评论(0) 推荐(0)
Spark 集群搭建
摘要：Spark 集群搭建 阅读全文
posted @ 2018-10-09 14:03 山间一棵松 阅读(202) 评论(0) 推荐(0)
[Spark Core] Spark 在 IDEA 下编程
摘要：Spark 在 IDEA 下使用 Scala & Spark 在 IDEA 下使用 Java 编写 WordCount 程序 阅读全文
posted @ 2018-10-08 22:51 山间一棵松 阅读(198) 评论(0) 推荐(0)
[Spark Core] Spark 实现气温统计
摘要：Spark 实现气温统计 阅读全文
posted @ 2018-10-08 20:54 山间一棵松 阅读(866) 评论(0) 推荐(0)
[Spark Core] Spark Shell 实现 Word Count
摘要：Spark Shell 实现 Word Count 阅读全文
posted @ 2018-10-08 19:35 山间一棵松 阅读(294) 评论(0) 推荐(0)
Spark 基本概念 & 安装
摘要：Spark 基本概念 & 安装 阅读全文
posted @ 2018-10-08 16:35 山间一棵松 阅读(160) 评论(0) 推荐(0)
【未完成】Scala 集合 & 函数
该文被密码保护。
posted @ 2018-10-07 21:27 山间一棵松 阅读(3) 评论(0) 推荐(0)
Scala 基础
摘要：Scala 的基本概念 & 循环 阅读全文
posted @ 2018-10-04 18:57 山间一棵松 阅读(335) 评论(0) 推荐(0)
[Hive_2] Hive 的安装&配置
摘要：在安装好 Hadoop 集群和 ZooKeeper 分布式的基础上装好 MySQL，再进行 Hive 的安装配置。 阅读全文
posted @ 2018-10-01 22:04 山间一棵松 阅读(266) 评论(0) 推荐(0)