会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
AI晓
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
11
12
13
14
15
2017年6月8日
spark idea项目打jar包的两种方式
摘要: 一、基于idea插件方式 1.file->Project Structure 2.Artifacts->JAR->From modules with dependencies... 3.删除多余的jar包,否则可能运行时会报错 4.点击 ok 5.Build->Build Aftifacts...
阅读全文
posted @ 2017-06-08 16:38 粒子先生
阅读(7472)
评论(0)
推荐(0)
2017年5月11日
SparkStreaming 对Window的reduce的方法解析(转载)
摘要: 在sparkstreaming中对窗口范围进行reduce主要有下面四个方法, 其他方法都是直接或者间接调用下面的方法来获取结果 对非(K,V)形式的RDD 窗口化reduce: 对(K,V)形式RDD 按Key窗口化reduce: 从方法上面来看, 理解和使用#1的方法确实非常简单, 但是在大数据
阅读全文
posted @ 2017-05-11 15:35 粒子先生
阅读(2701)
评论(0)
推荐(1)
2017年5月2日
两种创建RDD 的方式
摘要: 一,创建RDD 最简单的方式就是把程序中一个已有的集合传给SparkContext 的parallelize()方法: 二、更常用的方式是从外部存储中读取数据来创建RDD:
阅读全文
posted @ 2017-05-02 11:14 粒子先生
阅读(1220)
评论(0)
推荐(0)
创建DataFrame的两个途径
摘要: 转自:https://www.shiyanlou.com/courses/543/labs/1835/document https://www.shiyanlou.com/courses/536/labs/1818/document 一、从 RDD 创建 DataFrame: Step 3:定义 c
阅读全文
posted @ 2017-05-02 10:53 粒子先生
阅读(5387)
评论(0)
推荐(0)
2017年4月25日
Spark修炼之道(基础篇)——Linux大数据开发基础:第六节:vi、vim编辑器(二)(转载)
摘要: 转自云栖社区: https://yq.aliyun.com/articles/60354?spm=5176.8251999.569296.36.siyXRn 周志湖 2015-08-25 21:23:00 浏览305 评论0 摘要: 本节主要内容 缓冲区的使用 文件的存盘与读盘 文本查找 文本替换
阅读全文
posted @ 2017-04-25 14:40 粒子先生
阅读(236)
评论(0)
推荐(0)
Spark修炼之道(基础篇)——Linux大数据开发基础:第五节:vi、vim编辑器(一)(转载)
摘要: 转自云栖社区: https://yq.aliyun.com/articles/60355?spm=5176.8251999.569296.35.siyXRn 周志湖 2015-08-25 15:48:00 浏览432 评论0 摘要: 本节主要内容 vim编辑器的三种模式 移动光标 输入模式 修改文本
阅读全文
posted @ 2017-04-25 14:17 粒子先生
阅读(320)
评论(0)
推荐(0)
2016年2月22日
常用排序算法
摘要: 参考如下链接: http://blog.csdn.net/hguisu/article/details/7776068
阅读全文
posted @ 2016-02-22 16:22 粒子先生
阅读(189)
评论(0)
推荐(0)
2015年12月31日
数据结构与算法分析-二叉堆
摘要: 二叉堆是一棵完全二叉树,具有结构性和堆序性,父节点小于等于子节点; 它可以用数组表示,不需要指针,对于数组中任意位置i上的元素,其左儿子节点在2i上,右儿子节点在(2i + 1)上,它的父节点则在位子[i / 2]上; 使用数组实现堆的方法需要事先估计堆的大小;
阅读全文
posted @ 2015-12-31 15:49 粒子先生
阅读(272)
评论(0)
推荐(0)
2015年12月9日
数据结构与算法分析-AVL树
摘要: 1.AVL树是带有平衡条件的二叉查找树. 2.AVL树的每个节点高度最多相差1. 3.AVL树实现的难点在于插入或删除操作.由于插入和删除都有可能破坏AVL树高度最多相差1的特性,所以当特性被破坏时需要通过旋转方式调整树结构.具体旋转方式有以下4种,举例说明如下: LL型: 6 5 / 右转 / \
阅读全文
posted @ 2015-12-09 16:18 粒子先生
阅读(262)
评论(0)
推荐(0)
2015年12月1日
数据结构与算法分析-二叉查找树
摘要: #include #include #define ElementType int //节点数据类型 //typedef struct TreeNode *Position; //typedef struct TreeNode *SearchTree; struct TreeNode { ElementType Element; struct TreeNode *Le...
阅读全文
posted @ 2015-12-01 18:03 粒子先生
阅读(331)
评论(0)
推荐(0)
上一页
1
···
11
12
13
14
15
公告