摘要： https://zhidao.baidu.com/question/136812310131554325.html 阅读全文

摘要： 进化的Spark, 从DataFrame说起：http://www.tuicool.com/articles/IzeY7zM 阅读全文

摘要： Hive字符串分割函数 split(str, regex) - Splits str around occurances that match regexTime taken: 0.769 seconds, Fetched: 1 row(s) 返回值为一个数组 a.基本用法： 例1： split(' 阅读全文

摘要： Spark On YARN内存分配 http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 阅读全文

摘要： 浅谈Spark应用程序的性能调优 :http://geek.csdn.net/news/detail/51819 下面列出的这些API会导致Shuffle操作，是数据倾斜可能发生的关键点所在 1. groupByKey 2. reduceByKey 3. aggregateByKey 4. sort 阅读全文

摘要： 转自 ：http://www.cnblogs.com/tuitui1989/p/5337968.html 一.基本统计量 统计向量的长度,最大值，最小值，非0个数，模1和模2,方差等 import org.apache.spark.mllib.linalg.{Vector,Vectors} impo 阅读全文

摘要： 转自： http://www.cnblogs.com/tuitui1989/p/5331113.html 一.本地向量 有如下几个类: Vector(基类),DenseVector,SparseVector,Vectors(工厂方法,推荐用) 工厂模式是：定义一个用于创建对象的接口，让子类决定实例化 阅读全文

摘要： 案例1： ==效果等同于一行转多行 数据表名称：zhangb.gid_tags 数据格式，每行是2个字段，（gid，tags) ，可能有脏数据，分隔符为“\t”， ANDROID-9de77225cadb4319adfc1b1fe51c54f0 h65010000,014200,018100,011 阅读全文

摘要： #将原文件存入字典 import os import copy import codecs os.chdir('/Users/zhangb/Desktop/数据挖掘文件/取数流程') f_in = codecs.open('yalu1115','r','utf-8') source_dic = {} for i in f_in.readlines(): line = i.strip()... 阅读全文

摘要： 注意 ：|，； 是特殊符号，要用 "\\|", "\\;"来表示。 一行转多行 usertags 里面有很多项，每项之间以逗号分隔 create table tag_count2 as select tag,count(gid) from ( select gid,tag from (select 阅读全文