会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
yuerspring
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
18
19
20
21
22
23
24
25
26
···
34
下一页
2016年9月21日
垃圾邮件分类(Scala 版本)
摘要: import org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.classification.LogisticRegressionWithSGDimport org.apache.spark.m...
阅读全文
posted @ 2016-09-21 22:18 yuerspring
阅读(337)
评论(0)
推荐(0)
2016年9月20日
SQL 面试经典问题 行列互相转化
摘要: SQL 面试经典问题 行列互相转化 1.行转列select 姓名 as 姓名 ,max(case 课程 when '语文' then 分数 else 0 end) 语文,max(case 课程 when '数学' then 分数 else 0 end) 数学,max(...
阅读全文
posted @ 2016-09-20 21:28 yuerspring
阅读(139)
评论(0)
推荐(0)
2016年9月17日
逻辑回归(推荐系统)
摘要: import java.io.PrintWriterimport org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.linalg.SparseVectorimport org.apache.sp...
阅读全文
posted @ 2016-09-17 20:46 yuerspring
阅读(755)
评论(0)
推荐(0)
KafKa常用命令
摘要: kafka-0.9.0.1/bin/kafka-server-start.sh ../config/server.properties &bin/kafka-console-producer.sh --broker-list hadoop1:9092,hadoop2:...
阅读全文
posted @ 2016-09-17 14:45 yuerspring
阅读(89)
评论(0)
推荐(0)
2016年9月14日
机器学习重点与步骤
摘要: 机器学习重点与步骤 1.找到数据集,提取特征向量 训练集 & 测试集2.使用正确的机器算法3.保证高的可靠性
阅读全文
posted @ 2016-09-14 21:25 yuerspring
阅读(152)
评论(0)
推荐(0)
2016年9月9日
Sqoop 测试数据导入示例
摘要: Sqoop 1.4.6执行方法 sqoop --options-file options11.hdfstomysqlexport--connectjdbc:mysql://bigdatacloud:3306/test--usernameroot--password...
阅读全文
posted @ 2016-09-09 20:43 yuerspring
阅读(303)
评论(0)
推荐(0)
java 链接mysql 产生500W数据模拟生成环境
摘要: java 插入数据到mysql 通过sqoop 导入到hive 中,kylin模拟见cube 时间和 数据膨胀率 kylin 数据插入到 HBaseKylinHBase 1.1.3Hive 1.2.1Hadoop 2.5.1create table infoageti...
阅读全文
posted @ 2016-09-09 20:33 yuerspring
阅读(330)
评论(0)
推荐(0)
2016年9月8日
Spark shuffle 优化
摘要: spark.shuffle.file.buffer默认值:32k参数说明:该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前,会先写入buffer缓冲中,待缓冲写满之后,才会溢写到...
阅读全文
posted @ 2016-09-08 20:07 yuerspring
阅读(162)
评论(0)
推荐(0)
2016年9月5日
spark-sql master on yarn 模式运行 select count(*) 报错日志
摘要: 启动hive --service metastore启动 dfs yarn[root@bigdatastorm bin]# ./spark-sql --master yarn --deploy-mode client --driver-memory 512m --ex...
阅读全文
posted @ 2016-09-05 22:30 yuerspring
阅读(821)
评论(0)
推荐(0)
2016年9月2日
Spark streaming 应用简单示例
摘要: Spark streaming 应用简单示例package com.orc.streamimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.streaming.{Second...
阅读全文
posted @ 2016-09-02 22:10 yuerspring
阅读(218)
评论(0)
推荐(0)
上一页
1
···
18
19
20
21
22
23
24
25
26
···
34
下一页
公告