随笔分类 -  数据分析

Breeze常用函数
摘要:下面列举了三个不同库,相同功能的函数列表: 示例代码如下: 阅读全文

posted @ 2018-11-09 17:51 fishjar 阅读(976) 评论(0) 推荐(0)

SparkRDD基本操作
摘要:一)新建maven项目,引入如下pom文件<dependency> 阅读全文

posted @ 2018-09-09 10:01 fishjar 阅读(376) 评论(0) 推荐(0)

SparkSQL基本用法一
摘要:参考:http://spark.apache.org/docs/latest/sql-programming-guide.html 1)使用maven构建Scala工程。 1.1)新增pom依赖包文件如下: 1.2)新建Scala类,代码及功能描述如下: 阅读全文

posted @ 2018-08-22 22:07 fishjar 阅读(1796) 评论(0) 推荐(0)

IK分词器用法
摘要:一)新建maven工程 1.1)项目结构如下: 1.2)IKAnalyzer.cfg.xml内容如下: 1.3)在pom文件中添加如下jar 三)运行结果如下: 可在extend.dic 与 stopword.dic 之间进行调整 分词 阅读全文

posted @ 2018-08-20 13:23 fishjar 阅读(6390) 评论(1) 推荐(0)

推荐系统入门案例
摘要:一)数据文件说明: user_artist_data.txt 3 columns: userid artistid playcount artist_data.txt 2 columns: artistid artist_name artist_alias.txt 2 columns: badid, 阅读全文

posted @ 2018-07-30 10:43 fishjar 阅读(196) 评论(0) 推荐(0)