吱吱了了 - 博客园

7、A Design of Group Recommendation Mechanism Considering Opportunity Cost and Personal Activity Using Spark Framework---使用Spark框架的基于机会成本以及个人活动群组推荐机制

摘要：来源EDB2018 EDB 一、摘要：组推荐是将一种项目（例如产品、服务）推荐给由多个成员组成的组的方法。最小痛苦法（least Misery）是一种具有代表性的群体推荐方法，其能够推荐考虑群体不满意的项目，但存在推荐准确率低的缺点。均值法推荐精度较高，但是不能考虑群体的不满意项目。本文提出阅读全文

posted @ 2018-10-09 21:08 吱吱了了阅读(475) 评论(0) 推荐(0)

（2）pyspark建立RDD以及读取文件成dataframe

摘要：别人的相关代码文件：https://github.com/bryanyang0528/hellobi/tree/master/pyspark 1、启动spark （1）SparkSession 是 Spark SQL 的入口。（2）通过 SparkSession.builder 来创建一个 Spa 阅读全文

posted @ 2018-10-09 12:35 吱吱了了阅读(3838) 评论(0) 推荐(0)

（1）安装----anaconda3下配置pyspark【单机】

摘要： 1、确保已经安装jdk和anaconda3。【我安装的jdk为1.8，anaconda的python为3.6】 2、安装spark，到官网 http://spark.apache.org/downloads.html 上下载，我下载的是spark-2.3.1-bin-hadoop2.7.tgz。（阅读全文

posted @ 2018-10-09 11:46 吱吱了了阅读(3239) 评论(0) 推荐(0)

链表问题（7）----相交，相加

摘要：一、题目：两个单链表相交的一系列问题思路： 1、首先分别判断两个链表是否有环。如果一个有环，一个无环，则表明肯定不相交。思路：设置两个指针，一个慢slow【每次只走一步】，一个快fast【每次走两步】，如果快的走完全程，即走到None，则表示没有环，如果两个指针一直走下去，且存在slow = f 阅读全文

posted @ 2018-10-08 10:50 吱吱了了阅读(377) 评论(0) 推荐(0)

centos7下安装pyspark

摘要： 1、安装python 2、安装jdk 3、下载spark：http://spark.apache.org/downloads.html, 下载新版（spark-2.3.1-bin-hadoop2.7.tar) 4、解压到合适的目录，我放在了/usr/lyl/spark下,采用的命令为：tar zxv 阅读全文

posted @ 2018-10-07 21:59 吱吱了了阅读(2817) 评论(0) 推荐(0)

Linux（1）---常用命令

摘要： 1、将tgz文件解压到指定目录： # tar zxvf test.tgz -C 指定目录比如将 /lyl/test.tgz解压到 /lyl/linux 目录下 # tar zxvf /lyl/test.tgz -C /lyl/linux 2、删除正则匹配的文件比如 home下面有我备份的文件压缩阅读全文

posted @ 2018-10-07 21:02 吱吱了了阅读(279) 评论(0) 推荐(0)

centos7安装anaconda之后报错：rpm: /home/wyl/anaconda3/lib/liblzma.so.5: version `XZ_5.1.2alpha' not found (required by /lib64/librpmio.so.3)

摘要： 1、报错参考：https://stackoverflow.com/questions/47633870/rpm-lib64-liblzma-so-5-version-xz-5-1-2alpha-not-found-required-by-lib-li centos7中默认python版本为2，故安阅读全文

posted @ 2018-10-06 21:51 吱吱了了阅读(9805) 评论(0) 推荐(1)