大数据和AI躺过的坑

2017年4月30日

摘要： Apriori的挑战及改进方案挑战多次数据库扫描巨大数量的候补项集繁琐的支持度计算改善Apriori: 基本想法减少扫描数据库的次数减少候选项集的数量简化候选项集的支持度计算 FPGROWTH算法优点相比Apriori算法需要多次扫描数据库，FPGrowth只需要对数据库扫描2次。阅读全文

posted @ 2017-04-30 12:08 大数据和AI躺过的坑阅读(11867) 评论(0) 推荐(2)

贝叶斯决策

摘要：贝叶斯决策简单例子引入先验概率后验概率最小错误率决策最小风险贝叶斯决策简单的例子正常情况下，我们可以快速的将街上的人分成男和女两类。这里街上的人就是我们观测到的样本，将每一个人分成男、女两类就是我们做决策的过程。上面的问题就是一个分类问题。分类可以看作是一种决策，即我们根据观测对样本阅读全文

posted @ 2017-04-30 11:43 大数据和AI躺过的坑阅读(2147) 评论(0) 推荐(1)

Mahout的推荐系统

摘要： Mahout的推荐系统什么是推荐系统为什使用推荐系统推荐系统中的算法什么是推荐系统为什么使用推荐系统？促进厂商商品销售，帮助用户找到想要的商品推荐系统无处不在，体现在生活的各个方面图书推荐；QQ好友推荐；优酷，爱奇艺的视频推荐；豆瓣的音乐推荐；大从点评的餐饮推荐；世纪佳缘的相亲推荐；阅读全文

posted @ 2017-04-30 10:31 大数据和AI躺过的坑阅读(13192) 评论(1) 推荐(2)

2017年4月29日

Spark Tachyon实战应用（配置启动环境、运行spark和运行mapreduce）

摘要： Tachyon实战应用配置及启动环境修改spark-env.sh 启动HDFS 启动Tachyon Tachyon上运行Spark 添加core-site.xml 启动Spark集群读取文件并保存 Tachyon运行MapReduce 修改core-site.xml 启动YARN 运行MapR 阅读全文

posted @ 2017-04-29 21:41 大数据和AI躺过的坑阅读(505) 评论(0) 推荐(0)

Spark Tachyon的命令行使用

摘要： Tachyon命令行使用 Tachyon接口说明接口操作示例 copyFromLocal copyToLocal ls和lsr count cat mkdir、rm、rmr和touch pin和unpin Tachyon接口说明接口操作示例 copyFromLocal copyToLocal l 阅读全文

posted @ 2017-04-29 21:25 大数据和AI躺过的坑阅读(707) 评论(0) 推荐(0)

Tachyon的配置详解

摘要： Tachyon的配置 Tachyon环境变量 Tachyon通用配置 TachyonMaster配置 TachyonWorker配置用户配置 Tachyon环境变量 Tachyon通用配置 TachyonMaster配置 TachyonWorker配置用户配置 1 Tachyon的配置这里以0 阅读全文

posted @ 2017-04-29 21:16 大数据和AI躺过的坑阅读(881) 评论(0) 推荐(0)

Spark Tachyon编译部署（含单机和集群模式安装）

摘要： Tachyon编译部署编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1、Tachyon编译部署 Tachyon目前的最新发布版为0.7.1，其官方网址为http://tachyon-project.o 阅读全文

posted @ 2017-04-29 21:10 大数据和AI躺过的坑阅读(578) 评论(0) 推荐(0)

Spark MLlib协同过滤算法

摘要：算法说明协同过滤（Collaborative Filtering，简称CF，WIKI上的定义是：简单来说是利用某个兴趣相投、拥有共同经验之群体的喜好来推荐感兴趣的资讯给使用者，个人透过合作的机制给予资讯相当程度的回应（如评分）并记录下来以达到过滤的目的，进而帮助别人筛选资讯，回应不一定局限于特别感阅读全文

posted @ 2017-04-29 20:24 大数据和AI躺过的坑阅读(7348) 评论(1) 推荐(1)

Spark MLlib回归算法LinearRegression

摘要：算法说明线性回归是利用称为线性回归方程的函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析方法，只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归，在实际情况中大多数都是多元回归。线性回归（Linear Regression）问题属于监督学习（Supervised Le 阅读全文

posted @ 2017-04-29 20:05 大数据和AI躺过的坑阅读(2825) 评论(0) 推荐(0)

Spark MLlib聚类KMeans

摘要：算法说明聚类（Cluster analysis）有时也被翻译为簇类，其核心任务是：将一组目标object划分为若干个簇，每个簇之间的object尽可能相似，簇与簇之间的object尽可能相异。聚类算法是机器学习（或者说是数据挖掘更合适）中重要的一部分，除了最为简单的K-Means聚类算法外，比较常阅读全文

posted @ 2017-04-29 19:46 大数据和AI躺过的坑阅读(1731) 评论(0) 推荐(0)

大数据和人工智能躺过的坑

公告