thinker1017 - 博客园

2017年5月25日

摘要： 1. Presto 是什么 Facebook presto是什么，继Facebook创建了HIVE神器后的又一以SQL语言作为接口的分布式实时查询引擎，可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询，聚合，JOIN以及窗口函数等。除了Facebook这个创造都在使用外阅读全文

posted @ 2017-05-25 16:50 thinker1017 阅读(2398) 评论(0) 推荐(0)

2017年5月24日

在CentOS 6.X 上面安装 Python 2.7.X

摘要： CentOS 6.X 自带的python版本是 2.6 , 由于工作需要，很多时候需要2.7版本。所以需要进行版本升级。由于一些系统工具和服务是对 Python 有依赖的，所以升级 Python 版本需要注意。转：https://ruiaylin.github.io/2014/12/12/pyth 阅读全文

posted @ 2017-05-24 14:55 thinker1017 阅读(336) 评论(0) 推荐(0)

2017年5月23日

Storm实战常见问题及解决方案

摘要：该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。相关描述 ² 其他相关文档请参考新浪博客http://blo 阅读全文

posted @ 2017-05-23 17:15 thinker1017 阅读(724) 评论(0) 推荐(0)

storm集群安装部署

摘要：安装步骤：搭建Zookeeper集群；安装Storm依赖库；下载并解压Storm发布版本；修改storm.yaml配置文件；启动Storm各个后台进程。 1、搭建Zookeeper集群这一步基本已经部署（homed已经部署）。如果没有部署，请参考zookeeper部署文档。 2、安装阅读全文

posted @ 2017-05-23 11:00 thinker1017 阅读(403) 评论(0) 推荐(0)

2017年5月17日

电影受众分析系统

摘要： spark on yarn模式分为两种模式：一、Yarn-cluster模式 1、通过spark-submit提交spark jar包（Application）,与RM进行通信请求启动AM 2、RM接收到请求之后，会在一个相对空闲的nodemanager中分配Container,然后再此Conta 阅读全文

posted @ 2017-05-17 17:08 thinker1017 阅读(484) 评论(0) 推荐(0)

Spark机器学习之推荐引擎

摘要：一. 最小二乘法建立模型关于最小二乘法矩阵分解，我们可以参阅：一、矩阵分解模型。用户对物品的打分行为可以表示成一个评分矩阵A(m*n)，表示m个用户对n各物品的打分情况。如下图所示：其中，A(i,j)表示用户user i对物品item j的打分。但是，ALS 的核心就是下面这个假设：的打分矩阅读全文

posted @ 2017-05-17 17:02 thinker1017 阅读(284) 评论(0) 推荐(0)

2017年5月14日

RNN教程之-2 LSTM实战

摘要：前言说出来你们不敢相信，刚才码了半天的字，一个侧滑妈的全没了，都怪这Mac的触摸板太敏感沃日。好吧，不浪费时间了，前言一般都是废话，这个教程要解决的是一个LSTM的实战问题，很多人问我RNN是啥，有什么卵用，你可以看看我之前写的博客可以入门，但是如果你想实际操作代码，那么慢慢看这篇文章。本文章所有阅读全文

posted @ 2017-05-14 12:38 thinker1017 阅读(3065) 评论(0) 推荐(0)

用 Tensorflow 建立 CNN

摘要：稍稍乱入的CNN，本文依然是学习周莫烦视频的笔记。还有 google 在 udacity 上的 CNN 教程。 CNN(Convolutional Neural Networks) 卷积神经网络简单讲就是把一个图片的数据传递给CNN，原涂层是由RGB组成，然后CNN把它的厚度加厚，长宽变小，每做一阅读全文

posted @ 2017-05-14 12:36 thinker1017 阅读(1190) 评论(0) 推荐(0)

(转)零基础入门深度学习(6) - 长短时记忆网络(LSTM)

摘要：无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。阅读全文

posted @ 2017-05-14 11:42 thinker1017 阅读(3265) 评论(0) 推荐(2)

Apache Spark 内存管理详解

摘要：原文出处： IBM developerWorks Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对阅读全文

posted @ 2017-05-14 11:34 thinker1017 阅读(919) 评论(0) 推荐(0)

公告