摘要: 两个重要的技术:Spark和graphs 本章节内容 为什么Spark是最先进的大数据处理系统 是什么让图可以以一种独特的方式来模拟关联数据 GraphX为什么会成规领先的图分析平台 阅读全文
posted @ 2016-12-09 09:44 高兴的博客 阅读(310) 评论(0) 推荐(0) 编辑
摘要: http://www.datayes.com/ https://www.joinquant.com http://blog.csdn.net/qq_34941023/article/details/52837177?locationNum=8&fps=1 阅读全文
posted @ 2016-12-07 11:28 高兴的博客 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 2016-11-08 22:21:16,875 ERROR [main-SendThread(ht-lxfx-01:24002)] client.ZooKeeperSaslClient: An error: (java.security.PrivilegedActionException: java 阅读全文
posted @ 2016-11-08 22:35 高兴的博客 阅读(5992) 评论(0) 推荐(0) 编辑
摘要: 网上找了很多教材都搜索不到该部分类型,自己测试了下写了该教程。场景说明:项目需要使用bootstrap,众所周知bootstrap没有时间日期控件的,需要使用第三方控件,我对如何在angular2中使用第三方控件比较恐慌,我项目使用angular-cli构建的。解决流程1:配置package.json添加新的依赖,然后进行update,下载新的库 "jquery":"*", "teth... 阅读全文
posted @ 2016-10-09 22:27 高兴的博客 阅读(7503) 评论(1) 推荐(0) 编辑
摘要: 感谢笛卡尔让代数和几何结合起来。大学的时候讲矩阵感觉就是突然进入一个新的世界,和以前的世界没有任何的联系,我认为任何的新知识如果不能用旧的知识去引导,去结合,那么这个知识一定难以理解。感谢Gilbert Strang以一种循序渐进的讲课方式把线性方程组和矩阵进行了结合。线性方程组忘记是哪个阶段的知识了,才开始是使用消元法进行解方程组,后来使用几何的方式来表示这种方式。就是在笛卡尔坐标系上划线,这应... 阅读全文
posted @ 2016-09-25 12:16 高兴的博客 阅读(671) 评论(0) 推荐(0) 编辑
摘要: 换了新的工作,时间比较宽裕,游戏打了也没有意思,电影看来看去套路都一样,正好机器学习这么火,想利用这段时间学习下,才发现线性代数太差了。感谢网易公开课上面有麻省理工大学的线性代数的课程,老头讲的很不错,更重要的是习题老师是个美女。下半年把线性代数拿下。 阅读全文
posted @ 2016-09-21 22:46 高兴的博客 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 方案背景 Hbase的索引方案有很多,越来越多的人开始选择ES+Hbase的方案,其实该方案并没有想象中那么完美,ES并发低,同时查询速度相对Hbase也慢很多,那为什么会选择他呢,它的写入比较快,如果一个宽表需要建20个索引,在数据导入时,hbase每秒导入20W,那么ES压力就是每秒400W,s 阅读全文
posted @ 2016-03-11 22:48 高兴的博客 阅读(16995) 评论(0) 推荐(2) 编辑
摘要: ./bin/sparkR --packages com.databricks:spark-csv_2.10:1.3.0 --master yarn hdfs://master:9000/tmp/demo.cvs 替换你的hdfs路径>sc = sparkR.init(master = "yarn″, 阅读全文
posted @ 2016-03-01 14:24 高兴的博客 阅读(2330) 评论(2) 推荐(0) 编辑
摘要: 1:首先配置hive-site.xml 2: 配置postgresql的jdbc jar路径 在spark-default.properties中配置 问题1 启动thriftserver, 10000监听端口死活打不开。把hive-site.xml重命名,使用默认的derby数据库,可以启动 在网 阅读全文
posted @ 2016-01-08 19:52 高兴的博客 阅读(2711) 评论(0) 推荐(0) 编辑
摘要: spark如何读写Sequoiadb,最近被客户问多了,这个记录下。 Spark读Sequoiadb数据: Spark写Sequoiadb 阅读全文
posted @ 2015-12-15 17:14 高兴的博客 阅读(853) 评论(0) 推荐(0) 编辑