zhangxuhui - 博客园

2016年4月30日

rabbitmq direct、fanout、topic 三种Exchange java 代码比较

摘要： Producer端 1、channel的创建无论是才用什么样的Exchange，创建channel代码都是相同的，如下 2、Exchange的创建 2.1 direct direct使用默认的Exchange，不需要声明，单需要指定消息发送到那个队列 2.2 fanout 2.3 topic如下阅读全文

posted @ 2016-04-30 14:52 zhangxuhui 阅读(1839) 评论(0) 推荐(0)

2016年4月24日

spark 性能优化

摘要： 1、内存 spark.storage.memoryFraction：很明显，是指spark缓存的大小，默认比例0.6 spark.shuffle.memoryFraction：管理executor中RDD和运行任务时的用于对象创建内存比例，默认0.2 关于这两个参数的设置，常见的一个场景就是操作关系阅读全文

posted @ 2016-04-24 23:10 zhangxuhui 阅读(1807) 评论(0) 推荐(0)

spark sql 窗口函数over partition by

摘要： 1、窗口函数需要使用hiveContext，故引入如下包 libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" % "provided" libraryDependencies += "org.apache.spark 阅读全文

posted @ 2016-04-24 21:55 zhangxuhui 阅读(5424) 评论(0) 推荐(0)

cassandra 之集群部署

摘要：其实关于部署没啥好说的，修改config/cassandra.yaml以下几个地方就可以了阅读全文

posted @ 2016-04-24 21:39 zhangxuhui 阅读(932) 评论(0) 推荐(0)

cassandra 之在spark-shell 中使用 spark cassandra connector 完整案例

摘要： 1、cassandra 准备启动cqlsh， 2、spark cassandra conector jar包新建空项目，使用sbt,引入connector,打包为spark-cassandra-connector-full.jar，在*.sbt文件中添加如下一行 libraryDependenc 阅读全文

posted @ 2016-04-24 17:47 zhangxuhui 阅读(3045) 评论(0) 推荐(0)

2015年3月22日

sublime text 3 设置

摘要：最近开始用sublime text 3，查资料总结了一下常用的设置，记录下以备用，同时也希望能改大家带来方便 0、使用package control安装,点前边超链接，复制左侧代码到console，回车执行 sublime text 3: import urllib.request,os,hashl 阅读全文

posted @ 2015-03-22 21:50 zhangxuhui 阅读(2813) 评论(0) 推荐(0)

2015年1月23日

ubuntu 14.04 下安装jdk8及 smartgithg

摘要：公司使用git作为源码管理，又需要在ubuntu下工作，然后，自己就找了找，目前ubuntu下的git gui客户端，感觉 smartgit算是其中比较好用的一个，下边是具体安装步骤说明，smartgit需要jdk，因此，先安装jdk1、下载JDK,建议7以上，我使用的是8u31，使用ubuntu火... 阅读全文

posted @ 2015-01-23 11:04 zhangxuhui 阅读(1677) 评论(0) 推荐(0)

2015年1月11日

ubuntu 14.04中安装 ruby on rails 环境（填坑版）呕血推荐

摘要：环境：在win7 上Vmware虚拟机环境中安装的ubuntu 14.04开发相关:ruby 2.2.0rails 4.2.0sublime text 3 本文说明：所有的命令均在$ 之后，若$前边带有信息，只是为了方便你理解和与自己对照。安装过程中由于这样那样的原因，产生许多坑，所谓坑是对初学者阅读全文

posted @ 2015-01-11 23:31 zhangxuhui 阅读(4202) 评论(7) 推荐(1)

2015年1月4日

部分数据库资料

摘要： Cassandra官网：http://cassandra.apache.org/语言支持：http://wiki.apache.org/cassandra/ClientOptions 默认端口：7000 redis官网：http://redis.io/语言支持：http://redis.io/cli 阅读全文

posted @ 2015-01-04 19:30 zhangxuhui 阅读(222) 评论(0) 推荐(0)

postgresql 入门（含java、scala连接代码）

摘要： 1、下载安装包官网：http://www.postgresql.org/download/ 按自己需求，下载安装包，我下载的windows版32位的。http://get.enterprisedb.com/postgresql/postgresql-9.4.0-1-windows.exe 2、安阅读全文

posted @ 2015-01-04 15:16 zhangxuhui 阅读(4130) 评论(0) 推荐(0)