数据存储 - 随笔分类 - zhangxuhui

为什么我们选择parquet

摘要：说明：此方案已经我们已经运行1年。 1、场景描述：我们对客户登录日志做了数据仓库，但实际业务使用中有一些个共同点， A 需要关联维度表 B 最终仅取某个产品一段时间内的数据 C 只关注其中极少的字段基于以上业务，我们决定每天定时统一关联维度表，对关联后的数据进行另外存储。各个业务直接使用关联后的阅读全文

posted @ 2016-05-08 10:36 zhangxuhui 阅读(38076) 评论(2) 推荐(2)

cassandra 之集群部署

摘要：其实关于部署没啥好说的，修改config/cassandra.yaml以下几个地方就可以了阅读全文

posted @ 2016-04-24 21:39 zhangxuhui 阅读(938) 评论(0) 推荐(0)

cassandra 之在spark-shell 中使用 spark cassandra connector 完整案例

摘要：1、cassandra 准备启动cqlsh， 2、spark cassandra conector jar包新建空项目，使用sbt,引入connector,打包为spark-cassandra-connector-full.jar，在*.sbt文件中添加如下一行 libraryDependenc 阅读全文

posted @ 2016-04-24 17:47 zhangxuhui 阅读(3055) 评论(0) 推荐(0)

部分数据库资料

摘要：Cassandra官网：http://cassandra.apache.org/语言支持：http://wiki.apache.org/cassandra/ClientOptions 默认端口：7000 redis官网：http://redis.io/语言支持：http://redis.io/cli 阅读全文

posted @ 2015-01-04 19:30 zhangxuhui 阅读(228) 评论(0) 推荐(0)

postgresql 入门（含java、scala连接代码）

摘要：1、下载安装包官网：http://www.postgresql.org/download/ 按自己需求，下载安装包，我下载的windows版32位的。http://get.enterprisedb.com/postgresql/postgresql-9.4.0-1-windows.exe 2、安阅读全文

posted @ 2015-01-04 15:16 zhangxuhui 阅读(4146) 评论(0) 推荐(0)

redis 入门

摘要：1、命令行工具在windows上巧命令行指令，实在是令人痛苦，本人实在是受不了windows下cmd的笨，powershell的蠢，只能换一个了。介绍一款cmd工具cmder（github上开源），地址：http://bliker.github.io/cmder/，如下图，若有更好的工具，请大家阅读全文

posted @ 2015-01-03 21:42 zhangxuhui 阅读(7907) 评论(2) 推荐(2)

cassandra 之 jdbc 使用【java、scala】

摘要：1、数据库创建参考接上文cassandra入门 http://www.cnblogs.com/piaolingzxh/p/4197833.html 2、下载jdbc驱动源码，构建jar包源码下载地址：https://bitbucket.org/openscg/cassandra2-jdbc/sr 阅读全文

posted @ 2015-01-02 11:15 zhangxuhui 阅读(3901) 评论(0) 推荐(1)

Cassandra 之入门

摘要：1、到官网下载压缩包。 http://cassandra.apache.org/download/ 我下载的是最新的 apache-cassandra-2.1.2-bin.tar.gz 另外：语言支持：http://wiki.apache.org/cassandra/ClientOptions 2、阅读全文

posted @ 2015-01-01 22:56 zhangxuhui 阅读(12007) 评论(0) 推荐(0)

随笔分类 - 数据存储