扎心了老铁

摘要： 在Dao层，通过数据库表反向生成，可以节省我们很多的精力，把更多的精力投入复杂的业务中。 数据库表反向生成，指的是通过数据库如mysql中的库表schema生成dao层读写表的基础代码，包括model(entity)和dao(mapper)。 在本文中我先介绍java中mybatis-generat 阅读全文

摘要： 在这一篇中我们实现了不通过zk来编写codis集群proxys的api，http://www.cnblogs.com/kangoroo/p/7481567.html 如果codis集群暴露zk给你的话，那么就方便了，探活和故障摘除与恢复codis集群都给你搞定了，你只需要监听zookeeper中实例 阅读全文

摘要： 在使用codis时候，我们遇到的场景是，公司提供了HA的Proxy（例如N个），但是不暴露zookeeper（也就是说没有codis后端服务列表）。 如果暴露zk的话，可以看这一篇，http://www.cnblogs.com/kangoroo/p/7485760.html 要求在开发客户端api的 阅读全文

摘要： 左外链接(leftOuterJoin) spark实现 阅读全文

摘要： 当你跑通了前面一个demo，博客地址：http://www.cnblogs.com/kangoroo/p/7299920.html，那么你的分布式异步之旅已经起步了。 性能和稳定性是web服务的核心评价指标。下面我们来说，怎么样部署服务，实现web服务的高并发和高可用。 我们将通过一些工具和部署，提 阅读全文

摘要： hs_err_pid这种文件，是JVM出现错误时dump下来的。记录了错误发生当时： 1）JVM的状态参数 2）Linux的状态参数 就以下面的文件为例： 出现上述文件的可能原因是： 1）内存不够 2）进程打开数达到上限 1、释放内存请参看这篇文章 http://www.cnblogs.com/ka 阅读全文

摘要： topN算法，spark实现 阅读全文

摘要： 对这段时间redis性能调优做一个记录。 1、单进程单线程 redis是单进程单线程实现的，如果你没有特殊的配置，redis内部默认是FIFO排队，即你对redis的访问都是要在redis进行排队，先入先出的串行执行。 之所以能够保持高性能是因为以下3点： 1）内存操作 2）数据结构简单 3）大多数 阅读全文

摘要： java服务端的代码请看上文。 1、说明： 这两篇文章其实解决的问题是，当使用python去访问大数据线上集群的时候，遇到两个问题： 1）python-hadoop和python-hive相关包链接不稳定，表现为经常出现链接超时； 2）如果使用fork进程执行hadoop fs或者hive -e的方 阅读全文

摘要： 我们这里用一个简单的小功能来演示一下如何使用springboot集成thrift 这个功能是，判断hdfs路径存在。 1、先解决依赖 2、编译thrift文件 先安装thrift编译器。 jazz.thrift文件如下。namespace相当于java里的package。thrift文件的写法这里就 阅读全文