文章分类 -  Hadoop

摘要： 阅读全文

摘要：redis主备部署方案Redis部署方式采用主备的方式，通过keepalived来对外提供虚IP，并实现主备自动切换功能。主实例A：192.168.20.30备实例B：192.168.20.232虚IP：192.168.20.110正常工作时，虚IP在主实例A上，主实例A上的数据自动同步到备实例B上，当主实例A挂掉之后，备实例B将自动接管虚IP，并将redis转换为主模式，待原主实例A恢复后，A将自动切换成备模式，从B上同步数据，主备角色互换，实现融灾备份。安装部署步骤如下：1. 安装keepalivedwget http://www.keepalived.org/software/keepa 阅读全文

摘要：1： Unexpected reply: +OK, sPort: 43545, LastCommand这种一般出现在高并发， 以及程序发布瞬间2: -No more data, sPort: 0, LastCommand:这种一般发生在客户端调度了太多的链接数到一台REDIS实例导致，解决方案： 分离客户端连接数 和 服务器实例 ， 降低并发3： 避免REDIS一次请求的大数据4： 客户端的链接超时时间限制尽量去除5： 尽量不要使用一台服务器限制某一个实例的最高内存分配6: 不要再同一个方法内，建立超过1 次的REDIS 链接， 比如： 取数据，修改赋值。（新增用户阅读历史） 阅读全文

摘要：hive和hbase都是基于hadoop的架构之上使用hadoop作为底层存储。hive是作为分布式数据仓库hbase是作为分布式数据库hive还是借用hadoop的MapReduce来完成一些hive中的命令的执行hbase与hive都是单独安装的hive用来批量处理数据，HBase用来快速索引数据。hive是为了简化编写MapReduce程序而生的，hive本身不存储和计算数据，他完全依赖HDFS和mapreduce，hive中表纯逻辑表，就是表的基本定义和表的元数据hbase为查询而生，他通过组织节点内所有机器的内存，提供一个超大的内存hash表，他需要组织自己的数据结构，包括磁盘和内存 阅读全文

摘要：InfoQ：HBase主要有哪些特性，是什么让它备受推崇，让Facebook也采用它？林昊：Facebook是Cassandra的发起者，他们就想在自己的Message体系里面应用它，但是研 究之后发现，Cassandra的弱一致性会让它的Message体系在应用层上做很多的改造，它觉得付出的成本太大了，所以后来就选择测试了一下 HBase。发现HBase的强一致性给他们带来很多的便利，因为HBase只需要增加新的机器就可以增加写的吞吐量，对于他们的场景来说会非常的适合 的。这也促使它们最终决定采用HBase。InfoQ：目前HBase主要帮助淘宝解决了哪些主要的问题？林昊：其实对于很多互联网 阅读全文