03 2015 档案

路网最优路径算法之一分层搜索
摘要：1 背景 前面介绍了关于双向及启发式的搜索，它们均可以实现了效率的倍增。但是应用到长距离(例如武汉——杭州大于500公里）的搜索时，平均效率存在100ms级甚至s级的耗时，显然这样一个面对广大用户群的互联网服务引擎效率是不可接受的，那么有没有优化的方向可以实现数量级的提升？ 但人类对效率与正... 阅读全文
posted @ 2015-03-29 16:54 gisorange 阅读(2842) 评论(1) 推荐(0)
zookeeper部署和应用场景之一热备
摘要：1 zookeeper部署a. 下载程序包 wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gzb. 程序结构zookeeper |---conf |--zoo... 阅读全文
posted @ 2015-03-22 22:50 gisorange 阅读(2027) 评论(0) 推荐(0)
路网最优路径算法之一启发式搜索
摘要：1 Dijkstra描述与分析 1.1 算法描述 Dijkstra最短路径算法，具体地说，应该是一种单点到多点(one to many)的最短路径搜索算法，因为它从起点开始搜索时，总是优先搜索和展开当前离起点路径最短的节点，直至搜索到目标点时结束搜索。 有人说，Dijkstra算法是一种贪心的算法， 阅读全文
posted @ 2015-03-22 22:12 gisorange 阅读(4563) 评论(1) 推荐(0)
HDFS——数据备份与放置策略(转)
摘要：对于分布式文件系统来说，为了保证数据的高可用性和系统容错能力，往往会把同一数据块在多个节点上进行备份，那么如何分配这些复制数据的位置，不同的文件系统会有不同的策略。一、业界分析在介绍HDFS之前，先简单了解一些其它文件系统的放置策略：1. Lustre——一致性哈希环对于不同的数据备份，需要放到不同... 阅读全文
posted @ 2015-03-15 18:52 gisorange 阅读(5378) 评论(0) 推荐(0)
HDFS——数据平衡策略(转)
摘要：Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的... 阅读全文
posted @ 2015-03-15 18:51 gisorange 阅读(4127) 评论(0) 推荐(0)
HDFS-——HA机制(转)
摘要：一、问题描述由于namenode 是HDFS的大脑，而这个大脑又是单点，如果大脑出现故障，则整个分布式存储系统就瘫痪了。HA（High Available）机制就是用来解决这样一个问题的。碰到这么个问题，首先本能的想到的就是冗余备份，备份的方式有很多种，前辈们设计的有元数据备份方案，secondar... 阅读全文
posted @ 2015-03-10 23:51 gisorange 阅读(582) 评论(0) 推荐(0)
HDFS——数据可靠性设计实现（转）
摘要：1. 安全模式HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有... 阅读全文
posted @ 2015-03-10 23:39 gisorange 阅读(607) 评论(0) 推荐(0)
租约机制(转)
摘要：背景和介绍缓存是计算机里广泛使用的一种技术，对降低读取延迟、网络流量和服务器负载都非常有效，但也带来了一致性(Consistency)的问题。所谓一致就是客户端总能读到最新的数据，使用缓存后有可能服务器端的数据已经被修改，但客户端仍然从缓存中读取陈旧的数据。为了保证一致性，有两种常见的解决办法，第一... 阅读全文
posted @ 2015-03-10 23:33 gisorange 阅读(355) 评论(0) 推荐(0)