摘要： 序列化 序列化（serialization）是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化(deserialization)是指将字节流转回结构化对象的逆过程。序列化在分布式数据处理的两大领域经常出现：进程间通信和永久存储在Hadoop中，系统中多个节点上进程间的 阅读全文

摘要： 数据完整性 Hadoop用户肯定都希望系统在存储和处理数据时不会丢失或损坏任何数据。尽管磁盘或网络上的每个I/O操作不太可能将错误引入自己正在读/写的数据中，但是如果系统中需要处理的数据量大到Hadoop的处理极限时，数据被损坏的概率还是很高的。检测数据是否损坏的常见措施是，在数据第一次引入系统时计 阅读全文

摘要： Hadoop存档 每个文件均按块方式存储，每个块的元数据存储在namenode的内存中，因此Hadoop存储小文件会非常低效。因为大量的小文件会耗尽namenode中的大部分内存。存储小文件所需的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比不会增多。例如，一个1MB的文件以大小为128MB的块 阅读全文

摘要： 复本怎么放Hadoop的默认布局策略是在运行客户端的节点上放第一个复本（如果客户端运行在容器之外，就随机选择一个节点，不过系统会避免挑选那些存储太满或太忙的节点）。第二个复本放在与第一个不通且随机另外选择的机架中节点上（离架）。第三个复本与第二个复本放在同一个机架上，且随机选择另一个节点，其他复本放 阅读全文

摘要： HDFS数据流-剖析文件读取及写入 文件读取 1. 客户端通过调用FileSystem对象的open方法来打开希望读取的文件，对于HDFS来说，这个对象是分布式文件系统的一个实例。2. DistributedFileSystem通过使用RPC来调用namenode，以确定文件起始块的位置。对于每一个 阅读全文

摘要： 通过HTTP来访问HDFS有两种方法：直接访问，HDFS后台进程直接服务于来自客户端的请求；通过代理(一对多)访问，客户端通常使用DistributedFileSystemAPI访问HDFS。第一种情况，由namenode内嵌的web服务器（运行在50070端口上）提供目录服务，目录列表以XML或者 阅读全文

摘要： HDFS中的文件访问权限 针对文件和目录，HDFS的权限模式与POSIX非常相似一共提供三类权限模式:只读权限（r）、写入权限（w）和可执行权限（x）。读取文件或列出目录内容时需要只读权限。写入一个文件或是在一个目录上新建及删除文件或目录，需要写入权限。对于文件而言，可执行权限可以忽略，因为你不能再 阅读全文

摘要： 当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区(partition)并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统成为分布式文件系统(distributed filesystem)。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普 阅读全文

摘要： 数据块 每个磁盘都有默认的数据块大小，这是磁盘进行数据读写的最小单位。构建与单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的快。该文件系统块的大小可以使磁盘块的整数倍。文件系统块一般为几千字节，而磁盘块一般为512字节。HDFS同样也有块(block)的概念，但是大得多，默认为64MB（Hado 阅读全文

摘要： 错误如下 内存不够了 修改solr.in.sh（分配的内存看节点情况） 重启即可。 阅读全文