Beanmoon

摘要： 目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存储，MongoDB是文档型的行存储，Lexst是二进制型的行存储。在这里，我不讨论这些软件的技术和优缺点，只围绕机械磁盘的物理特质，分析行存储和列存储的存储特点，以及由此产生的一些问题和解决办法。一．结构布局行存储数据排列列存储数据排列表格的灰色背景部分表示行列结构，白色背景部分表示数据的物理分布，两种存储的 阅读全文

摘要： 打开Java的JAR文件我们经常可以看到文件中包含着一个META-INF目录，这个目录下会有一些文件，其中必有一个MANIFEST.MF，这个文件描述了该Jar文件的很多信息，下面将详细介绍MANIFEST.MF文件的内容，先来看struts.jar中包含的MANIFEST.MF文件内容：Manifest-Version: 1.0Created-By: Apache Ant 1.5.1Extension-Name: Struts FrameworkSpecification-Title: Struts FrameworkSpecification-Vendor: Apache Software 阅读全文

摘要： 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文

摘要： 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证sshd一直运行，以便用Hadoop 脚本管理远端Hado 阅读全文

摘要： 1.安装很简单在Debian系统下安装NFS是相当简单的，在NFS服务器上执行下面的命令即可# aptitude install nfs-kernel-server （会默认安装portmap和nfs-common）在客户端则需要安装： # aptitude install nfs-common portmap2.服务器启动、停止与重启： 启动服务# /etc/init.d/nfs-kernel-server start 停止服务# /etc/init.d/nfs-kernel-server stop 重启服务# /etc/init.d/nfs-kernel-server resta... 阅读全文

摘要： 1 /etc/hosts包含（本地网络中）已知主机的一个列表。如果系统的 IP 不是动态获取，就可以使用它。对于简单的主机名解析（点分表示法），在请求 DNS 或 NIS 网络名称服务器之前，/etc/hosts.conf 通常会告诉解析程序先查看这里。 文件格式:ip地址 主机名 别名　$ cat /etc/hosts127.0.0.1 localhost.localdomain localhost2 /etc/servicesInternet网络服务文件，将网络服务名转换为端口号／协议。由 inetd、telnet、tcpdump 和一些其它程序读取。文件中的每一行对应一种服务，它由4个字 阅读全文

摘要： 此下为几个重要的配置文件，在此记录下来便于以后参考：1. ~/.bashrc#for Gaussian09export G09ROOT=/home/bean/g09export GAUSS_EXEDIR=/home/bean/g09export GAUSS_SCRDIR=$G09ROOT/scratchexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/$G09ROOTexport PATH=$PATH:/home/bean/g09# for javaexport JAVA_HOME=/home/bean/jdk1.7.0_09export PATH=$JAVA_ 阅读全文

摘要： A Java virtual machine is a program which executes certain other programs, namely those containing Java bytecode instructions. JVMs are most often implemented to run on an existingoperating system, but can also be implemented to run directly on hardware. A JVM provides an environment in which Java b 阅读全文

摘要： 学习了hadoop这几天，一些主要的概念必须得先弄清楚，下面是来自wiki.apache的一些很好的解释，整理如下： 本文信息来源：http://wiki.apache.org/hadoop/FrontPage1. NameNode The NameNode is the centerpiece of an HDFS file system. It keeps the directory tree of all files in the file system, and tracks where across the cluster the file data is kept. It ... 阅读全文

摘要： (1).在debian下默认的浏览器中输入网址时是要加www的，例如baidu.com就不行，他不认，你要写www.baidu.com；害得我还以为配置文件出了问题，改了又改，重启了eth0 n次。(2).如果在使用ssh无密码登录时出现如下出错信息，可以这样解决：之前要在本机上装上ssh，可以通过sudo apt-get install ssh或者通过新立德来安装。如果没有进行配置的话，登录到本机或者远程主机需要该主机的密码才行。下面进行无密码登录的配置：很简单，执行ssh-keygen -t rsa命令，一路敲回车就行了，就在.ssh文件夹下生成了2个文件，一个公钥和一个私钥文件， id_ 阅读全文