宋亚奇 - 博客园

用TestDFSIO进行HDFS基准测试，问题，哪位帮帮看看？

摘要：环境：20个node；2-core cpu 1G RAM 20G Harddiskhadoop 版本0.20.2用TestDFSIO进行HDFS基准测试使用的命令hadoop jar ....TestDFSIO - write -nrFiles 10 -fileSize 500运行中出现如下错误：12/01/09 16:00:45 INFO mapred.JobClient: Task Id : attempt_201201091556_0001_m_000006_2, Status : FAILEDjava.io.IOException: All datanodes 192.168.0.17 阅读全文

posted @ 2012-01-10 15:12 宋亚奇阅读(2299) 评论(3) 推荐(0)

vbox中读取iso内容

摘要：今天在安装vbox增强功能时，选择设备-〉安装增强功能，但在media下的内容不是iso中的内容，直到重新启动电脑后才正确了。奇怪阅读全文

posted @ 2011-08-16 10:23 宋亚奇阅读(207) 评论(0) 推荐(0)

hadoop的优势(不断更新中)

摘要： 1. 速度快. Hbase从2T数据中查找1条记录用2秒,这是ORACLE达不到的. http://wenku.baidu.com/view/6f61a42eb4daa58da0114a41.html 阅读全文

posted @ 2011-07-05 09:02 宋亚奇阅读(420) 评论(0) 推荐(0)

安装hadoop感悟

摘要：初次使用hadoop，摆在面前两种方案：1。选3台主机建立系统；2。选择虚拟机系统；由于刚得到一台高配的pc，有4g内存，所以选2 。安装配置目前已完成，中间遇到不少问题，感觉使用虚拟机还是省了很多时间，更加方便。结论：学习阶段使用虚拟机；工程阶段使用多机。阅读全文

posted @ 2011-07-04 09:17 宋亚奇阅读(790) 评论(1) 推荐(0)

安装HBase感悟

摘要： 1 分别测试：先测试hadoop是否安装配置成功，然后再测试hbase。2 版本问题很严重。这需要首先阅读hbase-0.90.3/doc下的文档。在Start Guid中明确说明了hadoop hbase zookeeper搭配各自的版本，这样就可以少走弯路了。3 学会看日志了。在执行bin/start-all后只是提示操作的结果写入了相关日志，并不代表执行成功。可以首先使用jps察看进程列表，或者用浏览器察看相关监控页面，如果不正常，比如有的进程没有正常启动，再看日志。日志文件有两种.out 和.log，往往.out总是空的，我都看log，比如，发现HMaster进程没有启动，则看Hado 阅读全文

posted @ 2011-07-01 11:42 宋亚奇阅读(616) 评论(0) 推荐(0)

HBASE安装过程-all

摘要：环境hbase-0.90.3hadoop-0.20.2一开始我用的是hadoop-0.21.0，搞了半天搞不好，日志里面报错说连接的时候出错2011-06-15 16:05:32,239 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.java.io.IOException: Call to hadoop5/10.20.151.9:9000 failed on local exception: java.io.EOFException看了半天配置看不出有什么问题，后来和同事阅读全文

posted @ 2011-07-01 11:21 宋亚奇阅读(2577) 评论(0) 推荐(0)

HBase vs Cassandra: 我们迁移系统的原因

摘要：原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/ 原作者：Dominic Williams 原文发布日期：February 24, 2010 at 7:27 pm 译者：王旭（http://wangxu.me/blog/ , @gnawux）翻译时间：2010年3月21-25日我的团队近来正在忙于一个全新的产品——即将发布的网络游戏 http://translate.googleusercontent.com/translate_c?hl=en&ie=UTF-8&sl=en& 阅读全文

posted @ 2011-06-30 22:01 宋亚奇阅读(624) 评论(0) 推荐(0)

各种nosql数据库的比较Cassandra,MongoDB,CouchDB,Redis,Riak,HBase

摘要：来源：http://hi.baidu.com/eastdoor/blog/item/758d0e3eedb5d92471cf6c14.html各种nosql数据库的比较Cassandra,MongoDB,CouchDB,Redis,Riak,HBaseCouchDB开发语言：: Erlang 主要优点: 数据一致性,易用许可: Apache Protocol: HTTP/REST适用: 积累性的、较少改变的数据。或者是需要版本比较多的举例: CRM, CMS systems. 允许多站部署.Redis开发语言：: C/C++ 主要优点: 一个字快许可: BSD Protocol: Tel 阅读全文

posted @ 2011-06-30 22:00 宋亚奇阅读(3830) 评论(1) 推荐(0)

数据挖掘算法计算量大的论据

摘要：目前用于短信自动分类的机器学习方法主要有朴素贝叶斯[10]、SVM[11]、KNN[12][13]、人工神经网络算法[14]等。基于内容的垃圾短信过滤与基于关键词的垃圾短信过滤相比，其运算量更大。阅读全文

posted @ 2011-05-30 17:35 宋亚奇阅读(317) 评论(0) 推荐(0)

云计算的优势（传统平台的问题）

摘要： 1。并行化，计算速度快2。能够处理的数据规模大3。具体编程实现：由于在云计算平台上不用再考虑线程之间的同步、互斥、并发等问题，使系统设计实现较为容易。4。系统扩展：在云计算平台上增加新的机器即可实现系统扩展，而传统并行系统扩展则相对麻烦。阅读全文

posted @ 2011-05-30 17:29 宋亚奇阅读(359) 评论(0) 推荐(0)

标签集