05 2012 档案

hdfs老数据压缩备份的一些问题20120521
摘要：要做的事情：将生产集群里的老数据压缩备份到另一个集群。要解决的问题：1，选择哪种压缩格式？经过几番尝试发现bzip2不错，压缩比最高，而且在hdfs里面不用解压缩就能被mapreduce读取（bzip2支持分割）； 2，怎么把集群里的文件压缩？在哪里压缩好？有没有方法设置文件导入备份集群时就自动压缩成bzip2？ 最好写程序来压缩。 4，如何把文件从生产集群复制到备份集群中去？ 阅读全文
posted @ 2012-05-21 16:09 ccmaotang 阅读(316) 评论(0) 推荐(0)
随笔
摘要：所看的书，所学的技术，需要花时间消化吸收，才能变成自己的思想。而不是花大量的时间去下载，整理，结果到头却只用一点点时间消化。2012/05/17 阅读全文
posted @ 2012-05-17 16:17 ccmaotang 阅读(101) 评论(0) 推荐(0)
ubuntu server 使用parted分区
摘要：parted介绍：http://www.cnblogs.com/tangtianfly/archive/2012/05/17/2506329.htmlparted/dev/cciss/c0d0p8 //对系统中的/dev/cciss/c0d0p8硬盘进行分区操作 GNU Parted 2.1using/dev/sdbWelcome to GNU Parted! Type 'help' to view a list of commands.(parted) mklabel gpt//对新硬盘创建一个新的gpt类型的空磁盘盘分区表 (parted) mkpart primary 0 阅读全文
posted @ 2012-05-17 15:52 ccmaotang 阅读(3409) 评论(0) 推荐(0)
超大磁盘分区工具parted使用介绍（一）
摘要：使用partedGNU Parted有两种运行模式：命令行模式和交互模式。1．命令行模式的选项 当你调用命令行模式时，parted的语法是这样的： 格式1# parted [option] device 格式2# parted [option] device [command [argument]] 格式1：用于进入parted的交互模式，在该模式下输入parted的子命令对指定的硬盘进行分区等操作。quit命令用于退出交互模式。 格式2：直接在命令行方式下对指定的硬盘进行分区等操作。 有几个选项可以供你使用。对于其他涉及分区细节的Parted命令，请参见下一节。选项以一个横杠开头，而Part 阅读全文
posted @ 2012-05-17 15:36 ccmaotang 阅读(5093) 评论(0) 推荐(0)
hadoop——hdfs多硬盘挂载
摘要：首先说一下服务器环境：1,ubuntu server 10.04.2；2.hadoop-0.20.2；3,4块2TB硬盘；一、先将硬盘格式化。如何格式化看：http://www.cnblogs.com/tangtianfly/archive/2012/05/17/2506367.html二、刚开始尝试将4块硬盘挂载到同一个点（/var/hdfs_folder），发现hadoop不能识别。因此为每个硬盘建一个文件夹如（/home/hadoop/data0），并在其下新建一个hdfs目录。（如果dfs.data.dir是data0，则会遇到如下问题：lostfound是root权限，hadoop报 阅读全文
posted @ 2012-05-17 15:07 ccmaotang 阅读(2485) 评论(0) 推荐(0)
程序员内功续
摘要：来自网友： 本文续程序员内功，此文作为对自己的提醒警钟也作为你我菜鸟间的共勉！再次声明我个人也是菜鸟一只，而此文则是我努力的方向！文中如果有什么错误欢迎批评指正。 每次写程序前我都会问自己：当你得到一颗不知名的药丸在你没有确定他是巧克力斗还是生腿瞪眼丸之前你敢吃么？显然我不敢，因为对于见马克思这样重口味的活动我实在没有多大兴趣。是的，不知名的药丸不敢吃，那么不确定的程序你敢用么？一个程序员如果不能完全的了解自己写的程序，那么他的充其量无非是个二流货色而已！所以千万别以为能写稍微复杂的东西自己就是小奶牛登珠峰——牛逼到顶。其实这还差的远。 就一个printf你能完全了解吗？为什么他要编... 阅读全文
posted @ 2012-05-16 15:28 ccmaotang 阅读(369) 评论(0) 推荐(0)
(转) 精彩PuTTY 中文教程
摘要：我的这些文字是从这几年来的 PuTTY 使用经验中慢慢得来的，也不仅仅是介绍 PuTTY，还包括了一些相关的软件，比如：优秀的 FTP 工具 FileZilla、功能强大的 SFTP 客户端 WinSCP。杂七杂八的乱说了一些，这里把大致内容罗列如下：最简单的使用，登录 SSH 主机中文乱码的处理PuTTY 常用配置的说明复制、粘贴保存会话注销自动登录用户名自动设置环境变量设置代理服务器自动执行命令备份、删除 PuTTY 的设置PuTTY 的 X11 转发如何用 PuTTY 建立 SSH 隧道如何用 PuTTY 建立反向的 SSH 隧道，像个特洛伊木马一样突破防火墙把 PuTTY 作为一个安全 阅读全文
posted @ 2012-05-15 15:55 ccmaotang 阅读(324) 评论(0) 推荐(0)
HTTP下载文件
摘要：bool CWinpcapGetURL::DownLoadWBList(LPCSTR ServerName, LPCSTR lpObject, int nPort)//下载黑白名单{ HINTERNET hSession = NULL; HINTERNET hConnect = NULL; DWORD dwBytesRead = 0; char * pBuffer; FILE* hWDListFile; HINTERNET hRequest=NULL; hSession = InternetOpen("HttpSendRequest",... 阅读全文
posted @ 2012-05-14 14:50 ccmaotang 阅读(699) 评论(0) 推荐(0)
hadoop 关键属性配置
摘要：摘自网友：其中红色的配置为必须配置参数参数取值备注fs.default.nameNameNode 的URI。hdfs://主机名/dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要，用这个文件控制许可的datanode列表。dfs.replication默认： 3数据复制的分数dfs.name.dir举例：/home/username/hadoop/namenode默认：/tmp当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。dfs.data.dir举例：/home/username/hadoop/data 阅读全文
posted @ 2012-05-10 14:30 ccmaotang 阅读(555) 评论(0) 推荐(0)
java打包jar的入口问题解决
摘要：初学java，用eclipse开发，一个困扰了很久的java打包的问题，每次打包都没把握！今天各种尝试发现：生成的ThreadTest/main包含的信息:Manifest-Version: 1.0Main-Class: mymainClass 阅读全文
posted @ 2012-05-09 17:39 ccmaotang 阅读(437) 评论(0) 推荐(0)
一个老工程师的心理话
摘要：一个老工程师的心理话:诸位，俺当工程师十余年了，从研发到管理！回顾工程师生涯，感慨万千，愿意讲几句掏心窝子的话，也算给兄弟姐妹提个醒，希望他们比咱们强！1.提高自己的专业知识，扩大自己的知识面，学习他人的经验，少走弯路。请教要虚心。2.好好规划自己的路，不要跟着感觉走！根据个人的理想决策安排，绝大部分人并不指望成为什么院士或教授，而是希望活得滋润一些，爽一些。那么，就需要慎 重安排自己的轨迹。从哪个行业入手，逐渐对该行业深入了解，不要频繁跳槽，特别是不要为了一点工资而转移阵地，从长远看，这点钱根本不算什么，当你对一个 行业有那么几年的体会，以后钱根本不是问题。频繁地动荡不是上策，最后你对哪个行 阅读全文
posted @ 2012-05-09 16:57 ccmaotang 阅读(161) 评论(0) 推荐(0)
(转)ICE实例（Eclipse与Slice2Java插件）
摘要：link：http://hi.baidu.com/dd_taiyangxue/blog/item/cc7f014442b4a82acffca382.html一、准备条件1、Eclipse3.42、Slice2Java插件：下载地址及使用说明：http://www.zeroc.com/eclipse.html，具体如下：ZeroC hosts an Eclipse plug-in site that you can add to your Eclipse configuration. Follow these steps to install the Slice2Java plug-in: Fr 阅读全文
posted @ 2012-05-08 10:43 ccmaotang 阅读(1156) 评论(0) 推荐(0)
（转） 分布式缓存系统Memcached简介与实践
摘要：缘起: 在数据驱动的web开发中，经常要重复从数据库中取出相同的数据，这种重复极大的增加了数据库负载。缓存是解决这个问题的好办法。但是ASP.NET中的虽然已经可以实现对页面局部进行缓存，但还是不够灵活。此时Memcached或许是你想要的。Memcached是什么?Memcached是由Danga Interactive开发的，高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。Memcached能缓存什么？通过在内存里维护一个统一的巨大的hash表，Memcached能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。Memcached快么 阅读全文
posted @ 2012-05-03 15:55 ccmaotang 阅读(371) 评论(0) 推荐(0)
memcache设置set过期时间
摘要：link:http://blog.csdn.net/hitman9099/article/details/2878417 阅读全文
posted @ 2012-05-03 15:29 ccmaotang 阅读(11629) 评论(3) 推荐(0)
（转）Mysql导出表结构及表数据 mysqldump用法
摘要：link:http://www.cnblogs.com/yuanyouqi/archive/2010/04/28/1722738.html命令行下具体用法如下： mysqldump -u用戶名 -p密码 -d 數據库名 表名 脚本名;1、导出數據库為dbname的表结构（其中用戶名為root,密码為dbpasswd,生成的脚本名為db.sql）mysqldump -uroot -pdbpasswd -d dbname >db.sql;2、导出數據库為dbname某张表(test)结构mysqldump -uroot -pdbpasswd -d dbname test>db.sql; 阅读全文
posted @ 2012-05-03 10:06 ccmaotang 阅读(190) 评论(0) 推荐(0)
（转）memcached数据删除机制
摘要：memcached在数据删除方面有效利用资源数据不会真正从memcached中消失上次介绍过， memcached不会释放已分配的内存。记录超时后，客户端就无法再看见该记录（invisible，透明），其存储空间即可重复使用。Lazy Expirationmemcached内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，memcached不会在过期监视上耗费CPU时间。LRU：从缓存中有效删除数据的原理memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用 阅读全文
posted @ 2012-05-02 17:13 ccmaotang 阅读(1426) 评论(0) 推荐(0)