Ted

  博客园 :: 首页 :: 新随笔 :: 联系 :: 订阅 :: 管理 ::

12 2011 档案

摘要:1)问题在使用MongoDB插入数据时,出现“exception 12520 fileallocation failure” 错误,导致数据并不能成功插入数据库。2)分析经过分析发现,磁盘空间已满,删除冗余数据后,发现还是会出现“exception 12520 fileallocation failure” ,解决方法就是重新启动MongoDB,在Issues after Running Out of Space中提到:“The only way to get it to continue operating normally is to shut itdown completely and 阅读全文
posted @ 2011-12-30 22:13 wufawei 阅读(976) 评论(0) 推荐(0)

摘要:1)根据官方的文档,removing要删除数据,直接使用remove,db.things.remove({}); // removes alldb.things.remove({n:1}); // removes all where n == 12)删除后,磁盘空间并不会减少,而是会保留这些空间,新插入数据时会重用这些空间。如果需要压缩空间,需要执行:mongod --repair,参见:Reducing MongoDB database file size 阅读全文
posted @ 2011-12-30 19:27 wufawei 阅读(1896) 评论(0) 推荐(1)

摘要:我一向以为,curl只是一个编程用的函数库。最近才发现,这个命令本身,就是一个无比有用的网站开发工具,请看我整理的它的用法。===================================curl网站开发指南阮一峰 整理curl是一种命令行工具,作用是发出网络请求,然后得到和提取数据,显示在"标准输出"(stdout)上面。它支持多种协议,下面举例讲解如何将它用于网站开发。一、查看网页源码直接在curl命令后加上网址,就可以看到网页源码。我们以网址www.sina.com为例(选择该网址,主要因为它的网页代码较短): curl www.sina.com <!DO 阅读全文
posted @ 2011-12-29 22:32 wufawei 阅读(479) 评论(0) 推荐(0)

摘要:REMnux 是一个基于Linux的用于逆向工程、分析恶意代码的系统。REMnux上面安装的软件有:Analyze Flash malware:SWFTtools,flasm,flare,RABCDAsmandxxxswf.pyInteracting with IRC bots: IRC server (Inspire IRCd) and client (epic5)Observe and interact with network activities:Wireshark,Honeyd,INetSim,fakedns, fakesmtp , NetCat,NetworkMiner,ngrep 阅读全文
posted @ 2011-12-29 22:09 wufawei 阅读(342) 评论(0) 推荐(0)

摘要:在Python 并发网络编程库Eventlet介绍了Eventlet。green threads,也就是coroutines被限制在它们的“父”线程中,如下图所示。这就是每个线程拥有一系列的coroutine, 这些coroutine能够在线程内交换执行,但是并不能跨线程,在使用时需要注意这一点 。跨线程通信,依然要使用“真实的” 线程原语和管道。参见:Threads 阅读全文
posted @ 2011-12-29 20:32 wufawei 阅读(678) 评论(0) 推荐(0)

摘要:Eclipse中Ruby环境搭建1)下载RDT,解压得到features、plugins目录,拷贝到eclipse对应目录。2)下载Ruby并安装3)配置ecplise在eclipse的windows—preferences菜单中,点击左侧的Ruby/Installed interpretes节点,点击界面中的Edit按钮,在Location中将其指向Ruby安装目录下的bin目录。 阅读全文
posted @ 2011-12-29 20:21 wufawei 阅读(272) 评论(0) 推荐(0)

摘要:先给出一个四人团对Decorator mode的定义:动态地给一个对象添加一些额外的职责。再来说说这个模式的好处:认证,权限检查,记日志,检查参数,加锁,等等等等,这些功能和系统业务无关,但又是系统所必须的,说的更明白一点,就是面向方面的编程(AOP)。AOP把与业务无关的代码十分干净的从系统中切割出来,但是Decorator mode的强大远不止于此,本文的重点在于Decorator mode在Python中的应用,所以就不再过多描述Decorator mode本身了,要想深入了解该模式,请参考四人团的经典之作《设计模式》。在Python中Decorator mode可以按照像其它编程语言如 阅读全文
posted @ 2011-12-29 00:42 wufawei 阅读(242) 评论(0) 推荐(0)

摘要:一种在python中Singleton mode的实现如下:class Foo: passdef instance(): global inst try: inst except: inst = Foo () return inst该实现的优点就是简单和直观,但缺点也同样明显:需要客户代码显式知道一个叫instance()的方法来创建该类的对象;在并发环境下这种实现并不可靠;第2点是相当严重的一个缺陷,如果你用了上面的代码,那只能祈祷不要有1个以上的实例出现(虽然几率较低,但还是有可能),否则就会出现稀奇古怪的问题。一个稍微好些实现如下:cl... 阅读全文
posted @ 2011-12-29 00:23 wufawei 阅读(243) 评论(0) 推荐(0)

摘要:1 )python中可以用subprocess模块创建子进程,subprocess被用来替换一些老的模块和函数,如:os.system、os.spawn*、os.popen*、popen2.*、commands.*等2) 通过ConfigParser.SafeConfigParser读取配置文件setting.conf内容为:[section]key=value代码如下:#!/usr/bin/env python#coding=utf-8import subprocessfrom ConfigParser import SafeConfigParserclass Utility: @st... 阅读全文
posted @ 2011-12-28 01:31 wufawei 阅读(456) 评论(0) 推荐(0)

摘要:1)使用 Python 进行线程编程, 研究了如何同时使用线程和队列在 Python 中完成线程编程。2) Queue— A synchronized queue classTheQueuemodule implements multi-producer, multi-consumer queues. It is especially useful in threaded programming when information must be exchanged safely between multiple threads. The Queueclass in this module im 阅读全文
posted @ 2011-12-28 00:21 wufawei 阅读(252) 评论(0) 推荐(0)

摘要:Pyramid是一个Web Framework,Pyramid Single File Tasks Tutorial介绍了如何利用Pyramid搭建一个Web Server。 阅读全文
posted @ 2011-12-26 23:27 wufawei 阅读(343) 评论(0) 推荐(0)

摘要:以下两种方法均可以设置proxy1 .os.environ["http_proxy"] = 'http://host:port'2proxies = {'http': 'http://host:port'}resp = urllib.urlopen(url, proxies=proxies)content = resp.read() 阅读全文
posted @ 2011-12-26 23:05 wufawei 阅读(365) 评论(0) 推荐(0)

摘要:编译android工程出现:ERROR: Unknown command 'crunch' Android Asset Packaging Tool问题:tools和platform-tools版本与 ADT版本不符造成。解决方法:看下ADT的版本,然后再通过 SDK Manager看下tools的版本,对上就行。 阅读全文
posted @ 2011-12-25 23:22 wufawei 阅读(138) 评论(0) 推荐(0)

摘要:开发测试时,经常需要把包含中文的json对象转成json字符串后使用,如果使用str(json_obj)或者json.dumps(json_obj)转换,则生成如:{'a': {'b': u'\u4e2d\u6587'}},但我们要的结果是:{'a': {'b': '中文'}}。前期曾有一个嵌套遍历对象的方法将中文取出来,然后拼到字符串中,方法有点笨拙。见http://hiying.net/post-32.html本次改进,通过先转成字符串::{'a': {'b': 阅读全文
posted @ 2011-12-25 00:41 wufawei 阅读(1142) 评论(0) 推荐(0)

摘要:简介:Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。Protobuf 的优点Protobuf 有如 XML,不过它更小、更快、也更简单。你可以定义自己的数据结构,然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。只需使用 Protobuf 对数据结构进行一次描述,即可利用各种不同语言或从各种不同数据流中对你的结构 阅读全文
posted @ 2011-12-25 00:00 wufawei 阅读(253) 评论(0) 推荐(0)

摘要:英文版:How To Optimize Your Site With HTTP CachingI’ve been on a web tweaking kick lately: how tospeed up your javascript,gzip files with your server, and now how to set up caching. But the reason is simple:site performance is a feature.For web sites, speed may be feature #1.Users hate waiting, we get 阅读全文
posted @ 2011-12-24 23:41 wufawei 阅读(408) 评论(0) 推荐(0)

摘要:Eventlet 是一个开源的高度伸缩性的Python网络编程库。根据官方介绍大致特性如下:非阻塞I/O模型,使用epoll or libevent,关于epoll的优点,参见Linux的epoll模型和epoll精髓。协程(Coroutines)使得开发者可以采用阻塞式的开发风格,却能够实现非阻塞I/O的效果隐式事件调度,使得可以在Python解释器或者应用程序的某一部分去使用EventletEventlet 可以用来处理多线程方面的工作,它使用的是 green threads(例如Coroutines,协程),所以用资源的开销很少。关于协程,大致可以理解成允许子程序可以多次暂停和恢复执行, 阅读全文
posted @ 2011-12-24 22:30 wufawei 阅读(1128) 评论(0) 推荐(0)

摘要:Beautiful Soup是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省你的编程时间。 对于Ruby,使用Rubyful Soup。这个文档说明了Beautiful Soup 3.0主要的功能特性,并附有例子。 从中你可以知道这个库有哪些好处,它是怎样工作的, 怎样让它帮做你想做的事以及你该怎样做当它做的和你期待不一样。具体用法参见 Beautiful Soup Documentation. 阅读全文
posted @ 2011-12-24 21:15 wufawei 阅读(308) 评论(0) 推荐(0)

摘要:matplotlibis a python 2D plotting library which produces publication quality figures in a variety of hardcopy formats and interactive environments across platforms. matplotlib can be used in python scripts,web application servers, and six graphical user interface toolkits.matplotlib tries to make ea 阅读全文
posted @ 2011-12-24 21:11 wufawei 阅读(205) 评论(0) 推荐(0)

摘要:1)sqlite3工具用SQLite Database Browser可以直接打开sqlite保持的数据库,而且支持导入csv文件,相当方便。2) python2.7内置对sqlite3的支持。下面是解析文件,把url存入数据库的例子。 1 ''' 2 Created on 2011-12-23 3 4 @author: Administrator 5 ''' 6 7 import sqlite3 8 9 10 def sanitize_url(url):11 pass12 13 def store_url():14 conn = sqlite3 阅读全文
posted @ 2011-12-23 22:19 wufawei 阅读(545) 评论(0) 推荐(0)

摘要:转载自:http://coolshell.cn/articles/6010.htmlKeith Schwarz是一个斯坦福大学计算机科学系的讲师。他对编程充满了热情。他的主页上他自己正在实现各种各样的有意思的算法和数据结构,http://www.keithschwarz.com/interesting/,目前这个网页上有88个(见下面的列表),但这位大哥要干135个,你可以看看他的To-Do List。从这个列表上,我们可以看到,他从去年7月份就在自己实现这些东西了,我把他实现的这些算法转过来,一方面我们可以学习一下这些算法和代码,因为很多东西对我来说都比较新,我以前列举过一些经典的算法,算法 阅读全文
posted @ 2011-12-18 11:01 wufawei 阅读(217) 评论(0) 推荐(0)

摘要:Redis (V2.4)Best used:For rapidly changing data with a foreseeable database size (should fit mostly in memory).For example:Stock prices. Analytics. Real-time data collection. Real-time communication.HBaseBest used:If you're in love with BigTable. :) And when you need random, realtime read/write 阅读全文
posted @ 2011-12-15 19:36 wufawei 阅读(219) 评论(0) 推荐(0)

摘要:对项目所需的时间和资金来说,最大的部分并非投入到了最初的代码编写上,而是投入到代码的维护上。好读的代码可以降低维护成本。推荐The Art of Readable Code,举的例子和配图都很有趣,读起很流畅。 阅读全文
posted @ 2011-12-15 19:32 wufawei 阅读(138) 评论(0) 推荐(0)