自由与蓝天

摘要： 今天看到一个讨论贴：如何成为一个牛逼的数据分析师？其中有一贴如此总结。全文如下： There are two classes of skills that are needed to be a successful data analyst: both soft and technical skills are needed. The core work flow for a data analyst is severalfold. Once a problem has been defined, and a hypothesis is to be tested, the data... 阅读全文

摘要： 1、 健壮性。网络不稳定，网页格式有问题，这些情况都是会发生的。当发生了这些情况是，爬虫不能抛出异常，而后退出，应该做适当的异常处理。2、 使用多线程下载技术。否则，一个一个也没下载，使用单线程，在爬取页面上浪费的时间会非常之多。3、持久化问题。包括页面下载的持久化，还有链接的持久化问题。可以分批下载，使用文件存储，或者使用数据库存储，使用sqlite应该会是 一个比较好的选择。4、登陆需要Cookie的情形需要加以解决。如何发送完全自己定制的HTTP请求呢?5、解决爬虫的队列保存问题。如果一次没有下载完，则下次可以接着下载。维护两个列表? 已完成列表和未完成列表？6、代码重用问题。可以把一些 阅读全文

摘要： 1.以前一直用python+ogr直接读写.shp数据，来到公司后，既然有arcpy的，就准备下接用arcpy模块做空间数据处理了2.新装的ArcGIS 10.1 带的有python 2.7版本3. 之前一直用的python2.6。4. 想把以前的python2.6版本废掉，直接使用ArcGIS 10.1 带的有python 2.7版本，这要的话可以直import arcpy5.首先，在高级变量设置temp，改之前的C:/python 2.6到ArcGIS 10.1 带的有python 2.7版本路径6.然后，regedit找到python 2.6的注册表，改成2.7的，路径神马的都改了。7. 阅读全文

摘要： http://opensource.name/article/cherrypy%E5%85%A5%E9%97%A8%E4%B9%8Bweb%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%AF%87 阅读全文

摘要： 在这个以赚钱为目的现实社会中，商业软件层出不穷。但仍然有一个组织---开源空间信息基金会(Open Source Geospatial Foundation，简称OSGeo)的存在，它是一个全球性非营利性组织，目标是支持全球性的合作,建立和推广高品质的空间信息开源软件。网站：http://www.osgeo.org/ 在这里，并不是为其大唱赞歌。至少让我一样的穷人觉得庆幸。 看看它们的项目产品吧： 学会这些应用与开发，是不是自己就可以底层写一个GIS软件？是不是可以完全丢掉ArcGIS，SQLServer这些烧钱购买的东西？甚至完全废弃windows. 这里边，我所知道的，现在... 阅读全文

摘要： 从官方(http://sourceforge.net/projects/mysql-python/)下载的MySQLDB适用于python 2.5，如果您安装的python是2.6版本，mysql是5.1的话，那就去美国加州大学尔湾分校(http://www.lfd.uci.edu/~gohlke/pythonlibs/) 的服务器上下载MySQL-python-1.2.3.win32-py2.6.‌exe，64位的下载MySQL-python-1.2.3.win-amd64-py2.6.‌exe.直接安装就ok. 另附：美国加州大学尔湾分校(http://www.lfd.uci.edu... 阅读全文

摘要： CSV逗点文件是个容易控制的文件，而且比较小，打开方便，经常会用到。比如用大量数据批量导入数据库，或者GPS记录的大量坐标文件的后处理。 如果你有大量的Excel文件，如何省时省力的将他们转化成CSV文件呢？ 一个个另存为？当然如果你愿意这么做。可以的。 使用网上下载的xls2csv？你就一个个往里边拖吧。而且出来的结果还带引号。 也有其它方法，比如使用 pywin32通过WinCOM来操作Excel表格，或者使用xlrd。 不过，我觉得，倘若你用PyExcelerator和Python就完全可以KO这个问题。 PyExcelerator的官方主页是http://sourc... 阅读全文

摘要： http://slides.html5rocks.com/#landing-slideHtml5确实好，特别是其强大的3D绘图功能及动态效果。 阅读全文

摘要： http://diveintohtml5.org/ 阅读全文

摘要： 通常我们会遇到这样一种尴尬情况： 用ERDAS中进行分类后处理，比如从遥感图像中提取土地利用进行监督分类,为了扫除因为分类而带来的破碎图斑，需要进行滤波，联合clump和eliminate， 可以联合完成小图斑的处理工作。 但是处理后的栅格图像又不并不是我们想得到的，因为有些小图斑尽管小但却比较重要，所以需要进行保留。 这样的话，就需要修改栅格图像，把这样因滤波处理掉的重要图斑加上去。方法如下： (1)、在ArcMap中新建面图层，数字化出一块需要修改的面。 (2)、通过feature to raster工具中将矢量面转换成栅格文件为new。 (3)、 打开workstatio... 阅读全文