JamesPei的博客

摘要： 最近开发工作需要用到websocket去替代老办法轮询，因为我们的web系统使用flask搭建，所以使用flask SocketIO作为我们的websocket方案，因此顺手翻译官方文档 Flask SocketIO 赋予了Flask应用在客户端和服务器之间使用低延迟的双向通讯的能力。客户端可使用任 阅读全文

摘要： flask是python web开发比较主流的框架之一，也是我在工作中使用的主要开发框架。一直对其是如何保证线程安全的问题比较好奇，所以简单的探究了一番，由于只是简单查看了源码，并未深入细致研究，因此以下内容仅为个人理解，不保证正确性。 首先是很多文章都说flask会为每一个request启动一个线 阅读全文

摘要： ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可 阅读全文

摘要： 二分图匹配是很常见的算法问题，一般用匈牙利算法解决二分图最大匹配问题，但是目前网上绝大多数都是C/C++实现版本，没有python版本，于是就用python实现了一下深度优先的匈牙利算法，本文使用的是递归的方式以便于理解，然而迭代的方式会更好，各位可以自行实现。 1、二分图、最大匹配 什么是二分图： 阅读全文

摘要： 最近点对问题:给定平面上n个点，找其中的一对点，使得在n个点的所有点对中，该点对的距离最小。需要说明的是理论上最近点对并不止一对，但是无论是寻找全部还是仅寻找其中之一，其原理没有区别，仅需略作改造即可。本文提供的算法仅寻找其中一对。 解决最近点对问题最简单的方法就是穷举法，这样时间复杂度是平方级，可 阅读全文

摘要： 现如今面向服务（SOA）的架构设计已经成为主流，把公用的服务打包成一个个webservice供各方调用是一种非常常用的做法，而应用最广泛的则是基于SOAP协议和wsdl的webservice。本文讲解python环境下如何发布及调用一个基于SOAP的webservice，基于soaplib(发布)和 阅读全文

摘要： 近期在做爬虫时有时会遇到网站只提供pdf的情况，这样就不能使用scrapy直接抓取页面内容了，只能通过解析PDF的方式处理，目前的解决方案大致只有pyPDF和PDFMiner。因为据说PDFMiner更适合文本的解析，而我需要解析的正是文本，因此最后选择使用PDFMiner(这也就意味着我对pyPD 阅读全文

摘要： 最近使用scrapy做数据挖掘，使用scrapy定时抓取数据并存入MongoDB，本文记录环境搭建过程以作备忘 OS:ubuntu 14.04 python:2.7.6 scrapy:1.0.5 DB:MongoDB 3 ubuntu14.04内置python2.7，因此python及pip安装不再 阅读全文