摘要: 最近开发工作需要用到websocket去替代老办法轮询,因为我们的web系统使用flask搭建,所以使用flask SocketIO作为我们的websocket方案,因此顺手翻译官方文档 Flask SocketIO 赋予了Flask应用在客户端和服务器之间使用低延迟的双向通讯的能力。客户端可使用任 阅读全文
posted @ 2018-01-19 12:04 JamesPei 阅读(959) 评论(0) 推荐(0) 编辑
摘要: flask是python web开发比较主流的框架之一,也是我在工作中使用的主要开发框架。一直对其是如何保证线程安全的问题比较好奇,所以简单的探究了一番,由于只是简单查看了源码,并未深入细致研究,因此以下内容仅为个人理解,不保证正确性。 首先是很多文章都说flask会为每一个request启动一个线 阅读全文
posted @ 2017-07-15 17:01 JamesPei 阅读(9736) 评论(1) 推荐(2) 编辑
摘要: ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可 阅读全文
posted @ 2016-08-03 14:51 JamesPei 阅读(24805) 评论(0) 推荐(0) 编辑
摘要: 二分图匹配是很常见的算法问题,一般用匈牙利算法解决二分图最大匹配问题,但是目前网上绝大多数都是C/C++实现版本,没有python版本,于是就用python实现了一下深度优先的匈牙利算法,本文使用的是递归的方式以便于理解,然而迭代的方式会更好,各位可以自行实现。 1、二分图、最大匹配 什么是二分图: 阅读全文
posted @ 2016-06-11 15:31 JamesPei 阅读(12427) 评论(2) 推荐(0) 编辑
摘要: 最近点对问题:给定平面上n个点,找其中的一对点,使得在n个点的所有点对中,该点对的距离最小。需要说明的是理论上最近点对并不止一对,但是无论是寻找全部还是仅寻找其中之一,其原理没有区别,仅需略作改造即可。本文提供的算法仅寻找其中一对。 解决最近点对问题最简单的方法就是穷举法,这样时间复杂度是平方级,可 阅读全文
posted @ 2016-04-24 14:00 JamesPei 阅读(8044) 评论(0) 推荐(0) 编辑
摘要: 现如今面向服务(SOA)的架构设计已经成为主流,把公用的服务打包成一个个webservice供各方调用是一种非常常用的做法,而应用最广泛的则是基于SOAP协议和wsdl的webservice。本文讲解python环境下如何发布及调用一个基于SOAP的webservice,基于soaplib(发布)和 阅读全文
posted @ 2016-04-11 18:46 JamesPei 阅读(10377) 评论(0) 推荐(0) 编辑
摘要: 近期在做爬虫时有时会遇到网站只提供pdf的情况,这样就不能使用scrapy直接抓取页面内容了,只能通过解析PDF的方式处理,目前的解决方案大致只有pyPDF和PDFMiner。因为据说PDFMiner更适合文本的解析,而我需要解析的正是文本,因此最后选择使用PDFMiner(这也就意味着我对pyPD 阅读全文
posted @ 2016-04-05 17:14 JamesPei 阅读(66288) 评论(11) 推荐(3) 编辑
摘要: 最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04 python:2.7.6 scrapy:1.0.5 DB:MongoDB 3 ubuntu14.04内置python2.7,因此python及pip安装不再 阅读全文
posted @ 2016-03-15 17:05 JamesPei 阅读(9804) 评论(0) 推荐(1) 编辑