随笔分类 -  Python

上一页 1 2
django celery的分布式异步之路(一) 起步
摘要：如果你看完本文还有兴趣的话，可以看看进阶篇：http://www.cnblogs.com/kangoroo/p/7300433.html 设想你遇到如下场景： 1）高并发 2）请求的执行相当消耗机器资源，流量峰值的时候可能超出单机界限 3）请求返回慢，客户长时间等在页面等待任务返回 4）存在耗时的定 阅读全文
posted @ 2017-08-07 19:58 扎心了老铁 阅读(2940) 评论(1) 推荐(1)
python使用装饰器@函数式化django开发
摘要：django是一个python web开发的框架。作为一个框架MVC的架构已经实现起来了。但是编码的时候你经常要进行进一步的抽象。 AOP是一种称为面向切面的开发思想，意思是将部分功能代码在运行时动态的加载到指定位置。最常见的应用是Spring中的依赖注入@Autowired。 而装饰器也可以被看成 阅读全文
posted @ 2017-07-31 19:06 扎心了老铁 阅读(656) 评论(0) 推荐(3)
python 设计模式，“多”例模式
摘要：版本1：一个账号不能同时是司机乘客。 #-*- coding:utf-8 -*- ''' Created on 2016年8月2日 @author: yangfanholiday ''' class User(object): __doc__ = '在不改变case代码情况下，防止重复login，不会被其他case登录顶掉(并发)，类似单例模式的demo，... 阅读全文
posted @ 2017-07-30 17:45 扎心了老铁 阅读(386) 评论(0) 推荐(1)
python apschedule安装使用与源码分析
摘要：我们的项目中用apschedule作为核心定时调度模块。所以对apschedule进行了一些调查和源码级的分析。 1、为什么选择apschedule？ 听信了一句话，apschedule之于python就像是quartz之于java。实际用起来还是不错的。 2、安装 3、apschedule有四个主 阅读全文
posted @ 2017-07-25 15:38 扎心了老铁 阅读(6200) 评论(1) 推荐(2)
使用Fabric一键批量部署上线/线上环境监控
摘要：本文讲述如何使用fabric进行批量部署上线的功能 这个功能对于小应用，可以避免开发部署上线的平台，或者使用linux expect开发不优雅的代码。 前提条件： 1、运行fabric脚本的机器和其他机器tcp_port=22端口通 2、ssh可以登录，你有账号密码 一、先说批量部署上线 先上代码， 阅读全文
posted @ 2017-07-19 20:37 扎心了老铁 阅读(1119) 评论(0) 推荐(1)
django使用xlwt导出excel文件
摘要：这里只是mark一下导出的方法，并没有做什么REST处理和异常处理。 维护统一的style样式，可以使导出的数据更加美观。 阅读全文
posted @ 2017-07-10 10:36 扎心了老铁 阅读(3474) 评论(0) 推荐(1)
redis的发布订阅模式pubsub
摘要：前言 redis支持发布订阅模式，在这个实现中，发送者（发送信息的客户端）不是将信息直接发送给特定的接收者（接收信息的客户端），而是将信息发送给频道（channel），然后由频道将信息转发给所有对这个频道感兴趣的订阅者。 发送者无须知道任何关于订阅者的信息，而订阅者也无须知道是那个客户端给它发送信息 阅读全文
posted @ 2017-04-17 13:57 扎心了老铁 阅读(811) 评论(0) 推荐(0)
django集成celery之callback方式link_error和on_failure
摘要：在使用django集成celery进行了异步调度任务之后，如果想对失败的任务进行跟踪或者告警，怎么做？ 这里提供一个亲测的方法。 1、任务callback 假如你想在任务执行失败的时候，打印错误信息并且发出报警，该怎么搞。有两个方法： (1)link_error (2)on_failure/on_s 阅读全文
posted @ 2017-04-06 16:08 扎心了老铁 阅读(2081) 评论(0) 推荐(1)
使用beanstalkd实现定制化持续集成过程中pipeline
摘要：持续集成是一种项目管理和流程模型，依赖于团队中各个角色的配合。各个角色的意识和配合不是一朝一夕能练就的，我们的工作只是提供一种方案和能力，这就是持续集成能力的服务化。而在做持续集成能力服务化的过程中，最核心的一点就是，如何实现一个可定制化的任务流，即所谓的pipeline。 在传统的持续集成工具实现 阅读全文
posted @ 2017-01-26 22:51 扎心了老铁 阅读(1207) 评论(0) 推荐(0)
hadoop streaming编程小demo(python版)
摘要：大数据团队搞数据质量评测。自动化质检和监控平台是用django，MR也是通过python实现的。(后来发现有orc压缩问题，python不知道怎么解决，正在改成java版本) 这里展示一个python编写MR的例子吧。 抄一句话：Hadoop Streaming是Hadoop提供的一个编程工具，它允 阅读全文
posted @ 2016-12-10 11:53 扎心了老铁 阅读(3285) 评论(0) 推荐(0)
一个scrapy框架的爬虫(爬取京东图书)
摘要：我们的这个爬虫设计来爬取京东图书(jd.com)。 scrapy框架相信大家比较了解了。里面有很多复杂的机制，超出本文的范围。 1、爬虫spider tips： 1、xpath的语法比较坑，但是你可以在chrome上装一个xpath helper，轻松帮你搞定xpath正则表达式 2、动态内容，比如 阅读全文
posted @ 2016-11-16 21:02 扎心了老铁 阅读(5023) 评论(0) 推荐(0)
ELK日志收集分析系统配置
摘要：ELK是日志收益与分析的利器。 1、elasticsearch集群搭建 略 2、logstash日志收集 我这里的实现分如下2步，中间用redis队列做缓冲，可以有效的避免es压力过大： 1、n个agent对n个服务的log做日志收集(1对1的方式)，从日志文件解析数据，存入broker，这里用的是 阅读全文
posted @ 2016-11-11 12:43 扎心了老铁 阅读(811) 评论(0) 推荐(0)
Elasticsearch(GEO)空间检索查询
摘要：Elasticsearch(GEO)空间检索查询python版本 1、Elasticsearch ES的强大就不用多说了，当你安装上插件，搭建好集群，你就拥有了一个搜索系统。 当然，ES的集群优化和查询优化就是另外一个议题了。这里mark一个最近使用的es空间检索的功能。 2、ES GEO空间检索 阅读全文
posted @ 2016-11-10 14:07 扎心了老铁 阅读(18680) 评论(3) 推荐(0)

上一页 1 2