摘要: 该二叉树: 用类的方法进行定义: 阅读全文
posted @ 2017-11-17 17:06 小步快跑& 阅读(265) 评论(0) 推荐(0) 编辑
摘要: 参考链接:https://www.w3cschool.cn/django/django-template.html 1、新建模板目录 templates 2、在setting文件中注册模板 修改 TEMPLATES 中的 DIRS 为 [BASE_DIR+"/templates",] 3、我们现在修 阅读全文
posted @ 2017-11-12 17:20 小步快跑& 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 很好的一个django教程:https://www.w3cschool.cn/django/django-first-app.html django版本:1.8 1、创建django工程 django-admin startproject HelloWorld 2、启动server 进入HelloW 阅读全文
posted @ 2017-11-11 20:47 小步快跑& 阅读(302) 评论(0) 推荐(0) 编辑
摘要: 做微指数的爬虫时,遇到点难题,去网上查些资料,发现有点错误; 特此经过研究,有了正确的采集方法。 1、采集界面,搜索关键字后页面跳转到指数界面,显示搜索的指数。 2、fiddler抓包定位采集数据源,加载方式为json 3、获取json数据; 分析数据的加载方式,发现数据是在定位请求头中的refer 阅读全文
posted @ 2017-06-23 15:28 小步快跑& 阅读(1704) 评论(0) 推荐(0) 编辑
摘要: 简介:celery是一个分布式队列的管理工具,提供了快速管理和操作分布式任务队列的一些方法的框架 特点:1、celery易于使用和维护,不需要进行很复杂的配置,简单的celery例子: 2、高可靠性:程序和客户端具有失去连接进行重新尝试连接的特性,一些中间键有HA特性(hadoop主节点热备),常用 阅读全文
posted @ 2017-04-05 12:44 小步快跑& 阅读(347) 评论(1) 推荐(0) 编辑
摘要: python多线程编程 Python多线程编程中常用方法: 1、join()方法:如果一个线程或者在函数执行的过程中调用另一个线程,并且希望待其完成操作后才能执行,那么在调用线程的时就可以使用被调线程的join方法join([timeout]) timeout:可选参数,线程运行的最长时间 2、is 阅读全文
posted @ 2016-04-28 20:37 小步快跑& 阅读(7048) 评论(0) 推荐(0) 编辑
摘要: 用pyhton写了一些爬虫,由于数据量比较大,需要跑的时间也比较长,所以将代码部署到服务器上。选择用crontab完成爬虫的定时爬取数据,这样避免了人工的干预,减少一些人为错误。但在部署crontab的时候遇到一些问题,写到这里方面今后的学习。 我在服务器上部署了7个任务,是在每天的凌晨之后检查网站 阅读全文
posted @ 2016-04-16 11:46 小步快跑& 阅读(784) 评论(0) 推荐(0) 编辑
摘要: matplotlib在python中一般会与numpy同时出现,解决一些科学计算和数据的可视化问题。matplotlib其实就是matlib在python中的实现,因此不会有太大的难度,而由于python自身在处理大数据方面的优势,使python和hadoop、hive甚至spark都有很好的结合,... 阅读全文
posted @ 2015-12-26 13:23 小步快跑& 阅读(9097) 评论(0) 推荐(1) 编辑
摘要: 双十二就要到了,浏览京东商城也浏览的比较多,突然想到写一个爬虫来爬取一些“京东家电”的数据,可能会对双十二的活动有点预见性,也挺好玩的。 1、选定爬取的模块 京东商城--京东家电--家用电器--大家电 2、爬取“平板电视”这一模块的数据 我用的是火狐浏览器的HttpFox插件来查看网页的加载信息。当 阅读全文
posted @ 2015-12-10 17:05 小步快跑& 阅读(1776) 评论(6) 推荐(3) 编辑
摘要: web表单 web表单是浏览者和网之间的一个互动平台,完成浏览器和服务器之间的数据交互。1、用Flask-WTF来处理表单 (1)在根目录下编辑扩展配置--config.pyCSRF_ENABLED = TrueSECRET_KEY = 'you-will-never-guess'CSRF_ENA... 阅读全文
posted @ 2015-11-07 19:35 小步快跑& 阅读(356) 评论(0) 推荐(0) 编辑