2017年8月8日
Python 爬虫-股票数据的Scrapy爬虫
摘要： 2017-08-06 19:52:21 目标：获取上交所和深交所所有股票的名称和交易信息输出：保存到文件中 技术路线：scrapy 获取股票列表：东方财富网：http://quote.eastmoney.com/stocklist.html获取个股信息：百度股票：https://gupiao.bai 阅读全文
posted @ 2017-08-08 22:38 hyserendipity 阅读(1163) 评论(0) 推荐(0)
Python 爬虫-正则表达式（补）
摘要： 2017-08-08 18:37:29 一、Python中正则表达式使用原生字符串的几点说明 原生字符串和普通字符串的不同 相较于普通字符串，原生字符串中的\就是反斜杠，并不表达转义。不过，字符串转成正则表达式的时候会将其中的\理解为转义字符，这点需要注意。 为什么使用原生字符串 使用原生字符串是为 阅读全文
posted @ 2017-08-08 19:18 hyserendipity 阅读(390) 评论(0) 推荐(0)
xhr文件类型说明
摘要： 2017-08-08 18:31:08 xhr : XML HTTP Request，是一种在后台与服务器进行交互的数据。这意味着可以在不加载整个网页的情况下，对网页中的部分内容进行更新。 这是Ajax的一种用法，而Ajax并不是一门语言，只是一种不需要加载整个网页，只是更新局部内容的技术。 案例： 阅读全文
posted @ 2017-08-08 18:37 hyserendipity 阅读(1224) 评论(0) 推荐(0)
2017年8月6日
Python 爬虫-Scrapy框架基本使用
摘要： 2017-08-01 22:39:50 一、Scrapy爬虫的基本命令 Scrapy是为持续运行设计的专业爬虫框架，提供操作的Scrapy命令行。 Scrapy命令行格式 Scrapy常用命令 采用命令行的原因 命令行（不是图形界面）更容易自动化，适合脚本控制本质上，Scrapy是给程序员用的，功能 阅读全文
posted @ 2017-08-06 19:52 hyserendipity 阅读(395) 评论(0) 推荐(0)
24点游戏
摘要： 2017-08-05 22:44:37 一、判断是否有解 问题描述： 问题求解： 二、打印所有解 24点的计算问题我从小就在玩，而且还玩的不错。不过学习编程之后呢，一直没有系统的解决过这个问题。之前做华为的编程测试题的时候有一条算24的题，是采用的暴力枚举的方式进行的。这次采用了递归的方法进行计算。 阅读全文
posted @ 2017-08-06 00:57 hyserendipity 阅读(258) 评论(0) 推荐(0)
2017年8月1日
Python 爬虫-Scrapy爬虫框架
摘要： 2017-07-29 17:50:29 Scrapy是一个快速功能强大的网络爬虫框架。 Scrapy不是一个函数功能库，而是一个爬虫框架。爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。 一、Scrapy框架介绍 5+2结构，5个主要模块加2个 阅读全文
posted @ 2017-08-01 22:38 hyserendipity 阅读(356) 评论(0) 推荐(0)
测试驱动开发（TDD）
摘要： 2017-08-01 20:03:48 测试驱动开发，英文全称Test-Driven Development，简称TDD，是一种不同于传统软件开发流程的新型的开发方法。它要求在编写某个功能的代码之前先编写测试代码，然后只编写使测试通过的功能代码，通过测试来推动整个开发的进行。这有助于编写简洁可用和高 阅读全文
posted @ 2017-08-01 20:10 hyserendipity 阅读(508) 评论(0) 推荐(0)
Python 调试
摘要： 2017-08-01 14:19:30 程序能一次写完并正常运行的概率很小，基本不超过1%。总会有各种各样的bug需要修正。有的bug很简单，看看错误信息就知道，有的bug很复杂，我们需要知道出错时，哪些变量的值是正确的，哪些变量的值是错误的，因此，需要一整套调试程序的手段来修复bug。 一、pri 阅读全文
posted @ 2017-08-01 19:52 hyserendipity 阅读(255) 评论(0) 推荐(0)
Python 错误与异常
摘要： 2017-08-01 13:40:17 在程序运行过程中，总会遇到各种各样的错误。 有的错误是程序编写有问题造成的，比如本来应该输出整数结果输出了字符串，这种错误我们通常称之为bug，bug是必须修复的。 有的错误是用户输入造成的，比如让用户输入email地址，结果得到一个空字符串，这种错误可以通过 阅读全文
posted @ 2017-08-01 14:15 hyserendipity 阅读(383) 评论(1) 推荐(0)
2017年7月31日
Python map/reduce
摘要： 2017-07-31 18:20:59 一、map函数 map()：会根据提供的函数对指定序列做映射。第一个参数 function 以参数序列中的每一个元素调用 function 函数，返回包含每次 function 函数返回值的iterator,即迭代器，使用list函数可以将之转成列表。 map 阅读全文
posted @ 2017-07-31 21:48 hyserendipity 阅读(210) 评论(0) 推荐(0)