随笔分类 - python
摘要:前言 爬取小说时,以每一个章节为一个线程进行爬取,如果不加以控制的话,保存的时候各个章节之间的顺序会乱掉。 当然,这里说的是一本小说保存为单个txt文件,如果以每个章节为一个txt文件,自然不会存在这种情况。 不仅仅是小说,一些其他的数据在多线程爬取时也有类似情况,比如: 它们都有一个共同的特点,那
阅读全文
摘要:本文目的是使用scrapy爬取京东上所有的手机数据,并将数据保存到MongoDB中。 一、项目介绍 主要目标 1、使用scrapy爬取京东上所有的手机数据 2、将爬取的数据存储到MongoDB 环境 win7、python2、pycharm 技术 1、数据采集:scrapy 2、数据存储:Mongo
阅读全文
摘要:莫名其妙,从去年年底开始,Python这个东西在中国,突然一下子就火起来了,直至现在,他的热度更是超越了java,成为软件工程师最为关注的话题。Python之所以能火起来,很大一方面是因为大数据、人工智能和机器学习越来越受人关注的原因,那么,伴随着Python的火热,他的薪资是否也相应的高了起来了呢
阅读全文
摘要:很多时候想看小说但是在网页上找不到资源,即使找到了资源也没有提供下载,小说当然是下载下来用手机看才爽快啦! 于是程序员的思维出来了,不能下载我就直接用爬虫把各个章节爬下来,存入一个txt文件中,这样,一部小说就爬下来啦。 这一次我爬的书为《黑客》,一本网络小说,相信很多人都看过吧,看看他的代码吧。
阅读全文
摘要:近来想用pygame做做游戏,在 xishui 大神的目光博客中学了学这东西,就上一段自己写的飞机大战的代码,主要是对键盘控制飞机的移动做了相关的优化 在这里,飞机的偏移量之所以设置四个而不是两个,是因为如果设置的是两个,即控制x和y轴,那么飞机控制的方向只能是x轴或y轴, 就比如说,当按住a键的时
阅读全文

浙公网安备 33010602011771号