TaoHF

摘要： 上午胡乱的弄，没有做记录，导致下午删掉了东西过后scrapy发布不上去了，现在卸载了scrapyd，scrapyd-client重新安装 安装scrapyd scrapyd模块是专门用于部署scrapy项目的，可以部署和管理scrapy项目 在scrapySpider虚拟环境下面安装scrapyd 阅读全文

摘要： 为了部署scrapyd项目，建立一个虚拟环境方便管理。 查看anaconda的版本 查看anaconda上面安装了哪些包 创建好后，激活该虚拟环境 对虚拟环境安装额外的包 使用命令conda install -n your_env_name [package]即可安装package到your_env 阅读全文

摘要： 在Settings.py里面，提供了提取以key-value映射的配置值的的全局命名空间(namespace)。可以通过多种机制进行设置 如何获取设定的值 命令行 项目模块 如何进行访问 通过crawler 阅读全文

摘要： 首先通过csrapy shell命令创建一个scrapy项目。 scrapy startproject projectname 会生成如下文件 进入spider_405文件夹 我们自己写的爬虫项目就放在spiders文件夹里面 items.py是用来保存你爬取的数据的数据结构 在scrapy.cfg 阅读全文

摘要： 创建scrapy项目 命令：scrapy startproject dirctory_name 可以发现在tm_spider目录下创建了一个文件夹：spider_402,文件夹结构如下 定义一个spiders爬虫class(类) ，该class是scrap.Spider的subclass(子类)。 阅读全文

摘要： 项目的需求需要爬虫某网的商品信息，自己通过Requests,BeautifulSoup等编写了一个spider，把抓取的数据存到数据库里面。 跑起来的感觉速度有点慢，尤其是进入详情页面抓取信息的时候，小白入门，也不知道应该咋个整，反正就是跟着学嘛。 网上的爬虫框架还是挺多的，现在打算学习spcrap 阅读全文

摘要： linux主要用于服务器领域，而在服务器上执行一项服务是永无止境的，一般情况不会关机。在linux系统下，很多进程是在后台执行的。在屏幕背后，可能有很多人同时在工作。如果直接按下电源的按钮，其他人的数据可能就此中断。若不正常关机，严重的话，可能会造成文件系统损坏，从而导致数据丢失。 在关机之前，先看 阅读全文

摘要： key questions we must answer what the study about what did you investigate? why? what did you do? methods what did you discover? what do you result me 阅读全文

摘要： 在Linux中可以使用ll或者ls –l命令来显示一个文件的属性以及文件所属的用户和组 在Linux中第一个字符代表这个文件是目录、文件或链接文件等等 当为[ d ]则是目录 当为[ - ]则是文件； 若是[ l ]则表示为链接文档(link file)； 若是[ b ]则表示为装置文件里面的可供储 阅读全文

摘要： ls \ 查看根目录文件 bin:这个目录存放着最经常使用的命令 boot:启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件 dev:该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方式是相同的 etc:存放所有的系统管理所需要的配置文件和子目录 hom 阅读全文