Dbass

算法笔记之codeup 1928 日期差值

摘要： #include<iostream> using namespace std; /* 日期差值主要考虑①闰年情况②月份天数不同 1 3 5 7 8 10 12月三十一天闰年366天，平年355天闰年判定方法：能被400整除。或者能被4整除但不能被100整除。个人认为书上算法虽代码简洁，但如果阅读全文

posted @ 2020-01-09 17:30 Dbass 阅读(267) 评论(0) 推荐(0) 编辑

linux之配置Mongodb~

摘要： OK 让我们先下载一波mongodb~(64位ubuntu) curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz # 下载 tar -zxvf mongodb-linux-x86_64-3.0.6.tgz # 阅读全文

posted @ 2018-04-13 08:59 Dbass 阅读(328) 评论(0) 推荐(0) 编辑

scrapy爬虫之断点续爬和多个spider同时爬取

摘要： from scrapy.commands import ScrapyCommand from scrapy.utils.project import get_project_settings #断点续爬scrapy crawl spider_name -s JOBDIR=crawls/spider_ 阅读全文

posted @ 2018-03-20 10:04 Dbass 阅读(3184) 评论(0) 推荐(0) 编辑

scrapy爬虫之模拟ajax post请求获取数据

摘要：实质：分析真实请求地址,根据规则构造新地址从而获得数据。分析发现数据是通过异步ajax方式→post 获得的于是通过分析response ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ 发现每次翻页网页都会新请求一个NoticeKTSearch，以post方式请求 ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ 阅读全文

posted @ 2018-03-01 10:34 Dbass 阅读(601) 评论(0) 推荐(0) 编辑

scrapy 中 xpath 用string方法提取带有空格符解决方法

摘要：注释掉的是刚开始的代码，匹配的全是带空格的，replace替换不了空格后面加上了normalize-space（）匹配到的文本内容变成了可replace 问题解决阅读全文

posted @ 2018-01-31 17:01 Dbass 阅读(436) 评论(0) 推荐(0) 编辑

windos64位下python3.6安装pywin32的问题

摘要： ~~~~今天终于算是正式接触scrapy了，测试的时候发现少装了一个pywin32的模块，然后安装了好久，中间碰到好多坑，最后总算是装好了。首先我自己的py3.6是64位版本的，这是pywin32模块的下载地址 https://sourceforge.net/projects/pywin32/fi 阅读全文

posted @ 2017-12-05 19:26 Dbass 阅读(9728) 评论(0) 推荐(0) 编辑

利用正则+requests爬取猫眼电影信息

摘要： 1 import json 2 # from multiprocessing import Pool 3 import requests 4 from requests.exceptions import RequestException 5 import re 6 7 8 def get_one_ 阅读全文

posted @ 2017-11-30 16:45 Dbass 阅读(862) 评论(0) 推荐(1) 编辑

selenium+phantomjs+pyquery 爬取淘宝商品信息

摘要： 1 from selenium import webdriver 2 from selenium.common.exceptions import TimeoutException 3 from selenium.webdriver.common.by import By 4 from seleni 阅读全文

posted @ 2017-11-30 16:38 Dbass 阅读(247) 评论(0) 推荐(0) 编辑

socket实现FTP上传下载功能

摘要： '''服务器端''' 1 _author__ = "Dbass" 2 import socketserver 3 import json,os 4 class MyTCPHandler(socketserver.BaseRequestHandler): 5 def get(self,*args): 阅读全文

posted @ 2017-11-09 09:13 Dbass 阅读(295) 评论(0) 推荐(0) 编辑

导航

公告