摘要:
昨天安装eclipse出现个问题, 安装完了创建第一个项目目录的时候弹窗报错an ......什么什么, 百度一堆没有用,后来发现是jdk12不支持,换了jdk8就可以了, 然后eclipse安装pydev插件, 在eclipse界面help Eclipse Marketplace, 在find框里 阅读全文
摘要:
Nginx简介 web 反向代理 缓存 优点: 简单稳定 模块 rewrite Nginx部署 安装: apt get install y build essential libssl dev libtool libpcre3 libpcre3 dev make openssl zlib1g dev 阅读全文
摘要:
这个简单,就是熟悉下数据格式保存,反反爬, https://mainsite restapi.ele.me/v2/pois? extras%5B%5D=count&geohash=wx4g0bmjetr7&keyword=%E6%9C%9D%E9%98%B3&limit=20&type=nearby 阅读全文
摘要:
没有vip所以并没爬取小说内容,这里主要是解决起点小说字数的反反爬 import random import requests import re import csv from fontTools.ttLib import TTFont from io import BytesIO from py 阅读全文
摘要:
使用scrapy,拼接url,找到翻页参数,保存为json 若要实现真正的全部数据爬取,需要将筛选参数组合,这次做的只到默认100页 lj.py ============================================== coding: utf 8 import copy impo 阅读全文
摘要:
继续上一篇,这一次的爬取了小说内容 ============================== pipelines.py import csv class ScrapytestPipeline(object): 爬虫文件中提取数据的方法每yield一次item,就会运行一次 该方法为固定名称函数 阅读全文
摘要:
笔趣阁是很好爬的网站了,这里简单爬取了全部小说链接和每本的全部章节链接,还想爬取章节内容在biquge.py里在加一个爬取循环,在pipelines.py添加保存函数即可 1 创建一个scrapy项目:crapy startproject biqugetest 2 cd biqugetest 3 生 阅读全文
摘要:
刚从官网下载的centos 7.5 系统安装的时候选择的类型可能包含了mysql 命令查看到系统旧版MySQL rpm qa | grep mariadb mariadb devel 5.5.60 1.el7_5.x86_64 mariadb libs 5.5.60 1.el7_5.x86_64 m 阅读全文
摘要:
在主服务器Ubuntu上进行备份,执行命令: mysqldump uroot p all databases lock all tables ~/master_db.sql u :用户名 p :示密码 all databases :导出所有数据库 lock all tables :执行操作时锁住所有 阅读全文