2019年3月26日

摘要: 昨天安装eclipse出现个问题, 安装完了创建第一个项目目录的时候弹窗报错an ......什么什么, 百度一堆没有用,后来发现是jdk12不支持,换了jdk8就可以了, 然后eclipse安装pydev插件, 在eclipse界面help Eclipse Marketplace, 在find框里 阅读全文
posted @ 2019-03-26 20:50 骑白马的Coder 阅读(74) 评论(0) 推荐(0) 编辑

2019年3月17日

摘要: Nginx简介 web 反向代理 缓存 优点: 简单稳定 模块 rewrite Nginx部署 安装: apt get install y build essential libssl dev libtool libpcre3 libpcre3 dev make openssl zlib1g dev 阅读全文
posted @ 2019-03-17 21:45 骑白马的Coder 阅读(99) 评论(0) 推荐(0) 编辑

2019年3月13日

摘要: 这个简单,就是熟悉下数据格式保存,反反爬, https://mainsite restapi.ele.me/v2/pois? extras%5B%5D=count&geohash=wx4g0bmjetr7&keyword=%E6%9C%9D%E9%98%B3&limit=20&type=nearby 阅读全文
posted @ 2019-03-13 00:03 骑白马的Coder 阅读(775) 评论(1) 推荐(0) 编辑

2019年3月12日

摘要: 没有vip所以并没爬取小说内容,这里主要是解决起点小说字数的反反爬 import random import requests import re import csv from fontTools.ttLib import TTFont from io import BytesIO from py 阅读全文
posted @ 2019-03-12 23:58 骑白马的Coder 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 使用scrapy,拼接url,找到翻页参数,保存为json 若要实现真正的全部数据爬取,需要将筛选参数组合,这次做的只到默认100页 lj.py ============================================== coding: utf 8 import copy impo 阅读全文
posted @ 2019-03-12 23:53 骑白马的Coder 阅读(387) 评论(0) 推荐(0) 编辑

2019年2月24日

摘要: 继续上一篇,这一次的爬取了小说内容 ============================== pipelines.py import csv class ScrapytestPipeline(object): 爬虫文件中提取数据的方法每yield一次item,就会运行一次 该方法为固定名称函数 阅读全文
posted @ 2019-02-24 20:17 骑白马的Coder 阅读(453) 评论(0) 推荐(0) 编辑

2019年2月22日

摘要: 笔趣阁是很好爬的网站了,这里简单爬取了全部小说链接和每本的全部章节链接,还想爬取章节内容在biquge.py里在加一个爬取循环,在pipelines.py添加保存函数即可 1 创建一个scrapy项目:crapy startproject biqugetest 2 cd biqugetest 3 生 阅读全文
posted @ 2019-02-22 09:36 骑白马的Coder 阅读(337) 评论(0) 推荐(0) 编辑

2018年11月27日

摘要: 刚从官网下载的centos 7.5 系统安装的时候选择的类型可能包含了mysql 命令查看到系统旧版MySQL rpm qa | grep mariadb mariadb devel 5.5.60 1.el7_5.x86_64 mariadb libs 5.5.60 1.el7_5.x86_64 m 阅读全文
posted @ 2018-11-27 21:19 骑白马的Coder 阅读(190) 评论(0) 推荐(0) 编辑

2018年11月12日

摘要: 在主服务器Ubuntu上进行备份,执行命令: mysqldump uroot p all databases lock all tables ~/master_db.sql u :用户名 p :示密码 all databases :导出所有数据库 lock all tables :执行操作时锁住所有 阅读全文
posted @ 2018-11-12 23:42 骑白马的Coder 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 远程拷贝文件,scp r 的常用方法: 1.使用该命令的前提条件要求目标主机已经成功安装openssh server 如没有安装使用 sudo apt get install openssh server 来安装 2.使用格式: scp r 目标用户名@目标主机IP地址:/目标文件的绝对路径 /保存 阅读全文
posted @ 2018-11-12 22:33 骑白马的Coder 阅读(125) 评论(0) 推荐(0) 编辑

导航