骑白马的Coder - 博客园

安装java 和 eclipse

摘要：昨天安装eclipse出现个问题, 安装完了创建第一个项目目录的时候弹窗报错an ......什么什么，百度一堆没有用，后来发现是jdk12不支持，换了jdk8就可以了，然后eclipse安装pydev插件，在eclipse界面help Eclipse Marketplace，在find框里阅读全文

posted @ 2019-03-26 20:50 骑白马的Coder 阅读(74) 评论(0) 推荐(0)

nginx配置

摘要： Nginx简介 web 反向代理缓存优点：简单稳定模块 rewrite Nginx部署安装： apt get install y build essential libssl dev libtool libpcre3 libpcre3 dev make openssl zlib1g dev 阅读全文

posted @ 2019-03-17 21:45 骑白马的Coder 阅读(99) 评论(0) 推荐(0)

爬取饿了么区域商家分布

摘要：这个简单，就是熟悉下数据格式保存，反反爬， https://mainsite restapi.ele.me/v2/pois? extras%5B%5D=count&geohash=wx4g0bmjetr7&keyword=%E6%9C%9D%E9%98%B3&limit=20&type=nearby 阅读全文

posted @ 2019-03-13 00:03 骑白马的Coder 阅读(844) 评论(1) 推荐(0)

爬取起点小说信息

摘要：没有vip所以并没爬取小说内容，这里主要是解决起点小说字数的反反爬 import random import requests import re import csv from fontTools.ttLib import TTFont from io import BytesIO from py 阅读全文

posted @ 2019-03-12 23:58 骑白马的Coder 阅读(292) 评论(0) 推荐(0)

爬取链家所有地区最新房源信息

摘要：使用scrapy，拼接url,找到翻页参数，保存为json 若要实现真正的全部数据爬取，需要将筛选参数组合，这次做的只到默认100页 lj.py ============================================== coding: utf 8 import copy impo 阅读全文

posted @ 2019-03-12 23:53 骑白马的Coder 阅读(429) 评论(0) 推荐(0)

scrapy框架爬取笔趣阁完整版

摘要：继续上一篇,这一次的爬取了小说内容 ============================== pipelines.py import csv class ScrapytestPipeline(object): 爬虫文件中提取数据的方法每yield一次item，就会运行一次该方法为固定名称函数阅读全文

posted @ 2019-02-24 20:17 骑白马的Coder 阅读(500) 评论(0) 推荐(0)

scrapy框架爬取笔趣阁

摘要：笔趣阁是很好爬的网站了,这里简单爬取了全部小说链接和每本的全部章节链接,还想爬取章节内容在biquge.py里在加一个爬取循环,在pipelines.py添加保存函数即可 1 创建一个scrapy项目:crapy startproject biqugetest 2 cd biqugetest 3 生阅读全文

posted @ 2019-02-22 09:36 骑白马的Coder 阅读(401) 评论(0) 推荐(0)

centos 7.5 安装mysql

摘要：刚从官网下载的centos 7.5 系统安装的时候选择的类型可能包含了mysql 命令查看到系统旧版MySQL rpm qa | grep mariadb mariadb devel 5.5.60 1.el7_5.x86_64 mariadb libs 5.5.60 1.el7_5.x86_64 m 阅读全文

posted @ 2018-11-27 21:19 骑白马的Coder 阅读(197) 评论(0) 推荐(0)

MySQL 主从服务器配置

摘要：在主服务器Ubuntu上进行备份，执行命令： mysqldump uroot p all databases lock all tables ~/master_db.sql u ：用户名 p ：示密码 all databases ：导出所有数据库 lock all tables ：执行操作时锁住所有阅读全文

posted @ 2018-11-12 23:42 骑白马的Coder 阅读(109) 评论(0) 推荐(0)

ssh 远程命令

摘要：远程拷贝文件,scp r 的常用方法： 1.使用该命令的前提条件要求目标主机已经成功安装openssh server 如没有安装使用 sudo apt get install openssh server 来安装 2.使用格式： scp r 目标用户名@目标主机IP地址：/目标文件的绝对路径 /保存阅读全文

posted @ 2018-11-12 22:33 骑白马的Coder 阅读(127) 评论(0) 推荐(0)

WhiteCoder

导航

公告