摘要:小白中午听完老菜讲的那些话后一直在思考,可想来想去还是一头雾水,晕晕呼呼的一知半解,到最后还是想不明白,心想:老大讲的太高深了,只能听懂一半半,看来只能先记下来,将明白的先做,不明白的等以后遇到再学。 到晚上下班后回到家里,打开电脑开始写起代码来......(传送门: python开发环境搭建 ) 阅读全文
posted @ 2019-12-01 22:27 一个勤奋的程序员 阅读 (53) 评论 (0) 编辑
摘要:1:数据库结构设计与创建 小白做好前端html设计后,马上开始进入数据库结构设计步骤。 在开始之前,小白回忆了一下老大在公司里培训时讲过的数据库设计解说: 对于初学者来说,很多拿到原型时不知道怎么设计数据表结构,这是很正常的事,可以通过借鉴别人的项目总结经验,慢慢就会了。 拿到原型后,我们要认真观察 阅读全文
posted @ 2019-12-01 22:19 一个勤奋的程序员 阅读 (469) 评论 (0) 编辑
摘要:在该路径下,运行elasticsearch.bat该命令,后面访问127.0.0.1:9200 出现如下界面说明启动成功 elasticsearch-head操作elasticsearch的图形界面,查看它的数据 elasticsearch-head 是用于监控 Elasticsearch 状态的客 阅读全文
posted @ 2019-04-25 14:29 一个勤奋的程序员 阅读 (203) 评论 (0) 编辑
摘要:创建项目 切换到ArticleSpider目录下创建爬虫文件 设置settings.py爬虫协议为False 编写启动爬虫文件main.py 阅读全文
posted @ 2019-04-24 08:20 一个勤奋的程序员 阅读 (32) 评论 (0) 编辑
摘要:注意: 在linux下安装新的版本的python是,千万不要删掉系统自带的python,因为系统自带的一些命令行工具是以python开发的,如yum 模块,yum 启动时指向/usr/lib/python,当前的python环境有yum运行的相关的依赖包,所以一定不要删掉, 也不能覆盖,特别是/us 阅读全文
posted @ 2019-04-20 13:05 一个勤奋的程序员 阅读 (232) 评论 (0) 编辑
摘要:第一步:进入到/lib/systemd/system/目录 第二步:创建nginx.service文件,并编辑 内如如下: [Unit]:服务的说明Description:描述服务After:描述服务类别[Service]服务运行参数的设置Type=forking是后台运行的形式ExecStart为 阅读全文
posted @ 2019-04-16 16:14 一个勤奋的程序员 阅读 (911) 评论 (0) 编辑
摘要:#!/user/bin/env python3 # -*- coding: utf-8 -*- import requests from lxml import etree from math import ceil from mongodb_config import mongo_info header = { 'User-Agent': 'Mozilla/5.0 (Windows ... 阅读全文
posted @ 2019-04-15 08:29 一个勤奋的程序员 阅读 (74) 评论 (0) 编辑
摘要:恢复内容开始 基于scrapy_redis和mongodb的分布式爬虫 项目需求: 1:自动抓取每一个农产品的详细数据 2:对抓取的数据进行存储 第一步: 创建scrapy项目 创建爬虫文件 在items.py里面定义我们要爬取的数据 将settings.py改为false 写spider爬虫文件n 阅读全文
posted @ 2019-04-07 00:41 一个勤奋的程序员 阅读 (111) 评论 (0) 编辑
摘要:import requests from bs4 import BeautifulSoup from math import ceil header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safar... 阅读全文
posted @ 2019-03-29 09:18 一个勤奋的程序员 阅读 (206) 评论 (0) 编辑
摘要:1:创建爬虫文件,获取url地址 2:使用request获取第一页的请求信息 3:获取多页的请求信息 4:下载电影图片地址到本地 5:爬取豆瓣热门美剧存储到mongodb中 将json数据转换为字典,然后根据键subjects循环取出里面的值 取出我们想要的数据 获取多页数据 保存数据到mongod 阅读全文
posted @ 2019-02-24 14:51 一个勤奋的程序员 阅读 (288) 评论 (0) 编辑