一个勤奋的程序员

摘要：小白中午听完老菜讲的那些话后一直在思考，可想来想去还是一头雾水，晕晕呼呼的一知半解，到最后还是想不明白，心想：老大讲的太高深了，只能听懂一半半，看来只能先记下来，将明白的先做，不明白的等以后遇到再学。 到晚上下班后回到家里，打开电脑开始写起代码来......（传送门： python开发环境搭建 ） 阅读全文

摘要：1：数据库结构设计与创建 小白做好前端html设计后，马上开始进入数据库结构设计步骤。 在开始之前，小白回忆了一下老大在公司里培训时讲过的数据库设计解说： 对于初学者来说，很多拿到原型时不知道怎么设计数据表结构，这是很正常的事，可以通过借鉴别人的项目总结经验，慢慢就会了。 拿到原型后，我们要认真观察 阅读全文

摘要：在该路径下，运行elasticsearch.bat该命令，后面访问127.0.0.1:9200 出现如下界面说明启动成功 elasticsearch-head操作elasticsearch的图形界面，查看它的数据 elasticsearch-head 是用于监控 Elasticsearch 状态的客 阅读全文

摘要：创建项目 切换到ArticleSpider目录下创建爬虫文件 设置settings.py爬虫协议为False 编写启动爬虫文件main.py 阅读全文

摘要：注意： 在linux下安装新的版本的python是，千万不要删掉系统自带的python，因为系统自带的一些命令行工具是以python开发的，如yum 模块，yum 启动时指向/usr/lib/python，当前的python环境有yum运行的相关的依赖包，所以一定不要删掉， 也不能覆盖，特别是/us 阅读全文

摘要：第一步：进入到/lib/systemd/system/目录 第二步：创建nginx.service文件，并编辑 内如如下： [Unit]:服务的说明Description:描述服务After:描述服务类别[Service]服务运行参数的设置Type=forking是后台运行的形式ExecStart为 阅读全文

摘要：#!/user/bin/env python3 # -*- coding: utf-8 -*- import requests from lxml import etree from math import ceil from mongodb_config import mongo_info header = { 'User-Agent': 'Mozilla/5.0 (Windows ... 阅读全文

摘要：恢复内容开始 基于scrapy_redis和mongodb的分布式爬虫 项目需求： 1：自动抓取每一个农产品的详细数据 2：对抓取的数据进行存储 第一步： 创建scrapy项目 创建爬虫文件 在items.py里面定义我们要爬取的数据 将settings.py改为false 写spider爬虫文件n 阅读全文

摘要：import requests from bs4 import BeautifulSoup from math import ceil header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safar... 阅读全文

摘要：1：创建爬虫文件，获取url地址 2：使用request获取第一页的请求信息 3：获取多页的请求信息 4：下载电影图片地址到本地 5：爬取豆瓣热门美剧存储到mongodb中 将json数据转换为字典，然后根据键subjects循环取出里面的值 取出我们想要的数据 获取多页数据 保存数据到mongod 阅读全文