头发少的文不识

2026年2月21日

摘要：一、学习目标掌握使用Docker容器化爬虫项目及其依赖环境学习使用Scrapyd部署和管理Scrapy爬虫了解Gerapy作为Scrapyd的图形化管理工具能够配置定时任务（cron / APScheduler）自动运行爬虫熟悉爬虫日志管理与简单监控构建一个可部署、可调度、可监控的爬虫系阅读全文

posted @ 2026-02-21 20:51 头发少的文不识阅读(3) 评论(0) 推荐(0)

寒假学习笔记2.14

摘要：一、实践练习练习1：使用Scrapy‑Redis分布式爬取豆瓣电影目标：将之前的豆瓣电影爬虫改造为分布式版本，多台机器协同抓取。安装scrapy‑redis，修改settings.py： python SCHEDULER = "scrapy_redis.scheduler.Scheduler" 阅读全文

posted @ 2026-02-21 20:51 头发少的文不识阅读(2) 评论(0) 推荐(0)

寒假学习笔记2.13

摘要：一、学习目标理解分布式爬虫的原理与优势掌握Scrapy‑Redis实现分布式爬虫的方法学习数据存储方案：MySQL与MongoDB 掌握增量爬取与去重策略能够将Scrapy爬虫集成到其他Python程序中（CrawlerRunner）完成一个分布式爬虫项目，并将数据存入数据库二、学习内容阅读全文

posted @ 2026-02-21 20:50 头发少的文不识阅读(3) 评论(0) 推荐(0)

2026年2月18日

寒假学习笔记2.12

posted @ 2026-02-18 01:06 头发少的文不识阅读(2) 评论(0) 推荐(0)

寒假学习笔记2.11

posted @ 2026-02-18 01:06 头发少的文不识阅读(1) 评论(0) 推荐(0)

2026年2月17日

寒假学习笔记2.10

摘要：一、实践练习练习1：使用Selenium模拟登录豆瓣并获取个人主页信息 python from selenium import webdriver from selenium.webdriver.common.by import By import time def douban_login(us 阅读全文

posted @ 2026-02-17 23:59 头发少的文不识阅读(1) 评论(0) 推荐(0)

寒假学习笔记2.9

摘要：一、学习目标掌握Selenium库处理JavaScript动态加载页面的方法学习常见反爬虫策略及其应对技巧（User‑Agent轮换、代理IP、请求延迟）了解浏览器自动化操作（点击、输入、滚动等）初步认识Scrapy框架的架构与基本使用能够编写中等复杂度的爬虫项目，处理登录、分页等场景二阅读全文

posted @ 2026-02-17 23:58 头发少的文不识阅读(4) 评论(0) 推荐(0)

寒假学习笔记2.8

摘要：一、实践练习：电影数据分析完整项目项目目标加载豆瓣电影Top250数据（昨天爬取的）数据清洗与特征工程多维度统计分析可视化展示分析结果生成分析报告 python import pandas as pd import numpy as np import matplotlib.pyplot 阅读全文

posted @ 2026-02-17 23:36 头发少的文不识阅读(2) 评论(0) 推荐(0)

寒假学习笔记2.7

摘要：一、学习目标深入掌握Pandas的高级数据处理功能（分组聚合、透视表、时间序列）学习Seaborn统计可视化库的基本用法掌握数据清洗与特征工程常用技巧能够完成从数据采集到可视化分析的全流程理解数据分析的基本思维框架二、学习内容 Pandas高级数据操作 1.1 Series与DataFr 阅读全文

posted @ 2026-02-17 23:36 头发少的文不识阅读(3) 评论(0) 推荐(0)

寒假学习笔记2.6

摘要：一、实践练习：综合实战——豆瓣电影Top250数据采集与分析项目目标爬取豆瓣电影Top250的电影名称、年份、评分和评价人数对数据进行清洗和统计分析可视化展示分析结果步骤1：数据采集 python import requests from bs4 import BeautifulSoup 阅读全文

posted @ 2026-02-17 23:22 头发少的文不识阅读(1) 评论(0) 推荐(0)

公告