py卡卡

摘要： scrapy-redis 分布式爬虫 下载github官方给的案例： 地址：https://github.com/rmax/scrapy-redis 分析配置文件 setting.py 设置重复过滤器的模块 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RF 阅读全文

摘要： 整个工作流程 1.爬虫中起始的url构造成request对象，并传递给调度器 2.引擎从调度器 中获取到request对象.然后交给 下载器 3.由下载器来获取到页面源代码，并封装成response对象.并回馈给引擎 4.引擎将获取到的response对象传递给 spider，由spider对数据进 阅读全文

摘要： AI Agent智能体 AI Agent 1.什么是AIAgent? 答案:感知环境、自主决策、使用工具完成任务的智能实体 2.Agent和大模型的区别? 大模型：聊天对象; Agent：不仅能聊，还能做、能执行 Dify Dify是一个开源的大语言模型(LLM)应用开发平台，旨在简化和加速生成式A 阅读全文

摘要： pip install django 使用pycharm创建一个django项目 创建完成之后需要等待一些时间，最后的目录结构 项目默认运行命令 python manage.py runserver 8000 创建应用 比如book 命令 python manage.py startapp book 阅读全文

摘要： 需要学习的东西 短期 天数 重点攻克方向 必背/必懂的核心知识点 (面试高频) 实战/模拟动作 (必须做) Day 1 Swoole/Hyperf 深度 1. 进程模型：Master/Manager/Worker/Task 进程职责及通信方式。2. 协程原理：协程切换开销、上下文保留、协程陷阱（如全 阅读全文

摘要： 文件读取 一次性读取 byteData, _ := os.ReadFile("go_study/hello.txt") fmt.Println(string(byteData)) fmt.Printf(file.Name()) // go_study/hello.txt 获取当前go文件的路径 可以 阅读全文

摘要： 协程 Goroutine Goroutine是Go运行时管理的轻量级线程 启动一个 goroutine 只需在函数调用前加关键字 go 一个简单的购买商品的例子 同步执行 package main import ( "fmt" "time" ) func pay(name string) { fmt 阅读全文

摘要： golang的优势 极简单的部署方式 可直接编译成机器码 不依赖其他库 直接运行即可部署 静态类型语言 语言层面的并发 充分利用多核优势处理并发问题 强大的标准库支撑 runtime 系统调度机制 高效的GC垃圾回收 标准库 下载安装 下载地址：https://go.dev/dl/ windows 阅读全文

摘要： Redis内存优化可以从多个角度进行，包括： 数据结构优化 内存配置优化 数据过期策略 编码化 内用外部存储 内存结构分析 内存组成 # 查看内存详情 redis-cli> INFO memory # 关键指标： # used_memory: 11845632 # Redis分配器分配的内存 # u 阅读全文

摘要： Redis 持久化 概述 Redis 是内存数据库，数据存储在内存中，但内存中的数据在服务器重启后会丢失。持久化就是将内存中的数据保存到磁盘，实现数据永久保存。 为什么需要持久化？ 数据备份和恢复 防止服务器宕机数据丢失 支持数据归档和分析 灾备和容灾 Redis 持久化方式 RDB（Redis D 阅读全文