阿dun

摘要： 1. 准备工作 在开始之前，请确保已经安装好了MongoDB并启动了其服务，并且安装好了Python的PyMongo库。 2. 连接MongoDB 连接MongoDB时，我们需要使用PyMongo库里面的MongoClient。一般来说，传入MongoDB的IP及端口即可，其中第一个参数为地址hos 阅读全文

摘要： MongoDB的基本使用 连接实例 通过 mongo 命令来连接 MongoDB 实例： mongo [options] [db address] [file names] 默认端口号为 27017，安全模式未被开启，所以不需要输入用户名和密码即可直接连接： mongo 127.0.0.1:1234 阅读全文

摘要： 反爬虫，非标准的json格式解析 今天写爬虫的时候，发现有一些数据都是通过非标准的 json 格式进行传输的，标准的 json 我们可以将其转化为 Python 中的数据类型，进行查询，但对于一些类似于 json 但又非标准 json 格式的字符，就会比较头疼了。 例如下面这样 hxbase_jso 阅读全文

摘要： Scrapy+selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要的数据 异步存储数据到M 阅读全文

摘要： 回调函数callback不执行 大概率是被过滤了 两种方法: 在 allowed_domains 中加入目标url 在 scrapy.Request() 函数中将参数 dont_filter=True 设置为 True 阅读全文

摘要： "安装" "修改远程访问" "卸载" 安装 首先检查系统中是否已经安装了MySQL sudo netstat tap | grep mysql 没有显示已安装结果，则没有安装 如若已安装，可以选择删除。（删除方法放在下面） 如果没有安装，则安装MySQL. 在终端输入 sudo apt get in 阅读全文

摘要： 起因 虚拟机(virtualBox)中设置 1920 1080 的分辨率后, 每次重启后都会回到默认,永久设置的方式如下 步骤: 添加系统设置 sudo xrandr newmode "1920x1080_60.00" 173.00 1920 2048 2248 2576 1080 1083 108 阅读全文

摘要： 修改文件 vim /usr/share/lightdm/lightdm.conf.d/50 ubuntu.conf 增加两行： greeter show manual login=true all guest=false 进入/etc/pam.d目录 cd /etc/pam.d 修改 和`gdm p 阅读全文

摘要： "帮助目录" "检查conda版本" "升级当前版本的conda" "创建一个新环境" "激活新环境" "Linux，Mac:" "Windows：" "列出所有的环境" "切换环境(activate/deactivate)" "Linux，OS X:" "Windows：" "从当前工作环境的路径 阅读全文

摘要： "re 模块的引入" "re 模块的使用" "re.compile()" "re.match()与re.search()" "re.match" "re.search()" "区别" "re.findall()与re.finditer()" "re.findall()" "re.finditer() 阅读全文