Loading...

10 2020 档案

python爬虫利器 scrapy和scrapy-redis 详解一 入门demo及内容解析
摘要：架构及简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各 阅读全文
posted @ 2020-10-29 15:04 倒霉蛋蛋虾 阅读(532) 评论(0) 推荐(1)
mongodb 数据操作CRUD
摘要：链接到mongo 新建超级用户 上文中我们提到mongo用户库表管理。为了方便我们先新建一个root权限的用户。 db.createUser({user:'dbadmin',pwd:'123456', roles:[{role:'userAdminAnyDatabase', db:'admin'}] 阅读全文
posted @ 2020-10-25 16:09 倒霉蛋蛋虾 阅读(259) 评论(0) 推荐(0)
Linux常见命令
摘要：本手册是对网站http://man.linuxde.net/中常见命令的摘要，也参考一些其他博客和Linux中man文档，linux中man文档在线版。本文将持续更新。 cd 作用：用来切换工作目录 格式：cd [-L | -P] [directory] directory要切换到的目标目录 常见选 阅读全文
posted @ 2020-10-23 17:45 倒霉蛋蛋虾 阅读(287) 评论(0) 推荐(1)
mongodb运维
摘要：创建于2018年，博客搬家后有所改动 安装（linux） 官网下载系统对应版本的mogo压缩包(linux为.tgz)，解压即用 https://www.mongodb.com/try/download/community 管理工具使用： MongoBooster，RoboMongo,Rockmon 阅读全文
posted @ 2020-10-23 11:48 倒霉蛋蛋虾 阅读(302) 评论(0) 推荐(0)
webmagic源码浅析
摘要：webmagic简介 webmagic可以说是中国传播度最广的Java爬虫框架，https://github.com/code4craft/webmagic，阅读相关源码，获益良多。阅读作者博客【代码工匠】，能够领略到一个IT工作者的工匠精神，希望以后成为他这样的开源贡献者。Webmagic的文档也 阅读全文
posted @ 2020-10-23 10:26 倒霉蛋蛋虾 阅读(576) 评论(0) 推荐(0)
记录一次莫名其妙的错误
摘要：for (String k:chapterTree.keySet()) { sb.append(String.format("<h2>%s</h2>",k)); List<String> vls = chapterTree.get(k); //debug显示 k为 "第一章 课程前言" chapte 阅读全文
posted @ 2020-10-22 10:42 倒霉蛋蛋虾 阅读(68) 评论(0) 推荐(0)
Spring Aop 详解二
摘要：这是Spring Aop的第二篇，案例代码很详解。基本概念可以查看前文。 切入点表达式 execution execution表达式是到方法级别，具体构成查看上一篇文章中 Spring Aop 详解一 完全不限制（运行时报错) 正常情况下，我们可以写出这样不会编译报错的表达式，但是执行效果就呵呵了。 阅读全文
posted @ 2020-10-21 13:40 倒霉蛋蛋虾 阅读(455) 评论(0) 推荐(0)
Spring Aop 详解一
摘要：我们写一个系统，都希望尽量少写点儿重复的东西。而很多时候呢，又不得不写一些重复的东西。比如`访问某些方法的权限`，`执行某些方法性能的日志`，`数据库操作的方法进行事务控制`。以上提到的，权限的控制，事务控制，性能监控的日志 可以叫一个切面。像一个`横切面穿过这一些列需要控制的方法`。通过aop编程，实现了对切面业务的统一处理。 以上是我对aop的一个总体概括 阅读全文
posted @ 2020-10-18 13:06 倒霉蛋蛋虾 阅读(418) 评论(0) 推荐(0)
Linux常用技巧
摘要：普通命令 ctrl+a:跳到命令行首 ctrl+e:跳到命令行尾 ctrl+u:删除光标至命令行首 ctrl+k:删除光标至命令行尾 ctrl+左/右 ：光标跳一个单词 ctrl +l ：实现清屏的 // （命令行使用clear） ctrl + w :在命令行向右删除一个word 上下键可以翻阅命令 阅读全文
posted @ 2020-10-15 17:28 倒霉蛋蛋虾 阅读(108) 评论(0) 推荐(0)
如何从最美好的初见走到痛恨
摘要：分手后为什么总会相互撕扯，变得回忆即为痛苦，痛恨，无法再做朋友 阅读全文
posted @ 2020-10-14 15:37 倒霉蛋蛋虾 阅读(76) 评论(0) 推荐(0)
h2database在springboot中的使用
摘要：h2为轻量级数据库，使用特别方便，它可以不使用数据库服务器，直接嵌入到java程序中。可以配置持久化，同样也可以不持久化（数据在内存中）进程结束后，数据就释放，用做测试和演示特别方便。自带后台管理，非常方便，开源免费 类库，使用maven简易安装 可以同应用程序打包在一起发布 可持久化，也可以直接基 阅读全文
posted @ 2020-10-13 19:15 倒霉蛋蛋虾 阅读(3454) 评论(0) 推荐(0)
python使用xpath（超详细）
摘要：使用时先安装 lxml 包 开始使用 和beautifulsoup类似，首先我们需要得到一个文档树 把文本转换成一个文档树对象 from lxml import etree if __name__ == '__main__': doc=''' <div> <ul> <li class="item-0 阅读全文
posted @ 2020-10-07 11:08 倒霉蛋蛋虾 阅读(69205) 评论(3) 推荐(8)
BeautifulSoup使用手册（查询篇）
摘要：基本上是按官方文档所写 https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/，过完。·BeautifulSoup 内容太多了，用的时候查起来方便一点 开始使用呢 从一个soup对象开始，以下两种方式生成一个soup对象 from bs4 import 阅读全文
posted @ 2020-10-03 09:59 倒霉蛋蛋虾 阅读(1667) 评论(0) 推荐(0)