Loading...

摘要:架构及简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各 阅读全文
posted @ 2020-10-29 15:04 梦想家haima 阅读(113) 评论(0) 推荐(1) 编辑
摘要:链接到mongo 新建超级用户 上文中我们提到mongo用户库表管理。为了方便我们先新建一个root权限的用户。 db.createUser({user:'dbadmin',pwd:'123456', roles:[{role:'userAdminAnyDatabase', db:'admin'}] 阅读全文
posted @ 2020-10-25 16:09 梦想家haima 阅读(19) 评论(0) 推荐(0) 编辑
摘要:本手册是对网站http://man.linuxde.net/中常见命令的摘要,也参考一些其他博客和Linux中man文档,linux中man文档在线版。本文将持续更新。 cd 作用:用来切换工作目录 格式:cd [-L | -P] [directory] directory要切换到的目标目录 常见选 阅读全文
posted @ 2020-10-23 17:45 梦想家haima 阅读(52) 评论(0) 推荐(1) 编辑
摘要:创建于2018年,博客搬家后有所改动 安装(linux) 官网下载系统对应版本的mogo压缩包(linux为.tgz),解压即用 https://www.mongodb.com/try/download/community 管理工具使用: MongoBooster,RoboMongo,Rockmon 阅读全文
posted @ 2020-10-23 11:48 梦想家haima 阅读(9) 评论(0) 推荐(0) 编辑
摘要:webmagic简介 webmagic可以说是中国传播度最广的Java爬虫框架,https://github.com/code4craft/webmagic,阅读相关源码,获益良多。阅读作者博客【代码工匠】,能够领略到一个IT工作者的工匠精神,希望以后成为他这样的开源贡献者。Webmagic的文档也 阅读全文
posted @ 2020-10-23 10:26 梦想家haima 阅读(125) 评论(0) 推荐(0) 编辑
摘要:for (String k:chapterTree.keySet()) { sb.append(String.format("<h2>%s</h2>",k)); List<String> vls = chapterTree.get(k); //debug显示 k为 "第一章 课程前言" chapte 阅读全文
posted @ 2020-10-22 10:42 梦想家haima 阅读(6) 评论(0) 推荐(0) 编辑
摘要:这是Spring Aop的第二篇,案例代码很详解。基本概念可以查看前文。 切入点表达式 execution execution表达式是到方法级别,具体构成查看上一篇文章中 Spring Aop 详解一 完全不限制(运行时报错) 正常情况下,我们可以写出这样不会编译报错的表达式,但是执行效果就呵呵了。 阅读全文
posted @ 2020-10-21 13:40 梦想家haima 阅读(187) 评论(0) 推荐(0) 编辑
摘要:我们写一个系统,都希望尽量少写点儿重复的东西。而很多时候呢,又不得不写一些重复的东西。比如`访问某些方法的权限`,`执行某些方法性能的日志`,`数据库操作的方法进行事务控制`。以上提到的,权限的控制,事务控制,性能监控的日志 可以叫一个切面。像一个`横切面穿过这一些列需要控制的方法`。通过aop编程,实现了对切面业务的统一处理。 以上是我对aop的一个总体概括 阅读全文
posted @ 2020-10-18 13:06 梦想家haima 阅读(164) 评论(0) 推荐(0) 编辑
摘要:普通命令 ctrl+a:跳到命令行首 ctrl+e:跳到命令行尾 ctrl+u:删除光标至命令行首 ctrl+k:删除光标至命令行尾 ctrl+左/右 :光标跳一个单词 ctrl +l :实现清屏的 // (命令行使用clear) ctrl + w :在命令行向右删除一个word 上下键可以翻阅命令 阅读全文
posted @ 2020-10-15 17:28 梦想家haima 阅读(14) 评论(0) 推荐(0) 编辑
摘要:分手后为什么总会相互撕扯,变得回忆即为痛苦,痛恨,无法再做朋友 阅读全文
posted @ 2020-10-14 15:37 梦想家haima 阅读(10) 评论(0) 推荐(0) 编辑