12 2017 档案

mongodb常用命令
摘要：一、数据库常用命令1、Help查看命令提示 复制代码代码如下: helpdb.help();db.yourColl.help();db.youColl.find().help();rs.help(); 2、切换/创建数据库 复制代码代码如下: use yourDB; 当创建一个集合(table)的时 阅读全文
posted @ 2017-12-16 15:34 Weapon_liu 阅读(507) 评论(0) 推荐(0)
NoSQL Manager for MongoDB Professional
摘要：1.下载完之后启动，配置本地数据库信息：（接上篇，由于是本地数据库，连接信息很简单，之后再补充远程连接） 2.连接完成之后，右击：localhost:27017，创建一个名为articles的数据库。 3.右击articles数据库，点击shell，进入控制台： 4.输入以下代码，然后点击左上角运行 阅读全文
posted @ 2017-12-16 15:31 Weapon_liu 阅读(3319) 评论(0) 推荐(1)
爬虫随笔四
摘要：map的使用： from multiprocessing.dummy import Pool pool = Pool(4) //4为计算机的核数 阅读全文
posted @ 2017-12-08 19:07 Weapon_liu 阅读(120) 评论(0) 推荐(0)
爬虫随笔三
摘要：xpath 特点：树状结构、逐层展开、逐层定位、寻找独立节点。 类似于使用jQuery进行元素搜索 在进行网页抓取的时候，分析定位html节点是获取抓取信息的关键，目前我用的是lxml模块(用来分析XML文档结构的，当然也能分析html结构)， 利用其lxml.html的xpath对html进行分析 阅读全文
posted @ 2017-12-05 20:14 Weapon_liu 阅读(175) 评论(0) 推荐(0)
python 文件读写时用open还是codecs.open
摘要：当我面有数据需要保存时，第一时间一般会想到写到一个txt文件中，当然，数据量比较大的时候还是写到数据库比较方便管理，需要进行网络传输时要序列化，json化。下面主要整理一下平时用的最多的写入到文件中，一般以txt结尾，linux里不会以后缀来区分文件类型，后缀可以随便，也可以没有。 python读写 阅读全文
posted @ 2017-12-05 19:54 Weapon_liu 阅读(933) 评论(0) 推荐(0)
爬虫随笔二
摘要：1、 网页源码的观察方式：先抓大、后抓小（整体观察后确定所要抓取的内容的地方，在联系父标签进行抓取） 阅读全文
posted @ 2017-12-04 19:03 Weapon_liu 阅读(100) 评论(0) 推荐(0)
爬虫随笔一
摘要：1、requests模块 阅读全文
posted @ 2017-12-01 22:50 Weapon_liu 阅读(169) 评论(0) 推荐(0)