2018 年 9月随笔档案 - 王图思睿

MongoDB 常用命令记录

摘要：仅记录工作中常用的命令，随时补充，如有错误，欢迎指正。 1、创建普通索引：db.集合名.createIndex({"字段名":1})2、字段批量重命名：db.集合名.update({}, {$rename : {... 阅读全文

posted @ 2018-09-29 09:38 王图思睿阅读(45) 评论(0) 推荐(0)

摘要：工作需要使用 python 处理 mongodb 数据库两亿数据量去重复，需要在大数据量下快速判断数据是否存在参考资料:https://segmentfault.com/q/1010000000613729网上了... 阅读全文

posted @ 2018-09-27 11:40 王图思睿阅读(80) 评论(0) 推荐(0)

摘要：最近在学习Python，当然就学到了布隆过滤器pybloomfilter，然而安装的过程很曲折，Bloom Filter实际上是由一组哈希函数和一个字节列表组成. 详细介绍可以参考百度百科安装过程错误及解决办法：... 阅读全文

posted @ 2018-09-27 10:38 王图思睿阅读(121) 评论(0) 推荐(0)

摘要：最近在用MySQL做一些数据处理，会用到group_concat函数，比如类似下面一条语句：select aid,group_concat(bid) from tbl group by aid limit 1;s... 阅读全文

posted @ 2018-09-26 09:42 王图思睿阅读(504) 评论(0) 推荐(0)

摘要：python报错：pymongo.errors.CursorNotFound: Cursor not found背景：从数据库中取得所有数据 db['test'].find（{}，{_id:0}），然后对结果进行... 阅读全文

posted @ 2018-09-21 16:52 王图思睿阅读(64) 评论(0) 推荐(0)

摘要：Robo 3T是MongoDB数据库的可视化界面软件。爬虫时会因为某些原因，导致抓取的数据会有重复的。除了在代码中处理去重，我们可以动动手指即可实现去重处理。因此，我们可以指定字段来去重。只需在Robo ... 阅读全文

posted @ 2018-09-20 09:13 王图思睿阅读(84) 评论(0) 推荐(0)

摘要：今天拿到一个很大的文件，中间有很多重复行需要去除，在网上搜索的结果中大都是需要用到TextFX这个插件进行排序去重，实在是不符合我的需求，遂谷歌求得解决方案，不敢独享，其实就是用正则表达式去替换，表达式如下：^(... 阅读全文

posted @ 2018-09-11 11:31 王图思睿阅读(92) 评论(0) 推荐(0)

摘要：1、使用条件表达式(, >=,!=)//大于： field > valuedb.collection.find({field:{$gt:value}});//小于： field = valuedb.collect... 阅读全文

posted @ 2018-09-05 17:40 王图思睿阅读(55) 评论(0) 推荐(0)

摘要：# windows下Python安装pymysql# 从github 下载pymysql 安装包，下载地址：https://github.com/PyMySQL/PyMySQL# 解压下载文件，不用打开pytho... 阅读全文

posted @ 2018-09-05 09:26 王图思睿阅读(99) 评论(0) 推荐(0)

摘要：1、同一实例下：use db_source;var docs = db_source.collection_souce.find();use db_target;docs.forEach({db.collecti... 阅读全文

posted @ 2018-09-04 09:45 王图思睿阅读(81) 评论(0) 推荐(0)

摘要：如果我们在插入数据的时候不添加一个主键，系统会随机分配一个主键，则不存在下面所说的情况，若新增的数据中已存在主键，则再次插入相同的主键时insert() 会提示错误，而save() 则更改原来的内容为新内容。如... 阅读全文

posted @ 2018-09-03 17:44 王图思睿阅读(112) 评论(0) 推荐(0)

王图思睿