2020年3月20日
MongoDB常用命令
摘要： 一、在mongo.exe中的命令： mongodb4.2版本，bin目录下，双击mongo.exe，在”>”的命令提示下，我们可以输入一些命令： > show dbs #查看有哪些db > use local #切换到local数据库 > show collections #查看当前所有集合 > s 阅读全文
posted @ 2020-03-20 15:27 djl_djl 阅读(403) 评论(0) 推荐(0)
Win10系统安装MongoDB 4.2
摘要： Win10系统安装MongoDB 4.2，看了一些网上的教程，感觉挺复杂，自己试一试，其实比较简单，应该是最新的版本安装已经很简单了，网上也不屑于写这么简单的教程了吧。自己写一个，以后可以查看备用。 一、 安装MongoDB 1、 网址: https://www.mongodb.com/downlo 阅读全文
posted @ 2020-03-20 15:24 djl_djl 阅读(3689) 评论(0) 推荐(0)
2020年3月19日
爬取58同城二手电脑一页的商品数据，requests+BeautifulSoup
摘要： 爬取58同城二手电脑一页的商品数据（35个商品），不要网站推广的商品，只爬取普通个人的商品；每个商品爬取的数据有：'标题'、价格'、'分类'、'区域'、'浏览量'（浏览量没能正确获取，用selenium能获取浏览量，在此没有具体描述）58同城平板电脑页：https://bj.58.com/pbdn/ 阅读全文
posted @ 2020-03-19 10:16 djl_djl 阅读(265) 评论(0) 推荐(0)
2020年3月17日
在github网站上找出符合某些条件的项目,并pushover推送通知到手机上
摘要： 在github网站上找出符合以下条件的项目（同时满足）,并推送通知到手机上：1、最近一周内发布的；2、star数大于200;3、topic是blockchain查找repo的API（topic是blockchain，创建日期在2020年3月3日以后的）：https://api.github.com/ 阅读全文
posted @ 2020-03-17 22:00 djl_djl 阅读(361) 评论(0) 推荐(0)
用selenium爬取某人的微博数据，面向过程方式
摘要： 爬取某人的微博数据，把某人所有时间段的微博数据都爬下来。具体思路：创建driver get网页 找到并提取信息 保存csv 翻页 get网页（开始循环） ... 没有“下一页”就结束，用了while True，没用自我调用函数嘟大海的微博：https://weibo.com/u/1623915527 阅读全文
posted @ 2020-03-17 21:39 djl_djl 阅读(905) 评论(8) 推荐(0)
用oop编程实现文件自动解压整理
摘要： 用oop编程实现文件自动解压整理，同时监控2个目录并处理zip文件,解压后一个文件夹删除zip文件，另一个文件夹将zip文件移动到某一目录中。记得要在主程序中加入下面2行代码，保证进程一直存在：while True: pass import time import os import threadi 阅读全文
posted @ 2020-03-17 21:26 djl_djl 阅读(282) 评论(0) 推荐(0)
用selenium爬取、BeautifulSoup解析拉勾网职位信息，oop模式，带自动翻页
摘要： 拉勾网职位信息的爬取爬取关键字为python，工作地点在北京朝阳区的工作信息，从中提取今天发布的岗位信息，url:https://www.lagou.com/jobs/list_python/p-city_2?px=default&district=朝阳区#filterBoxoop代码思路：spid 阅读全文
posted @ 2020-03-17 21:20 djl_djl 阅读(361) 评论(0) 推荐(0)
使用requests和BeautifulSoup爬取“小猪短租”的房屋信息
摘要： 爬取小猪短租的租房信息，爬取第1~4页房屋，共96个房子的信息，包括标题、地址、租金、房东姓名、图片链接等。使用requests和BeautifulSoup。小猪短租：http://bj.xiaozhu.com/房源详情页：http://bj.xiaozhu.com/fangzi/134350372 阅读全文
posted @ 2020-03-17 21:09 djl_djl 阅读(317) 评论(0) 推荐(0)
2020年3月16日
数据聚合与分组操作-数据透视表
摘要： 数据聚合与分组操作-数据透视表 import numpy as np import pandas as pd tips = pd.DataFrame({'total_bill':np.arange(50,70), 'tip':np.arange(20,40), 'smoker':['Yes','No 阅读全文
posted @ 2020-03-16 22:16 djl_djl 阅读(537) 评论(0) 推荐(0)
数据清洗与准备
摘要： 数据清洗与准备 1、抽样： import numpy as np import pandas as pd choices = pd.Series([5,7,-1,6,4]) draws = choices.sample(n=10, replace=True) draws OUT： 0 5 1 7 3 阅读全文
posted @ 2020-03-16 21:58 djl_djl 阅读(189) 评论(0) 推荐(0)