摘要:1.安装 brew update brew install mongodb 2.启动mongo mongod --config /usr/local/etc/mongod.conf 3.启动 mongo 4.python 链接mongo 5.选择使用的数据库(以test为例) 6.添加信息 7.修改
阅读全文
摘要:在一的基础上,想着把所有的折线图放在一个图中,然后图的结果如图所示: 不是略丑,是很丑~ 依然的单进程,只是将图标结果放在了一张图里 代码如下: 折线图结果如图 ps:1的是将图的结果进行单个显示,每支股票是单独的一张图
阅读全文
摘要:本来想把股票的涨跌抓取出来,用汇通网的股票为例,就找了国际外汇为例。 页面里有xhr请求,并且每个xhr的url请求的 http://api.q.fx678.com/history.php?symbol=USD&limit=288&resolution=5&codeType=8100&st=0.43
阅读全文
摘要:#-*-coding:utf-8-*- import urllib import urllib2 import re import json import threading import requests from lxml import etree from time import sleep,ctime from Queue import Queue import lxml from bs...
阅读全文
摘要:还是优达学院的第七课 数据:https://s3.amazonaws.com/content.udacity-data.com/courses/ud359/hr_by_team_year_sf_la.csv ggplot: 图形: easy learnning: 图形:
阅读全文
摘要:数据分析中应用到python中的ggplot库,可以用来画图 数据之类的用优达学院中课程七中的数据为例 数据是:https://s3.amazonaws.com/content.udacity-data.com/courses/ud359/hr_year.csv 图展示为 2.折线图 图展示为: 3
阅读全文
摘要:代码如下: 实现一个小的KNN算法. 在kNNClassify()函数中 KNN算法的步骤: 1.计算测试数据与各个训练样本数据之间的距离,距离有两种计算方法,分别是欧式距离和曼哈顿距离 2.按照距离的递增关系进行排序 3.选取距离最近的前K个点 4.确定前K个点的所在类别的出现频率 5.返回前K个
阅读全文
摘要:以抓取猫眼的Top100热门电影的信息为例: 单进程的代码所花费的时间是: 利用多进程的Pool的时间是: pool更改的代码是:
阅读全文
摘要:本人是张杰的小迷妹,所以用杰哥的微博为例,之前一直看的是网页版,然后在知乎上看了一个抓取沈梦辰的微博评论的帖子,然后得到了这样的网址 然后就用m.weibo.cn进行网站的爬取,里面的微博和每一条微博里面的评论都是ajax加载的,通过分析加载的数据分析可以得到,每次动态加载都是通过一个xhr进行加载
阅读全文
摘要:抓取漫画的网址是:sf互动传媒 抓取漫画的由来也是看了知乎上有人说用爬取漫画,然后自己也玩玩 首页中每个漫画的url是类似这样存储的: 然后用lxml通过cssselect(tr>td>a)将能用到的解析出来,然后解析出来会有很多其他的页面的url和信息,然后我是通过url中包含"/mh/"或者是"
阅读全文
摘要:在网易云音乐中第一页歌单的url:http://music.163.com/#/discover/playlist/ 依次第二页:http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&o
阅读全文
摘要:利用bs库进行爬取,在下载html时,使用代理user_agent来下载,并且下载次数是2次,当第一次下载失败后,并且http状态码是500-600之间,然后会重新下载一次
阅读全文
摘要:任意打开一个人的美拍 以@喵大仙带你停药带你菲为例打开审查元素之后,把页面向下滑,因为美拍的是Ajax异步加载的,所以 加载的越多得到的信息越多,这样会得到几个json类型的数据 和几个xhr的数据 json数据打开后 是一个美拍视频 而xhr表示当前加载的是多少页 然后得到这几个数据 对数据进行分...
阅读全文
摘要:import urllibimport urllib2import osimport requestsimport reimport jsonsns_url = 'http://sns.video.qq.com/fcgi-bin/video_comment_id?otype=json&op=3&vi...
阅读全文
摘要:import pygameimport sysimport mathfrom pygame.locals import *from random import *class Ball(pygame.sprite.Sprite): def __init__(self, image, positi...
阅读全文
摘要:import pygameimport sysimport mathfrom pygame.locals import *pygame.init()WHITE = (255,255,255)BLACK = (0,0,0)GREEN = (0,255,0)points= (100,100)RED = ...
阅读全文
摘要:来于----@小甲鱼工作室import pygameimport sysfrom pygame.locals import *#初始化pygame.init()size = width,height=600,400 #设置背景的大小speed = [-2,1] #设置图片移动的速度bg=(...
阅读全文
摘要:from tkinter import *master = Tk()frame = Frame(master)frame.pack(padx=10,pady=10)v1 = StringVar()v2 = StringVar()v3 = StringVar()def test(content): ...
阅读全文
摘要:import tkinter as tkclass APP: def __init__(self,master): frame = tk.Frame(master) frame.pack(side = tk.LEFT,padx=50,pady=50) ...
阅读全文
摘要:import urllib.requestimport osdef url_open(url): req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.2; WO...
阅读全文