前方、有光 - 博客园

2018年1月24日

摘要： # 程序启动文件 start.py#!/usr/bin/python # -*- coding: utf-8 -*- import os, sys BASEPATH = os.path.dirname(os.path.dirname(os.path.realpath(__file__))) print(BASEPATH) sys.path.append(BASEPATH) from c... 阅读全文

posted @ 2018-01-24 18:33 前方、有光阅读(1280) 评论(0) 推荐(0)

爬虫项目-爬取亚马逊商品信息

摘要： # -*- coding: utf-8 -*- # Scrapy settings for AMAZON project # # For simplicity, this file contains only settings considered important or # commonly u 阅读全文

posted @ 2018-01-24 17:25 前方、有光阅读(7871) 评论(0) 推荐(0)

2018年1月23日

爬虫框架_scrapy1

摘要：介绍： Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Ass 阅读全文

posted @ 2018-01-23 12:46 前方、有光阅读(498) 评论(0) 推荐(0)

爬虫性能测试代码

摘要： # 同步执行，效率慢 # import requests # def parse_page(res): # print("PAESE %s" %(len(res))) # # def get_page(url): # print("GET %s" %url) # response = requests.get(url) # if response.status_c... 阅读全文

posted @ 2018-01-23 08:21 前方、有光阅读(618) 评论(0) 推荐(0)

爬虫性能相关知识点

摘要：  一背景知识爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任阅读全文

posted @ 2018-01-23 08:17 前方、有光阅读(536) 评论(0) 推荐(0)

2018年1月21日

好多练习题

摘要： # #!/usr/bin/env python # # -*- coding: utf-8 -*- # # @Time : 2017/7/21 21:33 # # @Author : Mr_zhang # # @Site : # # @File : 考试.py # # @Software: PyCharm #----------------------------------... 阅读全文

posted @ 2018-01-21 12:11 前方、有光阅读(711) 评论(0) 推荐(0)

计算器小程序

摘要： #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2017/8/13 15:15 # @Author : Mr_zhang # @Site : # @File : 计算器程序.py # @Software: PyCharm # 1+2-(3*4-3/2+(3-2*(3+5-3*-0.2-3.3*2.2-8.5/... 阅读全文

posted @ 2018-01-21 12:09 前方、有光阅读(914) 评论(0) 推荐(0)

基本数据类型__集合

摘要：集合（set）阅读全文

posted @ 2018-01-21 11:41 前方、有光阅读(550) 评论(0) 推荐(0)

基本数据类型____字典

摘要：字典（dictionary）字典的内置函数：阅读全文

posted @ 2018-01-21 11:40 前方、有光阅读(476) 评论(0) 推荐(0)

基本数据类型__列表

摘要：列表（list）在Python中列表用[]来表示，中间的元素可以是任何类型，用逗号分隔。列表是可变类型。列表的常用操作：在列表中我觉得比较重要的就属增删改查了，还有一些类似于字符串的操作；、定义列表：qq = [1,2,3,4,'12','qq'] >look that 列表就长这样列表的阅读全文

posted @ 2018-01-21 11:39 前方、有光阅读(505) 评论(0) 推荐(0)

基本数据类型____元组

摘要：元组（tuple）阅读全文

posted @ 2018-01-21 11:39 前方、有光阅读(453) 评论(0) 推荐(0)

基本数据类型____字符串

摘要： 5、字符串（string）字符串的创建：用引号括起来，然后给一个变量去接收（qq = 'lovez'）字符串的常用操作(常用)： >不举例子了，否则看起来乱乱的，我尽量用简单的语言描述我写的都是一些常用操作，对于不常用的就不写了，个人觉得一次了解太多脑袋接收不了，只需要记住常用的，后期再慢慢阅读全文

posted @ 2018-01-21 11:37 前方、有光阅读(687) 评论(0) 推荐(0)

基本数据类型

摘要：认识Python，先从基础的数据类型开始阅读全文

posted @ 2018-01-21 11:34 前方、有光阅读(613) 评论(0) 推荐(0)

2018年1月20日

python全栈学习路线-查询笔记

摘要：查询目录一，硬件十一，数据库二，Linux基础十二，前端三，python基础十三，Django 四，python文件处理十四，flask 五，函数十五，版本控制-Git 六，模块和包十六，缓存七，面向对象十七，爬虫八，异常处理十八，项目九，网络编程十九，源码解读十，进阅读全文

posted @ 2018-01-20 12:04 前方、有光阅读(6811) 评论(12) 推荐(9)

爬虫相关

摘要：爬虫目录：第一篇：请求库request 第二篇：请求库selenum 第三篇：解析库：re，beautifulsoup 第四篇：存储库MongoDB 第五篇：校花网视频爬取第六篇：github免密登陆第七篇：拉钩，51job自动投递简历第八篇：如何提高爬虫性能第九篇：爬虫框架scrapy 阅读全文

posted @ 2018-01-20 10:38 前方、有光阅读(125) 评论(0) 推荐(0)

记录一些日常，自从有了AI。很少记录了。。

公告