随笔分类 -  python进阶

爬虫三（模拟登陆）
摘要：1、Selenium工具 Selenium是ThroughtWorks公司开发的一套Web自动化测试工具，它分为三个组件： Selenium IDE Selenium RC (Remote Control) Selenium Webdriver Selenium IDE是firefox的一个插件，允 阅读全文
posted @ 2018-06-16 00:16 一条咸鱼的梦想 阅读(242) 评论(0) 推荐(0)
爬虫二（urllib模块）
摘要：1、在python2和python3中的差异 在python2中，urllib和urllib2各有各自的功能，虽然urllib2是urllib的升级版，但是urllib2还是不能完全替代urllib，但是在python3中，全部封装成一个类，即urllib python2中urllib2和urlli 阅读全文
posted @ 2018-06-15 23:46 一条咸鱼的梦想 阅读(206) 评论(0) 推荐(0)
爬虫一（requests模块）
摘要：1、释义 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2、申明 爬虫也是只能爬取公开网站，公开的额数据，别人加密的，涉及到隐私的，不能随便 阅读全文
posted @ 2018-06-13 19:41 一条咸鱼的梦想 阅读(325) 评论(0) 推荐(0)
并行命令
摘要：需求：创建脚本工具，用于对服务器的批量检查 1、使用多线程加消息队列形式： 2、使用进程池形式： 3、使用进程池加参数形式： 阅读全文
posted @ 2018-05-31 19:58 一条咸鱼的梦想 阅读(210) 评论(0) 推荐(0)
文本处理实例
摘要：三个脚本文件 ①、创建表 ②、将处理完的数据插入表中 ③、查询表中的数据 阅读全文
posted @ 2018-05-30 21:25 一条咸鱼的梦想 阅读(207) 评论(0) 推荐(0)
cerely异步分布式
摘要：1、释义： Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery。 举几个实例场景中可用的例子: 你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回 阅读全文
posted @ 2018-05-27 16:28 一条咸鱼的梦想 阅读(2631) 评论(0) 推荐(0)
输出重定向工具
摘要：main主体 utils工具 阅读全文
posted @ 2018-05-27 12:01 一条咸鱼的梦想 阅读(128) 评论(0) 推荐(0)
消息队列
摘要：一、消息队列 1.1、释义 消息队列”是在消息的传输过程中保存消息的容器。 消息队列最经典的用法就是消费者和生成者之间通过消息管道来传递消息，消费者和生成者是不同的进程。生产者往管道中写消息，消费者从管道中读消息。 操作系统提供了很多机制来实现进程间的通信 ，multiprocessing模块就提供 阅读全文
posted @ 2018-05-25 15:48 一条咸鱼的梦想 阅读(180) 评论(0) 推荐(0)
多线程
摘要：一、多线程 1.1、多线程实例 Python中提供了threading模块来对多线程的操作，线程是应用程序中工作的最小单元。 多线程的现实有两种方式： 方法一：将要执行的方法作为参数传给Thread的构造方法（和多进程类似） t = threading.Thread(target=action, a 阅读全文
posted @ 2018-05-23 16:09 一条咸鱼的梦想 阅读(139) 评论(0) 推荐(0)
多进程
摘要：一、多进程 1.1、概念 进程是程序在计算机上的一次执行活动。当你运行一个程序，你就启动了一个进程。显然，程序是死的(静态的)，进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统进程，它们就是处于运行状态下的操作系统本身；用户进程就不必我多讲了吧，所有 阅读全文
posted @ 2018-05-20 20:00 一条咸鱼的梦想 阅读(231) 评论(0) 推荐(0)
NoSQL-memcached相关
摘要：一、memcached 1.1、安装 cd /usr/local/srcwget http://memcached.org/latesttar -zxvf memcached-1.x.x.tar.gzcd memcached-1.x.x./configure && make && make test 阅读全文
posted @ 2018-05-18 20:38 一条咸鱼的梦想 阅读(96) 评论(0) 推荐(0)
NoSQL-redis相关
摘要：一、NoSQL简介 1.1、对于NoSQL并没有一个明确的范围和定义，但是他们都普遍存在下面一些共同特征：①、不需要预定义模式：不需要事先定义数据模式，预定义表结构。数据中的每条记录都可能有不同的属性和格式。当插入数据时，并不需要预先定义它们的模式。②、无共享架构：相对于将所有数据存储的存储区域网络 阅读全文
posted @ 2018-05-16 21:44 一条咸鱼的梦想 阅读(130) 评论(0) 推荐(0)
DB相关复习
摘要：1、常用sql操作 创建一个test库：create database test;授权一个用户：grant all privileges on *.* to 'user'@'%' identified by 'password';创建表：create table student(id int not 阅读全文
posted @ 2018-05-14 13:27 一条咸鱼的梦想 阅读(151) 评论(0) 推荐(0)
SQLAlchemy
摘要：一、ORM技术简介 1.1、ORM：Object-Relational Mapping，把关系数据库的表结构映射到对象上，简单的说，ORM 将数据库中的表与面向对象语言中的类建立了一种对应关系。这样，我们要操作数据库，数据库中的表或者表中的一条记录就可以直接通过操作类或者类实例来完成。 ORM框架的 阅读全文
posted @ 2018-05-11 22:49 一条咸鱼的梦想 阅读(158) 评论(0) 推荐(0)
Mysql相关
摘要：一、游标 1.1、游标指的是处理数据的一种方法，为了查看或者处理结果集中的数据，游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力，可以把游标当做一个指针，它可以指定结果中的任何位置，然后允许用户对指定位置的数据进行处理。通俗点理解就是操作数据库的，执行数据库命令需通过游标这个对象。 1. 阅读全文
posted @ 2018-05-09 16:10 一条咸鱼的梦想 阅读(264) 评论(0) 推荐(0)
Python DB-API
摘要：一、DB-API 1.1、Python的DB-API，为大多数的数据库实现了接口，使用它连接各数据库后，就可以用相同的方式操作各数据库。 1.2、Python DB-API的使用流程： 引入API模块 获取与数据库的连接 执行sql语句和存储过程 关闭数据库连接 1.3、Python操作mysql 阅读全文
posted @ 2018-05-06 22:26 一条咸鱼的梦想 阅读(4785) 评论(0) 推荐(0)