09 2019 档案

爬虫必备工具-chrome 开发者工具
摘要：在某个网站上，分析和抓取数据，我们用的最多的工具就是 Chrome 开发者工具 01 元素面板 通过元素（Element）面板，我们能查看发哦想抓取页面渲染内容所在的标签、使用什么 CSS 属性（例如：class = ‘name’）等内容。例如而我想抓取知乎主页中的动态标题，在网页页面所在处上右击书 阅读全文

posted @ 2019-09-27 09:14 海纳百川_有容乃大 阅读(409) 评论(0) 推荐(0)

Python 中多进程、多线程、协程
摘要：进程： 一个运行的程序（代码）就是一个进程，没有运行的代码叫程序，进程是系统资源分配的最小单位，进程拥有自己独立的内存空间，所以进程间数据不共享、开销大。 线程： 调度执行的最小单位，也叫执行路径，不能独立存在，依赖进程存在一个进程至少有一个线程，叫主线程，而多个线程共享内存（数据共享，共享全局变量 阅读全文

posted @ 2019-09-26 09:31 海纳百川_有容乃大 阅读(627) 评论(0) 推荐(0)

Python 中命令行参数解析工具 docopt 安装和应用
摘要：什么是 docopt？ 1、docopt 是一种 Python 编写的命令行执行脚本的交互语言。 它是一种语言！ 它是一种语言！ 它是一种语言！ 2、使用这种语言可以在自己的脚本中，添加一些规则限制。这样脚本在执行的时候就必须按照这样格式来执行，同时，也可以很方便的编写一些帮助信息（其实很多软件在输 阅读全文

posted @ 2019-09-25 18:35 海纳百川_有容乃大 阅读(1097) 评论(0) 推荐(0)

什么是中台？
摘要：在传统的 IT 企业，项目的物理结构是什么样的呢？ 无论项目内部的任何复杂，都可分为“前台”和“后台”。 什么是前台？ 首先，这里所说的“前台”和“前端”并不是一回事。所谓前台包括各种和用户直接交互的界面，比如Web 页面，手机 App；也包括服务端各种实时响应的用户的请求的业务逻辑。比如商品查询、 阅读全文

posted @ 2019-09-25 09:41 海纳百川_有容乃大 阅读(2717) 评论(0) 推荐(0)

ubuntu 18.04 上安装 docker
摘要：命令安装 docker 1、直接从 ubuntu 仓库安装，打开终端，输入： 2、启动 docker 服务 。 设置开机自启动 docker 服务 3、免 sudo 配置： 阅读全文

posted @ 2019-09-24 08:29 海纳百川_有容乃大 阅读(324) 评论(0) 推荐(0)

深入理解 ajax系列第一篇（XHR 对象）
摘要：1999年，微软公司发布了IE5， 第一次引入新功能：允许javascript 脚本向服务器发起 hffp 请求。这个功能方式并没有被引起注意，知道2004年 Gmail 发布和 Google Map 发布，才引起广泛关注。2005 年2月，ajax 这个词第一次正式提出，指围绕这个功能进行开发一整 阅读全文

posted @ 2019-09-23 18:31 海纳百川_有容乃大 阅读(1180) 评论(0) 推荐(0)

scrapy 中 shell 出现 403 Forbiidden 解决方案
摘要：版权声明本文来自：https://blog.csdn.net/qq_37462361/article/details/87860025 进入正题： 出现 403，表示网站拒绝提供服务 （因为很多网站都有反爬机制,其实使用 scrapy shell 的时候就是以 scrapy 爬虫的标志进行访问的，所 阅读全文

posted @ 2019-09-23 16:25 海纳百川_有容乃大 阅读(1140) 评论(0) 推荐(0)

python 的参数总结
摘要：一、形参和实参 函数参数的作用是传递数据给函数使用 在使用的过程中，参数有两种形式：形式参数和实际参数 形参： 定义函数的参数 实参： 调用函数时的参数 根据实际参数类型不同，将实际参数传递给形参的方式有两种：值传递和引用传递 值传递： 实参为不可变对象，传递给形参后，形参的值改变，实参值不变。（如 阅读全文

posted @ 2019-09-23 10:05 海纳百川_有容乃大 阅读(354) 评论(0) 推荐(0)

Python 的直接赋值、Deepcopy、Copy的区别
摘要：直接赋值： 其实就是对象的引用 浅拷贝（copy）： 只拷贝符对象，不会拷贝对象内部的子对象 深拷贝（deepcopy）： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象 有图有真相 请观赏： 1、 b = a; 赋值引用， a 和 b 都是指向同一个对象 2、b = a.co 阅读全文

posted @ 2019-09-23 08:28 海纳百川_有容乃大 阅读(318) 评论(0) 推荐(0)

什么是 SDK？
摘要：通俗而言： 1、其实很简单，SDK 就是 Software Development Kit 的缩写，中问意思是： 软件开发工具包。 2、这是一个覆盖面相当广泛的名词，可以这么说： 辅助开发某一类软件的相关文档、范例和工具的集合都可以叫做“SDK”。 PS：（这里插一段关于抽象的理解的话： 抽象就是从 阅读全文

posted @ 2019-09-21 13:05 海纳百川_有容乃大 阅读(18771) 评论(0) 推荐(0)

python中：from * import 与 import 详解
摘要：在python 中导入模块是我们最常用的功能，基本每个.py 文件中都会有 import 或者是 from * import 语句，可是，这两种方法有什么不同，有该怎么用？今天就好好分析一下。 先上定义： 模块导入允许我们将一个个独立的程序功能分别实现然后组合成一个复杂的系统。 主要有以下作用： 代 阅读全文

posted @ 2019-09-20 08:29 海纳百川_有容乃大 阅读(21507) 评论(0) 推荐(1)

python中的 dir()内置函数的作用以及使用方法
摘要：dir() 内置函数的作用 python 内置方法有很多，无论是初学者还是精通python 的程序员都不能全部即住所有的方法，这时候 dir() 方法就非常有用了，使用 dir()函数可以查看对象内的所有的属性和方法，在 python 中任何东西都是对象，一种数据类型，一个模块等，都有子集的属性和方 阅读全文

posted @ 2019-09-19 09:33 海纳百川_有容乃大 阅读(11582) 评论(0) 推荐(0)

URL和 URI 的区别
摘要：URL：统一资源定位符 URI：统一资源标识符 URL 是 URI 的一个子集： 来源知乎 1、统一资源标识符 URI 就是在某一规则下能把一个资源独一无二的表示出来。 拿人做例子，假设这个世界上多有人的名字不能重复，那么名字就是 URI 的一个示例，通过名字这个字符串就可以表示出唯一的一个人。 现 阅读全文

posted @ 2019-09-18 10:58 海纳百川_有容乃大 阅读(294) 评论(0) 推荐(0)

在 ubuntu 中安装python虚拟环境
摘要：直接看命令一路操作(注：python3 下)： 1、安装虚拟环境： sudo pip3 install virtualenv 2、安装虚拟环境扩展管理工具： sudo pip3 install virtualenvwrapper 3、配置虚拟环境扩展管理工具： 进入 vim .bashrc 在最下面 阅读全文

posted @ 2019-09-12 16:14 海纳百川_有容乃大 阅读(1928) 评论(1) 推荐(1)

Python回收机制
摘要：1、小整数对象池 整数在程序中的使用非常广泛，python 为了优化速度，使用了小整数对象池，避免整数频繁申请和销毁和内存空间。 Python 对小整数的定义事【-5， 257】这些整数对象的hi提前建立好的 ，不会被垃圾回收，在一个 Python 的程序中，所有位于这个范围的整数使用的都是同一个对 阅读全文

posted @ 2019-09-02 14:41 海纳百川_有容乃大 阅读(384) 评论(0) 推荐(0)

*args and **kwargs
摘要：自定义的装饰器，由于硬编码的原因只能应用在一类具体的方法上，这类方法接受两个参数，传递给闭包捕获的函数，如果我们实现一个能够应用在任何方法上的装饰器要怎么做呢？在比如，如果过我们要实现一个能够应用到任何方法上的计数器的装饰器，不需要改变原有的方法的任何逻辑，这意味着装饰器能够接受任何签名的函数作为自 阅读全文

posted @ 2019-09-02 13:13 海纳百川_有容乃大 阅读(160) 评论(0) 推荐(0)

导航