2018年5月20日
python爬虫面试题
摘要： 1、tcp和udp的区别？ TCP（Transmission Control Protocol，传输控制协议）是面向连接的协议，也就是说，在收发数据前，必须和对方建立可靠的连接。一个TCP连接必须要经过三次“对话”才能建立起来，其中的过程非常复杂，只简单的描述下这三次对话的简单过程：主机A向主机B发出连接请求数据包：“我想给你发数据，可以吗？”，这是第一次对话；主机B向主机A发送同意连接和... 阅读全文
posted @ 2018-05-20 12:23 zxf123 阅读(560) 评论(0) 推荐(0)
2018年5月19日
聚焦爬虫与通用爬虫的区别
摘要： 为什么要学习爬虫？ 学习爬虫，可以私人订制一个搜索引擎。 大数据时代，要进行数据分析，首先要有数据源。 对于很多SEO从业者来说，从而可以更好地进行搜索引擎优化。 什么是网络爬虫？ 模拟客户端发送网络请求，接收请求对应的数据，按照一定的规则，自动抓取互联网信息的程序。 只要是客户端(浏览器)能做的的事情，原则上，爬虫都能做。意思就是，只要人类能够访问的网页，爬虫在具备铜等资源的情况下就一定可以... 阅读全文
posted @ 2018-05-19 20:32 zxf123 阅读(2388) 评论(0) 推荐(0)
爬虫简介
摘要： 需求 万维网上有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是纵然是进化到21世纪的人类，依然只有两只手，一双眼，不可能去每一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，这就是爬虫。 原理 传统爬虫从一个或若干初始网页的URL开始，获... 阅读全文
posted @ 2018-05-19 16:54 zxf123 阅读(222) 评论(0) 推荐(0)
Python 中的进程、线程、协程、同步、异步、回调
摘要： 进程和线程究竟是什么东西？传统网络服务模型是如何工作的？协程和线程的关系和区别有哪些？IO过程在什么时间发生？ 一、上下文切换技术 简述 在进一步之前，让我们先回顾一下各种上下文切换技术。 不过首先说明一点术语。当我们说“上下文”的时候，指的是程序在执行中的一个状态。通常我们会用调用栈来表示这个状态——栈记载了每个调用层级执行到哪里，还有执行时的环境情况等所有有关的信息。 当我们说“上下文... 阅读全文
posted @ 2018-05-19 09:54 zxf123 阅读(327) 评论(0) 推荐(0)
2018年5月18日
socket编程各步骤作用简述之python版
摘要： python的标准库里面自带了socket模块，直接可以导入，连接方式和其它编程语言基本也是一样的，因为初学socket编程所以每一步具体起到什么作用还不是很明确，而网上基本都是直接代码，大同小易；只有自己试了几次才知道。来看一下比喻的socket连接图： 基本上一个程序对应一个端口，一个线程监听一个socket消息。正常单线程时，有一个请求连接发来，直接就是由唯一的主线程来监听，然后发送... 阅读全文
posted @ 2018-05-18 13:30 zxf123 阅读(524) 评论(0) 推荐(0)
程序员怎样锻炼编程思维（学习方法）
摘要： 1.明确学习目的 学习编程对大多数IT业人员来说都是非常有用的。学编程，做一名编程人员，从个人角度讲，可以解决在软件使用中所遇到的问题，改进现有软件，可以为自己找到一份理想的工作添加重要得砝码，有利于在求职道路上谋得一个好的职位；从国家的角度，可以为中国的软件产业做出应有的贡献，一名优秀的程序员永远 阅读全文
posted @ 2018-05-18 10:11 zxf123 阅读(585) 评论(0) 推荐(0)
2018年4月24日
进程和线程、协程的区别
摘要： 现在多进程多线程已经是老生常谈了，协程也在最近几年流行起来。python中有协程库gevent，py web框架tornado中也用了gevent封装好的协程。本文主要介绍进程、线程和协程三者之间的区别。 一、概念 1、进程 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。每个进程都有自己的独立内存空间，不同进程通过进程间通信... 阅读全文
posted @ 2018-04-24 22:53 zxf123 阅读(143) 评论(0) 推荐(0)
Python内置函数详解——总结篇
摘要： 数学运算(7个) 类型转换(24个) 序列操作(8个) 对象操作(7个) 反射操作(8个) 变量操作(2个) 交互操作(2个) 文件操作(1个) 编译执行(4个) 装饰器(3个) 数学运算(7个) 类型转换(24个) 序列操作(8个) 对象操作(7个) 反射操作(8个) 变量操作(2个) 交互操作( 阅读全文
posted @ 2018-04-24 22:03 zxf123 阅读(199) 评论(0) 推荐(0)
python中map()函数的用法讲解
摘要： map函数的原型是map(function, iterable, …)，它的返回结果是一个列表。 参数function传的是一个函数名，可以是python内置的，也可以是自定义的。 参数iterable传的是一个可以迭代的对象，例如列表，元组，字符串这样的。 这个函数的意思就是将function应用于iterable的每一个元素，结果以列表的形式返回。注意到没有，iterable后面还有省... 阅读全文
posted @ 2018-04-24 21:36 zxf123 阅读(477) 评论(0) 推荐(0)
Linux 命令行大全
摘要： date 显示当前时间和日期 cal 显示当前月份的日历 df 查看磁盘剩余空间的数量 free 显示空闲内存的数量 pwd 打印当前工作目录 cd 切换目录 ls 列出文件夹内容 绝对路径：开始于根目录 相对路径：开始于工作目录 .工作目录 ..工作目录的父目录 cd - 更改目录到先前的工作目录 cd ~ 切换到家目录 ls -l 结果以长模式输出 -t 选项按文件的修改时间的先后... 阅读全文
posted @ 2018-04-24 15:23 zxf123 阅读(7283) 评论(0) 推荐(1)