摘要： Windows安装Scrapy 简单记录 1：安装Python，并记录Python版本 2：Scrapy依赖于Twisted库 去官网下载对应的Python版本的Twisted-18.7.0-cp37-cp37m-win_amd64.whl 进到该目录 cmd pip install Twisted 阅读全文

摘要： 什么是权限管理？ 阅读全文

摘要： 阶段大纲: 一. 爬虫 1. 基本操作 - 登录任意网站(伪造浏览器的任何行为) 2. 性能相关 - 并发方案: - 异步IO: gevent/Twisted/asyncio/aiohttp - 自定义异步IO模块 - IO多路复用:select 3. Scrapy框架 介绍:异步IO:Twiste 阅读全文

摘要： contos7 配置网络 使用NAT模式连接本地网络 进入Linux机器配置网络 vi /etc/sysconfig/network-scripts/ifcfg-eth0 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEF 阅读全文

摘要： 1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 处理海量数据的核心技术： 海量数据存 阅读全文

摘要： 服务端代码 客户端代码 阅读全文

摘要： #udp 服务端 #导入socket模块 from socket import * #ip加端口 类型为元组 ip_port=('127.0.0.1',8002) #最大接收字节 buffer_size=1024 #建立客户端 #AF_INET:基于因特网 #SOCK_DGRAM：以数据报形式 udp是以广播形式传输 udp_client=socket(AF_INET,SOCK_DGRAM) ... 阅读全文

摘要： 1 客户端代码 2 from socket import * 3 #客户端 4 client=socket(AF_INET,SOCK_STREAM) 5 #通讯地址 6 client.connect(('172.18.100.9',8001)) 7 #发送消息并且 底层接收都是二进制 必须转换为二进制 8 while True: 9 msg=input("===>... 阅读全文