阿布alone

摘要： 分布式进程指的是将Process进程分布到多台机器上，充分利用多态机器的性能完成复杂的任务 分布式进程在python 中依然要用到multiprocessing 模块。multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。可以写一个服务进程作为调 阅读全文

摘要： 文章目录课程大纲（HDFS详解）学习目标：HDFS基本概念篇 1.1HDFS前言 1.2HDFS的概念和特性 HDFS基本操作篇 2.1HDFS的shell(命令行客户端)操作 2.1.1 HDFS命令行客户端使用 2.2 命令行客户端支持的命令参数 2.3 常用命令参数介绍 HDFS原理篇hdfs 阅读全文

摘要： 代码 from collections import Counter ll=['1','1','2','3'] dic=dict(Counter(ll)) print(dic) print([k for k,v in dic.items() if v>=2]) 阅读全文

摘要： 代码 from urllib.parse import quote,unquote,urlencode print(quote('https://www.cnblogs.com/?a=bc&d=f')) print(urlencode({'a':'b','b':'c'}))#https%3A//ww 阅读全文

只有注册用户登录后才能阅读该文。 阅读全文

只有注册用户登录后才能阅读该文。 阅读全文

摘要： python读取文件指定行内容 import linecache text=linecache.getline(r'C:\Users\Administrator\Desktop\SourceCodeofMongoRedis\chapter_5\generate_string.py',10) 第十行内 阅读全文

摘要： 一.关于集群的基本操作 #!/usr/bin/env python # -*- coding: utf-8 -*- # author tom from elasticsearch import Elasticsearch from pprint import pprint # 连接es，直接传一个i 阅读全文

摘要： 1. 前言 在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。 为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的 阅读全文

摘要： 设想这样一个场景： 你创建了10个子线程，每个子线程分别爬一个网站，一开始所有子线程都是阻塞等待。一旦某个事件发生：例如有人在网页上点了一个按钮，或者某人在命令行输入了一个命令，10个爬虫同时开始工作。 肯定有人会想到用Redis来实现这个开关：所有子线程全部监控Redis中名为start_craw 阅读全文