摘要： # 生成器函数，函数里只要有yield 关键字 def gen_func(): yield 1 yield 2 yield 3 # 斐波拉契（当位数等于前两位数之和） 0 1 1 2 3 5 8 # 惰性求值 ，掩饰求值提供 # 只返回当位的值 def fib(index): if index <= 阅读全文

摘要： """ [start:end:step] 其中第一数字start 表示切片开始位置，默认为0; 第二个数字end 表示切片截止 （但不包含）位置 （默认为列表长度） 第三个数字step 表示切片的步长 （默认为1） 当start 为0时可以省略 当end为列表长度时可以省略 当step 为1时可以省 阅读全文

摘要： 示例1 import threading import time # 进程比较消耗资源 线程比较消耗cpu def func01(number): print("函数func01 start") time.sleep(2) print("函数func01 end") def func02(numbe 阅读全文

摘要： IO 密集型应用 IO 密集型应用CPU等待IO时间远大于CPU 自身运行时间，太浪费；常见的 IO 密集型业务包括：浏览器交互、磁盘请求、网络爬虫、数据库请求等 Python 世界对于 IO 密集型场景的并发提升有 3 种方法：多进程、多线程、异步 IO(asyncio);理论上讲asyncio是 阅读全文

摘要： async def func(urls,body): async with aiohttp.ClientSession() as session: async with session.post(urls,json=body) as response: return await response.j 阅读全文

摘要： 处理excel数据 import openpyxl import os from utils.path_util import Path class LocalExcelData: def __init__(self, files_name, files_path="exceldata"): pat 阅读全文

摘要： HDFS的Shell操作（重点） 2.1 基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 2.2 命令大全 [atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsrc> 阅读全文

摘要： HDFS概述 1.1 HDFS产出背景及定义 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDF 阅读全文

摘要： Hadoop运行模式 1）Hadoop官方网站：http://hadoop.apache.org/ 2）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能， 阅读全文

摘要： Hadoop运行环境搭建（开发重点） 2.1 模板虚拟机环境准备 0）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G 1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例） （1）使用yu 阅读全文