摘要： 示例1 import threading import time # 进程比较消耗资源 线程比较消耗cpu def func01(number): print("函数func01 start") time.sleep(2) print("函数func01 end") def func02(numbe 阅读全文

摘要： IO 密集型应用 IO 密集型应用CPU等待IO时间远大于CPU 自身运行时间，太浪费；常见的 IO 密集型业务包括：浏览器交互、磁盘请求、网络爬虫、数据库请求等 Python 世界对于 IO 密集型场景的并发提升有 3 种方法：多进程、多线程、异步 IO(asyncio);理论上讲asyncio是 阅读全文

摘要： async def func(urls,body): async with aiohttp.ClientSession() as session: async with session.post(urls,json=body) as response: return await response.j 阅读全文

摘要： 处理excel数据 import openpyxl import os from utils.path_util import Path class LocalExcelData: def __init__(self, files_name, files_path="exceldata"): pat 阅读全文

摘要： HDFS的Shell操作（重点） 2.1 基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 2.2 命令大全 [atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsrc> 阅读全文

摘要： HDFS概述 1.1 HDFS产出背景及定义 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDF 阅读全文

摘要： Hadoop运行模式 1）Hadoop官方网站：http://hadoop.apache.org/ 2）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能， 阅读全文

摘要： Hadoop运行环境搭建（开发重点） 2.1 模板虚拟机环境准备 0）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G 1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例） （1）使用yu 阅读全文

摘要： 第1章 Hadoop概述 1.1 Hadoop是什么 1.2 Hadoop发展历史（了解） 1.3 Hadoop三大发行版本（了解） Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。2006 Clouder 阅读全文

摘要： 沉默是金，能承受多少，可能就能获得多少。价投从来没有容易过，但凡在风雨雷电交加中能长期坚守,屹立不倒的投资者，其心志、心态，毅力不是普通人能读得懂。做"卓越公司"的苦行僧 -- 片仔癀 不要买资产消耗类的 公司 人必须有过经历 才能对好的东西有一些理解 股市就像看大海一样，看的越短 浪越大，看的越远 阅读全文