2023年8月23日
python必坑知识点03
摘要： **1、简述面向对象的三大特性** 封装 将一些属性或方法封装到类里面，可供外部调用或隐藏 封装原则：高内聚，低耦合 继承 将子类的数据封装到父类中，供子类使用，将多个子类的方法封装到同一类型中，提高代码重用性 多态 本身具有多态特性，提倡鸭子类型，不在乎传入的参数是什么类型，只要有对应的方法即可 阅读全文
posted @ 2023-08-23 14:44 hai_sir 阅读(36) 评论(0) 推荐(0)
python必坑知识点02
摘要： ### 1 Py2和Py3的区别 ~~~python Py2整数做除法是地板除，py3整数做除法是可以有小树的 默认编码不同，前者是ascii，后者为utf-8 个别的方法不同，前者是print ***，后者为print(***) 项目规范不同，前者包下必须有__init__.py，后者可有可无 在 阅读全文
posted @ 2023-08-23 14:41 hai_sir 阅读(26) 评论(0) 推荐(0)
python必坑知识点01
摘要： # 一、基础： ## 1、%占位符的使用 print('%s, 下载90%s了' % ('兄弟', '%')) print('%s, 下载90%%了' % '兄弟') # 双% ## 2、填充0 #''.zfill() print('alex'.zfill(10)) ## 3、逻辑运算 v2 = " 阅读全文
posted @ 2023-08-23 14:24 hai_sir 阅读(23) 评论(0) 推荐(0)
2023年8月12日
python3搭建virtualenv虚拟环境教程
摘要： #==一、安装virtualenv== 在命令行输入： `pip3 install virtualenv virtualenvwrapper pipenv ` windows用户还可以安装： `pip3 install virtualenvwrapper-win` #==二、搭建虚拟环境== 以te 阅读全文
posted @ 2023-08-12 16:45 hai_sir 阅读(454) 评论(0) 推荐(0)
Centos安装docker无坑版教程
摘要： ==一、安装前必读== 在安装 Docker 之前，先说一下配置，我这里是Centos7.6 Linux 内核：官方建议 3.10 以上。 注意：本文的命令使用的是 root 用户登录执行，不是 root 的话所有命令前面要加 `sudo` 1. 查看当前的内核版本 `uname -r` 我这是：3 阅读全文
posted @ 2023-08-12 16:18 hai_sir 阅读(101) 评论(0) 推荐(0)
centos7安装python3.9
摘要： Centos默认安装的是python 2.7版本,需要使用python3，安装过程记录如下： 查看系统python2的位置： whereis python 安装编译python3的相关系统依赖包 yum -y install zlib-devel bzip2-devel openssl-devel 阅读全文
posted @ 2023-08-12 15:46 hai_sir 阅读(1058) 评论(0) 推荐(0)
2022年8月14日
07-Spark之RDD
摘要： 一:分布式程序的设计思想 step1：读取数据Input 代码中：要指定读取数据文件的位置，然后返回一个代表这个输入数据的变量 将要处理的数据拆分成N份，每一份数据放在不同机器上 相当于接一个大活，干活的是很多人一起干活，将一个大的任务拆分成很多小任务给每个人分 step2：处理数据Transfor 阅读全文
posted @ 2022-08-14 22:06 hai_sir 阅读(105) 评论(0) 推荐(0)
06-Spark on YARN的设计
摘要： 实施 问题：为什么要将Spark的程序运行在YARN上，不运行在自带的Standalone集群上？ 实现 统一化资源管理 工作中的计算集群大多数情况下只有1套集群 如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算 而Spark的程序单独用Standalone 阅读全文
posted @ 2022-08-14 22:02 hai_sir 阅读(49) 评论(0) 推荐(0)
05-集群提交：spark-submit脚本
摘要： 结构: 命令 + 选项 + 文件 + 参数 基础选项：优先级：代码中配置【程序特有】 > 参数选项【运行模式、程序名称、资源选项】 > 配置文件【公共配置】 --master：用于指定程序的运行的模式：Local、Standalone、YARN、Mesos、K8s local[N]：使用本地模式，给 阅读全文
posted @ 2022-08-14 21:50 hai_sir 阅读(202) 评论(0) 推荐(0)
04-Standalone集群架构
摘要： 分布式主从架构：整体的功能及架构高度类似于YARN【ResourceManager、NodeManager】 分布式架构 普通分布式主从架构：HDFS、YARN、Spark、Flink、Hbase => 主节点单点故障问题 解决主节点单点故障问题：HA高可用架构来解决 公平分布式主从架构：Zooke 阅读全文
posted @ 2022-08-14 21:43 hai_sir 阅读(66) 评论(0) 推荐(0)