随笔分类 -  python

Python日期带时区转换工具类总结
摘要：@[TOC] # 1.背景 最近项目是国际项目，所以需要经常需要用到UTC时间和local时间的转换。 所以整理了一下时间戳工具类，方便使用。 这里主要用到的包就是datatime、time、pytz。 # 2. 遇到的坑 直接看测试案例 ```python tzinfo=pytz.timezone 阅读全文
posted @ 2023-05-29 13:50 硅谷工具人 阅读(1001) 评论(0) 推荐(1)
使用Python清理历史文件夹
摘要：根据修改时间，删除文件夹。 例如：删除某个日期之前的文件夹。 # -*- coding: utf-8 -*- # @Time : 2023/1/9 19:34 # @Author : King # @Software: PyCharm # @Describe: # -*- encoding:utf- 阅读全文
posted @ 2023-01-09 20:42 硅谷工具人 阅读(100) 评论(0) 推荐(0)
Conda安装py3spark环境操作
摘要：查看虚拟环境 conda env list 创建虚拟环境 conda create -n py3spark python=3.6 删除虚拟环境以及虚拟环境中所有包 conda remove -n py3spark --all 在虚拟环境中安装包 conda install -n py3spark p 阅读全文
posted @ 2023-01-05 17:25 硅谷工具人 阅读(169) 评论(0) 推荐(0)
pySpark提交提交任务到Yarn
摘要：cluster模式： spark-submit \ --conf spark.dynamicAllocation.enabled=false \ --name pool_liquidity_info \ --master yarn \ --deploy-mode cluster \ --queue 阅读全文
posted @ 2022-05-02 22:59 硅谷工具人 阅读(1033) 评论(0) 推荐(0)
让jupyter运行于指定的conda虚拟环境中
摘要：1. 安装操作 短短几句，但是非常重要 conda create -n py36spark python=3.6 source activate py36spark conda install ipykernel deactivate conda install nb_conda_kernels # 阅读全文
posted @ 2022-03-20 01:28 硅谷工具人 阅读(400) 评论(0) 推荐(0)
使用anaconda3安装pyspark
摘要：1. 下载安装： 下载地址：wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh --no-check-certificate （最新版本：wget https://mir 阅读全文
posted @ 2022-03-19 22:44 硅谷工具人 阅读(1828) 评论(0) 推荐(1)
conda常用命令行
摘要：conda -V #查看conda版本 conda list env 或者 conda info -e #查看虚拟环境列表 conda create -n pyspark-env python=3.6 #创建python虚拟环境 source activate pyspark-env #激活虚拟环境 阅读全文
posted @ 2022-03-19 22:12 硅谷工具人 阅读(349) 评论(0) 推荐(0)

成功之道，在于每个人生阶段都要有不同的目标，并且通过努力实现自己的目标，毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福，同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知，修身齐家治国平天下。