PengLi

摘要： 从低往高层： ODS>DWD,DWS>DM ODS：Operation Data Store 原始数据，业务库数据，日志数据，mongodb等数据源，api抓取，gio DWD(数据清洗/DWI) data warehouse detail 数据明细详情，去除空值，脏数据，超过极限范围的 明细解析 阅读全文

摘要： 时间相关 from_unixtime(pay_time) -- 将时间戳转化为时间 select CURDATE() -- 当前日期 select NOW()-- 当前时间 select DATE_FORMAT(CURDATE(),'%Y-%m-01')-- 月初 select date_add(c 阅读全文

摘要： 在任意位置增加多个光标，同时编辑多行内容 command + shift +option 设好光标后，对选中光标后面的代码进行多行编辑 shift + command + 左右按键 某文件下全局查找替换某个内容 command + f # 在左上方弹框中输入要查找的内容 command + r # 阅读全文

摘要： 切换用户（前提是用户存在） su - 用户名 进入根目录下的某一文件夹中 cd /文件名 从根目录下的某一文件夹中回到当前用户的家目录 cd ~ 阅读全文

摘要： 在mac下搭建pyspark需要安装的有： 1.JAVA JDK 2.Scala 3.apache-spark 4.Hadoop(可选) 5.pyspark 安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式以下介绍brew的安装方 阅读全文

摘要： 查询系统自带的函数 show functions 显示系统自带的函数的用法 desc function count 详细显示自带函数的用法 desc function extended count 日期函数 1. unix时间戳类型转日期： - 10位数时间戳 select from_unixtim 阅读全文

摘要： mac对编程的支持还是很到位的，非常方便，环境干净，配置干净 首先确保你安装了virtualenv，在终端中virtualenv --verison 就可以查看 virtualenv --version 我这里的显示是版本是 20.0.15，这是你的virtualenv版本号，需要注意的是，不同版本 阅读全文

摘要： 多进程:是一个“执行中的程序”。程序是一个没有生命的实体，只有处理器赋予程序生命时，它才能成为一个活动的实体，我们称其为进程。进程是一个能独立运行的基本单位，同时也是系统分配资源和调度的独立单位。 特征： 动态性：进程的实质是程序在多任务系统中的一次执行过程，进程是动态产生，动态消亡的。 并发性：任 阅读全文

摘要： -- coding: utf-8 -- import os #创建mydata文件夹 #如果mydata文件夹已存在，清空文件夹（先清空后删除再创建） pathd=os.getcwd()+'\\mydata' if os.path.exists(pathd): #判断mydata文件夹是否存在 fo 阅读全文

摘要： 直接用 SET 来改变 MySQL 的自动提交模式: SET AUTOCOMMIT=0 禁止自动提交 SET AUTOCOMMIT=1 开启自动提交 阅读全文