摘要：
为鉴权/血缘解析SQL语句 背景：公司的数仓是集中式数仓，大部分业务公用hive环境，少部分业务通过数仓透出的文件进行数据交换。问题：所有业务都可以访问所有的hive表，急需要权限管控。那解析各个业务提交的SQL文件就成了首要任务。 解决方案 1.Jsqlparser是一个java的jar包，可以解 阅读全文
摘要：
LR模型快速生成SQL脚本 由于经常需要部署新LR模型，需要以SQL的方式在数仓环境中运行。固化LR模型的形式是excel文件，所以写了一个脚本解析这个excel文件，完成模型的快速SQL化 LR模型部署模板 第一行是名称列可以不用管，第二行是线性模型基础得分第三行开始：第一列是表中的列，第二列是表 阅读全文
摘要：
生命周期管理工具 当数仓中表过于多的时候，生命周期管理就成了比较大的问题。在表里面自己去手动删除分区，表过多的时候，修改就成了很大的问题。这时候就可以做一个脚本：每天定时去删除过期的数据，不仅仅能处理这个问题，还可以减少成本 方案 hive 提供了可以自定义表属性的空间TBLPROPERTIES，我 阅读全文
摘要：
飞书告警 登陆飞书移动端后，点击 "添加账号" 现在登陆的是管理员账号，账号只有审批权限，没有创建应用的权限 我们要切换成能创建应用的账号的权限 登陆飞书Web端 1.https://open.feishu.cn/app飞书后台，可以创建应用，但是需要管理员审批 2.https://va8ocx82 阅读全文
摘要：
注册企业微信 填写企业微信部分信息 1.打开一下网站，填写部分信息。https://work.weixin.qq.com/wework_admin/register_wx?from=myhome_baidu 2.登陆进去后，找到"我的企业" 下拉找到 "企业ID/corpid" 这个记录一下后面会用 阅读全文
摘要：
机器学习里面有很多场景需要图标展示，这简单介绍一下一个图表库 图表库 # #折线图import matplotlib.pyplot as pltimport numpy as npplt.figure(figsize=(4,4)) #设置画布大小plt.title("i am title") ##标 阅读全文
摘要：
python爬虫 系列文章 网上搜素的系列文章 记录一下后续可能会用https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI3NzI1MzY4Mw==&action=getalbum&album_id=1786298272630816773#wechat_r 阅读全文
摘要：
Python基础(三) 正则表达式 import re#match 从开头位置匹配，失败返回NULLresult = re.match("^[a-z0-9]*@(sina|qq|126|136)\.com$","112@qq.com")print("true","match string:",res 阅读全文
摘要：
Python基础进程/线程/协程(二) 魔术方法 #__doc__ 类的描述信息#__module__ 当前操作的对象在哪个模块#__class__ 当前操作的对象的类#__init__ 类创建对象的时候自动执行#__del__ 对象被释放的时候调用#__call__ 对象被释放的时候调用#__st 阅读全文
摘要：
前面已经接触过Python了，现在从头把python学一遍，巩固一下基础知识。因为学了很多语言了，更多的是熟悉语法。 Python基础(一) 变量定义 # 多个变量赋值# 默认大写的是常量 最好不要修改#空值 NoneA,b,c = 100,200,300print(A,b,c) 字符串 print 阅读全文