摘要： 背景：每天大数据平台核心就是出报表，而核心的中间表底层是大量的报表都会依赖它运行，我们称这个报表为142.（因为报表我们这边编号是142）。预计依赖于它的报表有几十个展示。 问题现象：每天142报表的运行时间达到10 15小时。导致底层报表计算大量延迟。于是进行报表排查和重整sql逻辑。 分析sql 阅读全文

摘要： 最近spark2有同事想用anaconda3做开发，原因是上面可以跑机器学习的库（服务器因为没外网pip装whl确实麻烦） 1、先在每台机器安装anaconda3 2、把用户的~/.bashrc配置进Python的环境变量alias python=/opt/python/bin/python 3、把 阅读全文