摘要： 项目背景： 今天要写一个iOS的程序，要集成一个sdk .需要装cocopods 按照下面这个文档进行集合，出了很多问题。 安装文档： https://www.jianshu.com/p/f43b5964f582 遇到的问题： （1）安装rvm的时候就有问题：curl -L get.rvm.io | 阅读全文

摘要： 今天hue当中查询表的数据量，发现这个表的数据条数显示为0， 但是采用select的形式是可以查询到数据的。 原因是： select count(1)。有时候会发现往一个非分区表的路径上手动put一个textfile文件，但是count()出来的条数却不是文本里面的那么多。 在这个时刻就需要使用an 阅读全文

摘要： 今天通过datax从一个集群同步数据到另外一个集群当中，虽然任务执行成功了，但是一个很大的问题， （数据丢失）这怎么得了 解决思路： （1）是不是数据分隔符的问题，导致数据变少了。对了一下发现没问题 （2） 是不是因为字段长度不够数据没同步过来，把长度调的足够大，发现也不管用 （3） 突然在网上发现 阅读全文

摘要： 今天公司的业务要将hive逻辑生成的表数据做数据外发到对应的业务部门。（将数据上传到ftp服务器） 具体脚本如下： #!/bin/bash #/********************************************************************* #*模块名 :数 阅读全文

摘要： 今天有个同事问了一道面试题。面试题如下： 他的意思是将时间拆分成下面右边的样子，开始时间是整数，结束时间是多少就是多少。 看到这个题目第一眼感觉挺简单的，就是拆。 大概的思路如下： （1）给的是字符串，需要将数据拼接，拆分成具体的日期时间格式，然后才能操作。同时对数据开始时间进行规整操作 （2）第二 阅读全文

摘要： 今天写了一个程序，打成exe的可执行文件，但是一直报api-ms-win-crt-runtime-l1-1-0.dll丢失。 然后晚上各种百度 说要安装windows sdk 还有的说要要装一个 vc_redist.x64.exe在windows上。 我都试过了，就是没有用。 最后降低了python 阅读全文

摘要： 今天突然发现，我们的flink程序挂掉了，然后先把程序启动起来，发现正常运行，然后去看什么问题，发现我们的集群当中的一台服务器挂掉了，然后重新启动了一台服务器 然后紧接着，我去看yarn资源管理器看失败的任务发现超时 Application application_1603766479824_000 阅读全文

摘要： 今天要部署一个服务化的接口程序，需要创建一个Python的虚拟环境。 1、安装虚拟环境 sudo pip install virtualenv sudo pip install virtualenvwrapper 2 安装完虚拟环境后，如果提示找不到mkvirtualenv命令，须配置环境变量： # 阅读全文

摘要： 问题1： Python pylint requires Python '>=3.4.*' but the running Python is 2.7.12解决办法：（1）在linux服务器上执行Python，然后你会看到你的Python 版本为2.7.12.（2）之后输入：cd /usr/bin/ 阅读全文

摘要： 这两天在建一个aws redshift 的测试环境，想把正式库里面的表的建表语句可以直接一键进行获取，然后在测试库当中创建测试环境然后搭建测试环境（批量操作） with mon as ( SELECT table_id ,REGEXP_REPLACE (schemaname, '^zzzzzzzz' 阅读全文