Mars.wang

摘要： #redis内自维护线程池,过期就断掉链接,所以不需要手动关闭链接 import redis r = redis.StrictRedis(host='host.com', port=6379) start_dt = str(r.hget('key_v2', 'start_dt'), encoding 阅读全文

摘要： 工作中遇到一个小问题,需要在一个日志文件中,删选出包含emrfs sync命令和之后内容的行,格式如下, 考虑采用正则表达式来做,代码如下 阅读全文

摘要： 一.简介 SerDe是Serializer/Deserializer的缩写。SerDe允许Hive读取表中的数据，并将其以任何自定义格式写回HDFS。 任何人都可以为自己的数据格式编写自己的SerDe。 序列化与反序列化的作用 1，序列化是对象转化为字节序列的过程； 2，反序列化是字节码恢复为对象的 阅读全文

摘要： python有两种配置文件,file.ini和file.json 一、ini文件如下: 对ini文件进行读写: 常用的读写方法: read(filename) 直接读取ini文件内容sections() 得到所有的section，并以列表的形式返回options(section) 得到该sectio 阅读全文

摘要： 一.批量写入 Java写入大量数据到磁盘/数据库等其它第三方介质时,由于IO是比较耗费资源的操作,通常采用攒一批然后批量写入的模式 二.写入的重试 写入第三方介质时由于网络传输问题,可能出现数据丢失等问题,需要重传 基本的逻辑是只要捕捉到异常将isException置为True就进行重传,直到传输成 阅读全文

摘要： //从string数组创建临时文件 private static File createSampleFile(String[] strs) throws IOException { File file = File.createTempFile("aws-java-sdk-", ".txt"); file.deleteOnExit(); Writer writer = new OutputStre 阅读全文

摘要： java官方提供了一种操作字节数组的方法——内存流（字节数组流）ByteArrayInputStream、ByteArrayOutputStream ByteArrayOutputStream——byte数组合并 ByteArrayInputStream——byte数组截取 阅读全文

摘要： Python中至少有三种比较常见的方法类型，即实例方法，类方法、静态方法。它们是如何定义的呢？如何调用的呢？它们又有何区别和作用呢？且看下文。 首先，这三种方法都定义在类中。下面我先简单说一下怎么定义和调用的。（PS：实例对象的权限最大。） 实例方法 定义：第一个参数必须是实例对象，该参数名一般约定 阅读全文

摘要： eval函数在Python中做数据类型的转换还是很有用的。它的作用就是把数据还原成它本身或者是能够转化成的数据类型。那么eval和ast.literal_val()的区别是什么呢？本文将大家介绍关于Python中函数eval和ast.literal_eval区别的相关资料，需要的朋友可以参考下。 前 阅读全文

摘要： impala学习笔记 -- 建库 CREATE DATABASE IF NOT EXISTS database_name; -- 在HDFS文件系统中创建数据库，需要指定要创建数据库的位置。 CREATE DATABASE IF NOT EXISTS database_name LOCATION hdfs_path; -- 删库 DROP DATABASE IF EXISTS sample_da... 阅读全文