摘要： 最近发现thriftserver 运行时，运行内存有时超过配置文件 thriftserver.conf 中SPARK_EXCUTOR_MEM配置的内存，导致thriftserver执行查询异常。所以写了小程序，定时监控thriftserver的运行情况，当运行内存大于配置文件的内存时，将thrift 阅读全文

摘要： IDEA 自动生成的toString 方法无法通过 JSONObject.parseObject(model.toString())方法直接生成jsonobject对象 比如默认的是这样，生成方法时，字符串拼接多少不是自己想要的： 会是这样的String对象。 但是IDEA可以自定义tostring 阅读全文

摘要： 1、初始化kafka相关参数，在APP类初始化的时候即获取kafka对应的topic参数 2、设置spark conf 参数并定义sqlcontext 3、通过 createDirectStream 函数读取kafka中数据 4、然后可以对messages 执行一系列的转换操作，如Map，flite 阅读全文

摘要： spark JOB在hive入库的时候发生了很诡异的现象，根据report_time时间转换为小时分区的时候，时间对不上，而且只是部分时间对不上，相差12个小时。 由于其他集群未出现此问题，想通过代码发现是否逻辑存在问题。看了代码之后发现逻辑也十分简单： 获取了report_time之后直接通过一个 阅读全文