摘要: 众所周知,scala的元祖个数最多为22个,通常情况下,个数上限能满足使用需求。但是极限情况下,处理大数据的过程中,通常要对超过22个字段进行解析。此时可以通过定义一个普通类继承Product类的方式实现。 由于这里定义的是一个普通类(不是case class),所以自定义的所有属性,前面要加上va 阅读全文
posted @ 2019-05-07 21:20 赫赫不会飞 阅读(1701) 评论(0) 推荐(0)
摘要: 大数据开发过程中,常常涉及数据迁移的过程。比如实时同步kafka消息队列中的数据到HBase的需求中,从kafka中取到的数据是jsonObject对象。 通过跳板机输入查看kafka消息队列的命令,可以拿到经过BASE64加密后的数据源。复制数据源到BASE64解码工具进行解码,得到JSON串,再 阅读全文
posted @ 2019-04-04 20:53 赫赫不会飞 阅读(1673) 评论(0) 推荐(0)