12 2019 档案

sparksql 练习题两道
摘要:第一题:select '{"id":1,"name":{"url":"http://xxx/yyy/zz/test.js"}}'##1 获取 //xxx/yyy/zz/test.js中的 xxx和 js ##2 获取 ip地址中的第一组数字 #### method 1 select split(ge 阅读全文

posted @ 2019-12-26 21:59 tneduts 阅读(952) 评论(0) 推荐(0)

geoip ip2region2 with spark
摘要:上一篇文章中 我使用 maxmind的免费库开发了一个waterdrop的 插件,测试数据发现,国内的有些市级还是不准确,而且香港并不是显示中国,这就不友好了。 找了一下,发下 ip2region 这个很不错。https://github.com/lionsoul2014/ip2region 我使用 阅读全文

posted @ 2019-12-26 21:43 tneduts 阅读(719) 评论(0) 推荐(0)

最近常用的命令记录
摘要:1。清除前导空格 %s/^\s\+//g 注意这里的加号也需要\ 2。找到目录下大于100m的文件 find . -type f -size +100M 3。找到目录下昨天的文件 find . -type f -mtime -1 4。找到十分钟前创建的文件 find / -newerct "10 m 阅读全文

posted @ 2019-12-23 23:13 tneduts 阅读(409) 评论(0) 推荐(0)

mac系统上访问docker容器中的ip配置
摘要:使用 mac系统,发现docker没有 docker0网桥,无法直接在宿主机上 访问 容器的ip, 在测试的时候有这种需求,而不是通过-p的方式,可以参考下面的连接,主要就是 修改 setting.json,加上socket代理端口,然后配置在网络高级中配置 sockets代理即可。 具体可以参考如 阅读全文

posted @ 2019-12-23 22:51 tneduts 阅读(5880) 评论(0) 推荐(0)

maxmind geoip2使用笔记
摘要:客户需求如下,nginx的访问日志中ip,匹配出对应的国家,省份和城市,然后给我了一个maxmind的连接参考。 查找资料,有做成hive udf的使用方式, 我们项目中一直使用 waterdrop 来做数据处理,所以决定开发一个 waterdrop的插件。 关于这个功能,waterdrop本身提供 阅读全文

posted @ 2019-12-23 22:23 tneduts 阅读(3199) 评论(0) 推荐(0)

导航