摘要：
今天我继续学习kettle，我在测试使用过程中经常清洗数据出问题，在前一步流程中数据处理失败，我发现他跟字段的类型有关系，还有字段的长度。我在试着用kettle做复杂的字段值替换，比如一行数字，我根据数字转换成对应的日期，我尝试写了正则表达式，可是结果并没有成功还是原样输出了。希望明天的测试能用上。 阅读全文
posted @ 2021-10-06 22:11
不咬牙
阅读(57)
评论(0)
推荐(0)
摘要：
我花了一晚上把kettle下载下来，然后我按照视频学习了一下使用的方法，感觉还是很不错的，他是通过组件将数据文件读取进来，然后将数据文件的字段都分好，可以进行字段中值的替换。目前看起来很有用。 学习时间：19：43到22：02 阅读全文
posted @ 2021-10-05 22:09
不咬牙
阅读(50)
评论(0)
推荐(0)
摘要：
今天去学习了钉钉群的大数据视频，看了大数据交通事故处理系统，我有的内容已经掌握，还看到了很多新的东西，比如说用kettle软件来清洗数据，我眼前一亮。 学习时间：18：39到22：13 阅读全文
posted @ 2021-10-04 22:43
不咬牙
阅读(46)
评论(0)
推荐(0)
摘要：
今天做极限测试后续内容 统计每天各个机场的销售数量和销售金额。 通过查询贩卖编号具有C开头的数据并按日期和贩卖编号排序放入存储机场数据的表 create table jc row format delimited fields terminated by ',' as select day_id,s 阅读全文
posted @ 2021-10-03 21:05
不咬牙
阅读(140)
评论(0)
推荐(0)
摘要：
今天来对极限测试的三个表继续做清洗 需要将数字改成对应的时间 我毫无想法，学习了同学的方法 // 清洗insert overwrite table sales_sample_info_clean select date_add('2021-09-00',cast(day_id as int)) as 阅读全文
posted @ 2021-10-02 22:06
不咬牙
阅读(84)
评论(0)
推荐(0)
浙公网安备 33010602011771号