随笔分类 -  错误集

&后台运行
摘要：问题描述 由于神策服务器和maxcompute没有打通，用不了数据集成，就采用tunnel的方式将文件上传到maxcompute，先从神策服务器上将数据查出来，并插入到一张临时表中，然后将文件从hdfs上下载到本地，之后用tunnle上传到maxcompute。 报错 排查原因 发现以下日志文件都是 阅读全文
posted @ 2022-05-12 11:30 dch_21 阅读(51) 评论(0) 推荐(0)
Semantic analysis exception - expect equality expression (i.e., only use '=' and 'AND') for join condition without mapjoin hint
摘要：原链接 问题描述 Dataphin的SQL任务中使用left join时报错：“ODPS-0130071:[4,4] Semantic analysis exception - expect equality expression (i.e., only use '=' and 'AND') for 阅读全文
posted @ 2022-04-01 14:29 dch_21 阅读(3304) 评论(0) 推荐(0)
hive修改字段类型
摘要：maxcompute开启全表扫描 set odps.sql.allow.fullscan=false/true 阅读全文
posted @ 2022-02-10 13:39 dch_21 阅读(761) 评论(0) 推荐(0)
datax同步mysql8数据报错
摘要：错误内容 原因 发现mysql的驱动jar包只有5.x的 解决方式 在/local/etc/datax/plugin/reader/mysqlreader/libs下添加mysql8的驱动jar包/usr 阅读全文
posted @ 2021-10-19 20:37 dch_21 阅读(240) 评论(0) 推荐(0)
Line Separator切换
摘要：在window编写好的shell脚本时，一定要记得将行分隔符切换为LF，不然会报错！！！！！！！ 阅读全文
posted @ 2021-10-18 23:13 dch_21 阅读(36) 评论(0) 推荐(0)
Distinc window functions are not supported
摘要：现象 spark 不支持count(distinct)开窗 解决方案 size（） + collect_size() over() 阅读全文
posted @ 2021-10-18 23:06 dch_21 阅读(740) 评论(0) 推荐(0)
Job for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for details.
摘要：场景描述 今天重新装了一次centos7，准备配置一下静态ip。配置完以后重启网络，但是报了这个错 原因 我把HWADDR给删了，HWADDR就是MAC地址，重新加进去即可 解决办法 键入ip addr找到mac地址重新加入/etc/sysconfig/network-scripts/ifcfg-e 阅读全文
posted @ 2021-09-05 16:18 dch_21 阅读(256) 评论(0) 推荐(0)
记一次以socket作为源时不出结果的错误
摘要：场景 将Stu1（name：String,location:String,time:Long）按名字分组并转为Stu2（name：String，location_time:String） 以fromElements获取源没问题 import org.apache.flink.streaming.ap 阅读全文
posted @ 2020-10-28 15:00 dch_21 阅读(85) 评论(0) 推荐(0)
记一次Idea 本地跑Flink程序时出现Hadoop is not in the classpath/dependencies.
摘要：场景 Flink消费kafka中的数据每小时落地一次至HDFS并以avro格式进行存储 问题如下 Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution faile 阅读全文
posted @ 2020-10-20 21:12 dch_21 阅读(2069) 评论(0) 推荐(0)