shan_zhayidian

摘要： 查询当前MySQL的模式： select @@sql_mode; 根据需要设置模式，这里是将ONLY_FULL_GROUP_BY去掉： SET SESSION sql_mode=(SELECT REPLACE(@@sql_mode,'ONLY_FULL_GROUP_BY','')); 注意：这里的设 阅读全文

摘要： 最近使用zeppelin，设置脚本定时关闭重启，发现启动正常，但是无法登陆！！ 日志提示找不到 ./conf/shiro.ini 问题解决： 执行启动的脚本是在根目录上进行的，后台启动后会默认在当前目录下找 ./conf/shiro.ini文件，所以会提示找不到，进入zeppelin的bin目录后， 阅读全文

摘要： 目前实现的 Kafka 表，内部默认只会有一个消费者，这样会比较浪费资源并且性能达不到性能要求。一开始我们可以通过增大消费者的个数来增大消费能力，但社区的实现一开始是由一个线程去管理多个的消费者，多个的消费者各自解析输入数据并生成的 Input Stream 之后，会由一个 Union Stream 阅读全文

摘要： 1、单独杀掉指定任务 yarn队列阻塞了，kill掉阻塞任务 yarn application -kill application_1653456817054_0239 2、杀掉全部ACCEPTED 任务 for i in ' yarn application -list | grep -w ACC 阅读全文

摘要： clickhouse（导出为csv格式）：clickhouse-client -h 127.0.0.1 --database="db" --query="select * from db.test_table FORMAT CSV" > test.csv （不带表头）clickhouse-clien 阅读全文

摘要： 创建分布式表：create table IF NOT EXISTS hdfs_sex_csv1 ON CLUSTER enic_cluster ( id Int8, gender String, date Date )Engine=Distributed(enic_cluster, default, 阅读全文

摘要： shell系统时间，不同时间格式： 常用的有： date +%F 得到形如“2006-03-08”的日期 date +%T 得到形如“10:06:16”的时间 date +%F' '%T 得到形如“2006-03-08 10:06:16”的日期时间 date +%Y 得到年 2006 date +% 阅读全文

摘要： 链接数据库是报错：java.sql.SQLException: Access denied for user ''@'spring5' (using password: YES) 1、查看数据库链接的URL是否正确； 2、数据库链接的配置文件中username参数是否是系统使用，可以改成user； 阅读全文

摘要： 采集文件到HDFS 采集需求：**业务系统使用 log4j 生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到 hdfs **根据需求，首先定义一下三大要素： 采集源：即source——监控文件内容更新：exec ‘tail -F file’ 下沉目标，即sink——HDFS文件系 阅读全文

摘要： 重启hdfs namenode hadoop-daemon.sh stop namenode hadoop-daemon.sh start namenode 执行完之后，namenode可能会进入安全模式一段时间， 这时候可能会报错： name node is in safe mode 稍等一下重试 阅读全文