Simple-Sir - 博客园

初识kafka 之分区策略

摘要： kafka 分区策略 1.指明partition的情况下，直接将指明的值作为partition值；例如partition=0，所有数据写入分区02.没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值；例如：key 阅读全文

posted @ 2022-04-14 15:23 Simple-Sir 阅读(846) 评论(0) 推荐(0)

初识kafka 之本地IDEA发送消息(区分同步、异步，是否带回调函数)

摘要：基础环境 kafka集群 bigdata01、bigdata02、bigdata03、bigdata04、bigdata05 pom配置  <dependency> <groupId>org.apache.kafka</groupId> <artifactId> 阅读全文

posted @ 2022-04-14 11:57 Simple-Sir 阅读(732) 评论(0) 推荐(0)

hadoop 之 spark on yarn 安装

摘要：目录规划 Hadoop、spark都放在/apps下。附：Hadoop HA(高可用) 详细安装步骤角色规划官网下载 https://spark.apache.org/downloads.html 压缩包存放目录 /apps/software/spark-3.0.1-bin-hadoop2.7 阅读全文

posted @ 2022-01-17 18:00 Simple-Sir 阅读(840) 评论(0) 推荐(0)

linux 之虚拟机基础环境配置(固定IP)

摘要：虚拟机 linux 虚拟机网络设置 linux系统网卡配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet BOOTPROTO=none DEFROUTE=yes PEERDNS=yes PEERROUTES=no IPV4_F 阅读全文

posted @ 2022-01-11 15:19 Simple-Sir 阅读(217) 评论(0) 推荐(0)

linux 之 mysql数据库备份与恢复

摘要：备份 mysqldump -uroot -p123 --databases test > ~/test.sql --databases 指定数据库恢复 mysql -uroot -p123 < ~/test.sql 阅读全文

posted @ 2021-12-29 10:34 Simple-Sir 阅读(101) 评论(0) 推荐(0)

linux 之导出远程oracle数据库表结构及数据

摘要：导出用户下所有表结构及数据 exp 用户名/密码@ip/数据库 file=文件路径/文件名.dmp owner='用户' 导出用户下所有表结构，不导出数据 exp 用户名/密码@ip/数据库 file=文件路径/文件名.dmp owner='用户' rows=n 导出指定表结构及数据 exp 用户名阅读全文

posted @ 2021-12-28 15:11 Simple-Sir 阅读(855) 评论(0) 推荐(0)

hadoop 之 hadoop2.7.7升级到hadoop2.8.5

摘要：服务器规划准备阶段停服务 stop-yarn.sh stop-dfs.sh 备份备份NameNode目录 101,102操作 hdfs-site.xml中的 dfs.namenode.dir vi /app/hadoop-2.7.7/etc/hadoop/hdfs-site.xml <prop 阅读全文

posted @ 2021-12-23 10:26 Simple-Sir 阅读(363) 评论(0) 推荐(0)

linux 之 expect 交互操作（自动输入密码）

摘要：场景需要实现执行一个命令，并自动输入密码。实现通过expect命令实现 spawn 交互程序开始后面跟命令或者指定程序expect 获取匹配信息匹配成功则执行expect后面的程序动作(当出现expect后面的字符串时，就执行后续的命令)send exp_send 用于发送指定的字符串信息ex 阅读全文

posted @ 2021-12-15 15:05 Simple-Sir 阅读(1994) 评论(0) 推荐(0)

hadoop 之 nodemanager自动关闭（Secure IO is not possible without native code extensions）

摘要：场景安装好hadoop之后，nodemanager自动关闭。查看日志如下： java.lang.ExceptionInInitializerError at org.apache.hadoop.yarn.logaggregation.AggregatedLogFormat$LogValue.sec 阅读全文

posted @ 2021-12-03 10:39 Simple-Sir 阅读(851) 评论(1) 推荐(0)

初识python 之 smtplib 发送(dolphinscheduler任务监测)邮件

摘要：需求监测dolphinscheduler调度系统，任务执行异常情况。如有异常，则发送邮件通知。处理思路因DS本身自带的邮件发送功能，不能正常发送邮件。故而，通过查询DS源数据表，获取当前任务执行情况。将获取结果，使用python发送邮件。通过shell脚本获取执行情况，并将结果保存到本地。阅读全文

posted @ 2021-11-10 09:41 Simple-Sir 阅读(722) 评论(0) 推荐(0)