zhaojiew10学习记录

摘要： 创建连接时填写本地私有ip地址，选择网络配置 配置任务选择kafka作为数据源 但是执行任务时日志显示连接失败 文档提到只能用加密通信 如果您希望与 Kafka 数据源建立安全连接，请选择 Require SSL connection (需要 SSL 连接)，并在 Kafka private CA 阅读全文

摘要： kafka消费者 消费者的消费方式为主动从broker拉取消息，由于消费者的消费速度不同，由broker决定消息发送速度难以适应所有消费者的能力 拉取数据的问题在于，消费者可能会获得空数据 消费者组工作流程 Consumer Group（CG）：消费者组 由多个consumer组成。形成一个消费者组 阅读全文

摘要： zookeeper中存储的kafka信息 /brokers/ids，记录存在的服务器id/brokers/topics/test/partitions/0/state，记录leader和可用副本服务器/comsumers，0.9版本之前存储消费者的offset信息，但是会产生zookeeper和br 阅读全文

摘要： 参照之前的笔记配置airflow环境。 在ec2上配置和安装airflow 启动Ubuntu实例 #ubuntu2004 image_id=ami-0ee5d3b4bc88442f4 # 启动在公有子网 aws ec2 run-instances --image-id $image_id \ --i 阅读全文

摘要： 参考资料 https://blog.csdn.net/TZ845195485/article/details/119745735 Redis单线程和多线程问题的背景 Redis里程碑版本迭代 Redis的单线程 主要是指Redis的网络IO和键值对读写是由一个线程来完成的，Redis在处理客户端的请 阅读全文

摘要： 突发奇想，既然cloudformation堆栈支持嵌套，即在堆栈中创建堆栈，那么如果在模板中指定创建堆栈自身会发生什么呢？ 反正cloudformation只要不创建资源就不收费，索性尝试下。 使用以下模板上传到指定的s3桶中，之后将TemplateURL替换为s3的https路径，并重新上传到s3 阅读全文

摘要： 参考资料 https://docs.aws.amazon.com/zh_cn/eks/latest/userguide/managing-ebs-csi.html https://github.com/kubernetes-csi/external-snapshotter https://aws.a 阅读全文

摘要： 参考资料 https://www.bilibili.com/video/BV1WK41117dAhttps://www.elastic.co/cn/beats/filebeat filebeat概述 es提供了众多的beat模块用于数据采集，filebeat用于采集日志 日志格式组件框架Audit 阅读全文

摘要： 参考资料 https://docs.aws.amazon.com/zh_cn/lambda/latest/dg/lambda-java.htmlhttps://aws.amazon.com/cn/blogs/compute/building-serverless-java-applications- 阅读全文

摘要： 参考资料 https://docs.aws.amazon.com/zh_cn/elasticbeanstalk/latest/dg/AWSHowTo.cloudwatchlogs.html 查看您的 Elastic Beanstalk 环境中的 Amazon EC2 实例的日志 https://do 阅读全文