爱知菜的技术博客

摘要： Redshift的扩容的节点数不是随意可以配置的，而是和初始状态的集群节点数成比例关系： Resize大约3T的集群大概 20-30分钟，期间集群不可用（已经建立的数据库连接查询会卡住，新数据库连接无法建立）。 统计信息（STL_ANALYZE）reisze后会保留。 由于已经建立的数据库连接查询会 阅读全文

摘要： ​根据提示找到python3安装目录下的libs/site-pageages/web文件夹下template.py文件找到修改如下： return Template(open(path).read(), filename=path, **self._keywords) 修改为 return Temp 阅读全文

摘要： AWS官方文档：CodeDeploy AppSpec File reference - AWS CodeDeploy (amazon.com) appspec.yml中location指定的脚本文件 当CodeDeploy Agent执行location指向脚本文件的时候，有两点： 1. 脚本文件的 阅读全文

摘要： 最近使用Flask开发了一个网站的应用，要实现在iframe中嵌入一个来自不同域名的页面。在测试过程中，发现这个页面无法使用Http Get命令获取session中的键值。 经过调查发现了SameSite这个概念。这是谷歌对浏览器cookie增加的一个属性，后来成为了业界的标准。当SameSite等 阅读全文

摘要： EMR EMR使用场景：处理大量结构不一致的数据。 EMR node EBS加密：LUKS 或 EBS encryption EMR Hbase高可用：建额外的位于不同AZ的EMR Hbase read-replica cluster做高可用。 EMR master nodes批量初始化：1.cus 阅读全文

摘要： Kinesis Data Stream = KDS Kinesis Data Firehose = KDF Kinesis Data Analytics = KDA Kinesis Producer Library=KPL Kinesis Consumer Library=KCL KDF vs KD 阅读全文

摘要： Copy命令 Copy命令优化手段： 压缩， 2. 对大文件进行分割，一次copy多个文件。（文件数对应slice个数）3. 使用temporary staging table（这种方法的本质利用table的drop和create代替delete， update，insert，因为后者是DML会触发 阅读全文

摘要： Athena Athena查询隔离=Work Group, 可以control per-query data usage limit.Athena查询速度优化：1. 压缩 2. 列式存储 3. S3和Athena同一个RegionAthena查询成本优化：1.Partition by，2. 列式存储 阅读全文

摘要： 本文记述的事发生在2022年11月，环境是AWS China Region，不是AWS Gobal。 Elastic Beanstalk简称EB。 尝试把一个Python Flask Web部署到Elastic Beanstalk上去，过程中发现了AWS无论是中国区还是全球区的文档和实际情况不符。 阅读全文

摘要： ​ 数据导出限制 Export data from a Power BI visualization - Power BI | Microsoft Docs ​编辑 DataSet刷新频率限制 Data Refresh in Power BI - Ownership and the Refresh 阅读全文