民宿

摘要： datax里所有的关系型数据库都走通用的处理Reader，com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader，当进行split的时候会进行切分获取channel的个数， public List<Configuration> split(Co 阅读全文

摘要： DataX介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同 阅读全文

摘要： 如何让ssh保持连接？ 有时候用ssh连接阿里云莫名奇妙断开了。怎么样才能保持连接呢？ 修改系统的链接参数: （1）修改/etc/ssh/sshd_config文件，找到 ClientAliveInterval 0和ClientAliveCountMax 3并将注释符号（"#"）去掉。 （2）将Cl 阅读全文

摘要： 我们不可能每次都用root账号登陆，root账号公认的不安全，所以，首先，禁止掉root账号的登陆。1.静止root账号登陆。$ vi /etc/ssh/sshd.conf （ssh服务的配置文件，直接修改） PermitRootLogin no ( 找到这一行，并将其改为 no ) 保存退出$ s 阅读全文

摘要： mysql采用嵌套循环的方式处理left join。 SELECT * FROM LT LEFT JOIN RT ON P1(LT,RT) WHERE P2(LT,RT) 其中P1是on过滤条件，缺失则认为是TRUE，P2是where过滤条件，缺失也认为是TRUE，该语句的执行逻辑可以描述为： FO 阅读全文

摘要： Savepoint 和 Checkpoint 都是使用 Asynchronous Barrier Snapshotting（简称 ABS）算法实现分布式快照的，都可以确保一致性、容错、故障恢复。何其相似乃尔，却又为何既生瑜，又生亮？是无心之举，还是有意为之？ 什么是 Checkpoint？ Flin 阅读全文

摘要： 生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的 实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkpoint 的细节。 通过本文，你能 get 到以下知识： Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生 阅读全文

摘要： 编者按 ClickHouse自从2016年开源以来便备受关注，主要应用于数据分析（OLAP）领域，各个大厂纷纷跟进大规模使用。百分点科技在某国家级项目建设中完成了多数据中心的ClickHouse集群建设，日增千亿数据量，在此基础上进行优化与性能调优，能够更好地解决部署规模扩大和数据量扩容等问题。本文 阅读全文

摘要： 编者按 ClickHouse自从2016年开源以来，在数据分析（OLAP）领域火热，各个大厂纷纷跟进大规模使用。百分点在某国家级项目中的完成了多数据中心的ClickHouse集群建设，目前存储总量超10PB，日增数据100TB左右，预计流量今年会扩大3倍。本文是结合百分点在前期设计中的经验对Clic 阅读全文

摘要： 作者简介 蔡岳毅，携程酒店大数据高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。 一、背景 1）携程酒店每天有上千表，累计十多亿数据更新，如何保证数据更新过程中生产应用高可用； 2）每天有将近百万次数据查询请求，用户可以从粗粒度国家省份城市汇总不断下钻到 阅读全文