摘要： 题目 解法 阅读全文

摘要： 题目 代码 收获 阅读全文

摘要： 往MySQL插入数据时，报错如下 因为emoji表情导致，有两种解决方法 一、过滤掉字段中的emoji 二、将表编码设置为utf8mb4 若需还原展示该字段，则建议此种方式。 阅读全文

摘要： Sqoop将MySQL表结构同步到hive orc格式的 阅读全文

摘要： flume在抽取MySQL数据到kafka时报错，如下 阅读全文

摘要： 实现 ZooKeeper服务有两种不同的运行模式。一种是“独立模式”（standalone mode），即只有一个ZooKeeper服务器。这种模式比较简单，适合于测试环境，但是不能保证高可用性和可恢复性。在生产环境中的ZooKeeper通常以“复制模式”（replicated mode）运行于一个 阅读全文

摘要： DataX写入ElasticSearch 1 快速介绍 数据导入elasticsearch的插件 2 实现原理 使用elasticsearch的rest api接口， 批量把从reader读入的数据写入elasticsearch 3功能说明 3.1配置样例 参数说明• endpoint• 描述：El 阅读全文

摘要： 操作 create：创建一个znode（必须要有父节点）delete：删除一个znode（该znode不能有任何子节点）exists：测试一个znode是否存在并且查询它的元数据getACL,setACL：获取/设置一个znode的ACLgetChildren：获取一个znode的子节点列表getD 阅读全文

摘要： ZooKeeper是一个具有高可用性的高性能协调服务。 数据模型 ZooKeeper维护着一个树形层次结构，树中的节点被称为znode。Znode可以用于存储数据，并且有一个与之相关联的ACL(Access Control List访问控制列表)。ZooKeeper被设计用来实现协调服务(这类服务通 阅读全文

摘要： DataX操作HDFS 读取HDFS 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile（text）、orc 阅读全文