摘要：配置和状态文件通过提供身份验证信息，开始时间和有关以前调用的信息，帮助为Taps和Targets提供上下文 配置文件 配置文件包含tap 运行需要的信息，通常包含API，以及数据源的凭据 特殊字段 start_data ,首次同步时候使用，指定数据同步的范围 user_agent 提供方便的问题解决 阅读全文

摘要：sync 模式是属于tap 的操作，同步模式下，tap 需要提交 schema、 record 、state message， singer 指南对于每种 类型有详细的说明 streams 每个stream 的metadata 包含了详细的用来进行sync 操作的控制说明 replication 方 阅读全文

摘要：singer 的target 需要从stdin 的行数据，同时处理schema、record、state 消息 指南 schema 需要进行关联stream records 数据的校验 一旦Target处理了State消息之前流中出现的所有数据，就将状态消息写入stdout。请注意，尽管State消 阅读全文

摘要：如何没有找到适合的tap，那么我们可以自己开发一个 hello world tap 仅仅是一个程序，我们可以使用任何语言进行编写，根据singer 指南，输出数据到stdout 即可，实际上一个简单的 demo，可以直接使用命令行工具，不需要编写任何代码 内容 printf '{"type":"SC 阅读全文

摘要：接上文： Singer 学习六 运行&&开发taps、targets (一 taps 运行说明) 说明target 需要tap 进行配合运行，所以需要了解tap 的使用 运行target 创建tap 可以参考上文 (1). 创建一个python3 的虚拟环境，并激活 python3 -m venv 阅读全文

摘要：文章内容来来自官方github 说明: singer大部分的taps && targets 是用python编写的，所以内容里面的代码也是使用python 编写 使用python运行singer 运行singer 必须安装python 3.5 以及以上的版本，推荐的方式是使用python 的virt 阅读全文

摘要：介绍过一个工具knots ，方便Singer 可视化开发的工具，但是默认这个工具包含的tap 以及target 比较少（可以自己扩展） 同时这个工具就是基于docker 运行的 docker 运行的几点说明 使用交互模式 开发环境建议使用数据卷挂载的模式 生产环境我们可以直接按照tag 进行打包 d 阅读全文

摘要：Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者 是文件 备注： 测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上 环境准备 docker-compose 文件 阅读全文

摘要：Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者 是文件 备注： 测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上 环境准备 docker-compose 文件 阅读全文

摘要：Singer 因为版本的问题，推荐的运行方式是使用virtualenv，对于taps&& target 的运行都是 推荐使用此方式，不然包兼容的问题太费事了 备注： 使用docker-compose 运行数据库服务 环境准备 docker-compose 文件 数据库准备 version: "3" 阅读全文

摘要：singer 是一个强大，灵活的etl 工具，我们可以方便的提取web api，file，queue，基本上各种你可以想到的 数据源。 singer 有一套自己的数据处理规范， taps， targets，同时官方提供了好多taps（好多是基于api 的），而且 在这个api first 的开发时代 阅读全文