使用Apache Seatunnel跨境(低带宽丢包率高网络)同步postgres数据表

sync postgres dataa cross-border with apache seatunnel

将杭州的一张表每天定时增量同步一次到新加坡的同一张表,如何稳定可靠的解决问题呢?

首先这个场景不需要准时同步,所以并不考虑CDC方案,postgres内置的复制功能对网络要求比较高,容错性不够好。查阅资料后决定尝试下 Seatunnel: https://seatunnel.apache.org/ 过程比较简单,2个小时内完成了任务,中间遇到了字段格式的问题,花了点时间找解决方案, 但最终达到了预期的效果。

[Read More]