使用Apache Seatunnel跨境(低带宽丢包率高网络)同步postgres数据表

sync postgres dataa cross-border with apache seatunnel

将杭州的一张表每天定时增量同步一次到新加坡的同一张表,如何稳定可靠的解决问题呢?

首先这个场景不需要准时同步,所以并不考虑CDC方案,postgres内置的复制功能对网络要求比较高,容错性不够好。查阅资料后决定尝试下 Seatunnel: https://seatunnel.apache.org/ 过程比较简单,2个小时内完成了任务,中间遇到了字段格式的问题,花了点时间找解决方案, 但最终达到了预期的效果。

[Read More]

使用clickhouse来关联查询postgres数据库

Use clickhouse to query postgres database

在现代数据分析领域,不同的数据库系统各有优点。PostgreSQL(Postgres)因其强大的事务处理和灵活的查询功能而备受欢迎,而ClickHouse则以其超高速的OLAP查询性能著称。虽然Postgres擅长处理关系型数据并提供强大的ACID支持,但在大规模分析查询场景中,ClickHouse显然更具优势。如果我们能在分析过程中将两者结合起来,就能同时利用Postgres的数据管理和ClickHouse的查询性能。

本文将介绍如何通过ClickHouse来关联查询Postgres数据库的数据,实现两种数据库的无缝对接。

[Read More]