จะดึงข้อมูลยังไงดี? Batch, Streaming, Push หรือ Pull
Data Ingestion คือกระบวนการ “พาข้อมูลจากต้นทาง (Source) เข้าสู่ระบบปลายทาง (Data Platform) เช่น Database, Data Warehouse, Data Lake หรือระบบ Analytics
การออกแบบ Ingestion จะคิดจาก 2 เรื่องหลัก
* ข้อมูลเข้ามาบ่อยแค่ไหน
* ใครเป็นฝ่ายเริ่มส่งข้อมูล
1. Batch Processing
แนวคิด: