Tech Tips วันนี้ได้รับเกียรติจาก คุณกัน กันดิศ Data Engineer ของ SCB TechX มาร่วมแชร์ความรู้เกี่ยวกับการจัดการ Data โดยจะเห็นว่าการสร้าง Data Platform เพื่อเป็นแหล่งรวมศูนย์ข้อมูลในโลก Big Data นั้นมีหลายรูปแบบ เช่น การทำ Data Warehouse และ Data Lake ซึ่งต่างก็มีข้อดีข้อเสียแตกต่างกัน ด้าน Data Warehouse นั้นสามารถรวบรวมข้อมูลที่เป็น Structured Data (ข้อมูลรูปแบบตาราง) ได้หลายวิธี โดยเราสามารถนำข้อมูลออกมาวิเคราะห์ทำ Dashboard ได้รวดเร็วทันที แต่พอมายุคของ AI และ Machine Learning (ML) ได้มีการพัฒนา Data Lake ขึ้นมาให้สามารถรวมศูนย์และวิเคราะห์ข้อมูลที่ซับซ้อนอย่าง Unstructured Data และ Semi-Structured Data ได้ โดยเปลี่ยนวิธีการเก็บข้อมูลจากเดิมที่ส่งเข้า Warehouse ตรงเป็นการรวมศูนย์ข้อมูลไว้ที่ Data Lake ก่อนที่จะ Load ลง Warehouse เพื่อใช้งาน แต่มีข้อเสียด้านระบบที่มีความความซับซ้อน และการจัดการด้าน Data Governance ที่ทำได้ยากขึ้น อย่างไรก็ดีทุกวันนี้มีทางออกใหม่ที่รวมข้อดีของทั้ง 2 วิธีเอาไว้ให้แล้ว นั่นคือ “Data Lakehouse” ซึ่งจะช่วยเราในด้านอะไรบ้างมาดูกันเลย

1. สามารถจัดการข้อมูลแบบรวมศูนย์ได้ในที่เดียว (Unified Data Management) ทั้ง Structured Data และ Unstructured Data สามารถดึงข้อมูลเพื่อทำ Report ได้ง่าย เหมือน Data Warehouse รวมถึงสามารถติดตามการเปลี่ยนแปลงข้อมูลได้ด้วย (Logging & Time Travel)

2. สามารถเพิ่มและลดพื้นที่การเก็บข้อมูลแยกออกจากระบบประมวลผลได้ทำให้สามารถปรับแต่ง Resources ได้ตามความต้องการขององค์กร (Cost-effective)

3. ตัวข้อมูลภายในไฟล์ สามารถควบคุมการเข้าถึงได้จาก Metadata บน Lake House Platform โดยตรงไม่จำเป็นต้อง Load ลง Data Warehouse (ลดปัญหาด้าน Data Governance)

Tips ของการ Implement Data Lakehouse นี้ ช่วยให้เราใช้ Open Source Tools อย่าง Spark และ Deltalake ร่วมกับ Cloud Provider เจ้าใดก็ได้เพื่อทำ Lakehouse ของตัวเองด้วยน้า ท้ายนี้หากเพื่อนๆสนใจข้อมูลดีๆด้าน Data Science โปรดกดติดตามเพจได้เลยนะคะเราจะคอยแชร์เทคนิคความรู้ดีๆด้านเทคฯให้เพื่อนๆบ่อยๆค่า 😊