ข้อมูลเป็นสิ่งที่จับต้องไม่ได้ ไม่มีรูปลักษณ์ ไม่มีน้ำหนัก มีแต่ข้อมูลที่เป็นค่า Binary บันทึกไว้ในคอมพิวเตอร์ แต่เราจะวัดค่าหรือ ใช้อะไรในการประเมิณ (Measure) ข้อมูลที่เรามีอยู่ เพราะการวัดค่าหรือประเมิณข้อมูล มีส่วนช่วยให้เราตรวจสอบคุณภาพของข้อมูลได้ง่ายขึ้นและเป็นหนึ่งในขั้นตอนการทำ Data Quality คำถามนี้กูรูด้าน Data คุณเบนซ์ ธนภัทร ซู Data Engineer จาก SCB TechX ช่วยหาคำตอบมาให้แล้วอ่านง่ายๆเพียง 1 นาทีค่ะ
การ Shape Data หรือการทำ Data Dimensions และ Attributes เป็นหนึ่งใน Framework ที่ช่วยให้เราเข้าใจ ลักษณะของข้อมูลและคุณภาพของข้อมูลเพื่อที่จะกำหนดกฎเกณณ์ในการทำ Data Quality หรือที่เรียกว่า Data Quality Specification (DQS) ซึ่งเราสามารถทำ Data Dimensions / Attributes อย่างง่ายๆ ได้ดังนี้
- การทำ Data Attributes ต้องประกอบไปด้วย
- Type เราต้องรู้ประเภทของข้อมูลว่าเป้น Numeric, Character, String ฯลฯ
- Meta ต้องรู้ข้อมูลต่างๆ (Metadata) ที่มีความเกี่ยวข้อง กับ Datum เช่น ความหมายของข้อมูลนี้ (data definition), ประเภทของข้อมูล (classification), ที่มาของข้อมูล(origination)
- Owner ต้องมีบุคคล หรือ หน่วยงานที่เกี่ยวข้อง ที่มีความรู้เฉพาะเกี่ยวกับข้อมูลนั้นๆ
- Steward ต้องมีผู้ดูแลข้อมูล (Data Steward) ในที่นี้อาจเป็น Data Engineer Team มีหน้าที่คอยบริหารจัดการข้อมูลรวมถึงกระบวนการที่เรียกว่า ดูแลจัดการ (Curation)
- Security ต้องมีการรักษาความปลอดภัยของข้อมูล
- Policy ต้องมีแนวทางและกฎเกณฑ์ ในการใช้ข้อมูล
- การทำ Data Dimensions ประกอบไปด้วย
- Completeness ข้อมูลมีค่าต่างๆหรือไม่มี จะกำหนดได้ 2 แบบ คือ Mandatory และ Optional
- Timeliness เป็นตัวกำหนดข้อมูลว่าอัพเดท หรือ ไม่อัพเดท (freshness or staleness)
- Accuracy เป็นการตรวจสอบข้อมูลมีความถูกต้อง และเที่ยงตรง
- Precision จะใช้กับข้อมูลที่เป็นตัวเลขว่าเป็น ทศนิยมกี่ตำแหน่ง หรือ จำนวนเต็ม
- Conformity เป็นตัวกำหนดค่ามาตรฐานที่ใช้กับข้อมูล
- Congruence การประมาณค่าสอดคล้องกัน หรือ แตกต่างกันในช่วงเวลาที่แตกต่างกัน
- Collection การจัดหมวดหมู่ของข้อมูล
- Cohesion ความสัมพันธ์ของข้อมูลระหว่าง Datum
Data Dimensions / Attributes ต่าง ๆ ข้างต้นนี้มีความสำคัญต่อข้อมูล เป็นพื้นฐานในการทดสอบและตรวจสอบคุณภาพข้อมูล (Data quality test)
อย่างไรก็ดีหากท่านกำลังมองหา Solution ด้านการจัดการข้อมูลแบบครบวงจร SCB TechX ยินดีให้คำปรึกษา หรือจัดการด้านข้อมูล Data Platform ให้แก่องค์กรของท่าน โดยสามารถสอบถามเข้ามาได้เลยที่ contact@scbtechx.io