Tech Tips for Life: งานง่ายขึ้นไวขึ้นด้วย Apache Spark

ไทย

การทำงานที่ใช้ข้อมูลขนาดใหญ่เป็นงานที่ท้าทาย วันนี้คุณนัท เจษฎา Data Scientist จาก SCB TechX ขอแนะนำเครื่องมือ Apache Spark ที่ช่วยให้การทำงานง่ายและเร็วขึ้น พร้อมรองรับการเขียนโค้ดได้หลายภาษา อาทิ R, SQL, Python, Scala, Java เพื่อจัดการกับงานฝั่ง Data Engineering, Data Science และ Machine Learning โดยทำงานได้บนเครื่องคอมพิวเตอร์เครื่องเดียวหรือกระจายไปยังเครื่องอื่น ๆ ก็ได้ ซึ่งองค์ประกอบหลักของ Apache Spark มีดังนี้

มี Spark SQL + DataFrames ที่ใช้ประมวลผลข้อมูลที่มีโครงสร้างชัดเจน (Schema) โดยจะทำผ่าน DataFrames โดยใช้ภาษา SQL ในการประมวลผล และมีการทำงานแบบกระจายไปหลายเครื่องได้เพื่อเพิ่มความเร็ว
มี Streaming ใช้สำหรับประมวลผลข้อมูลที่ไหลเข้ามาเรื่อยๆ (Stream) แบบ Real Time โดยสามารถใช้งานกับแหล่งข้อมูลที่หลากหลายได้เช่น HDFS, Flume และ Kafka
มี Mlib ช่วยในการทำ Machine Learning จากข้อมูลขนาดใหญ่ รองรับการกระจายการทำงานไปหลายๆเครื่องคอมพิวเตอร์ เพื่อให้ทำงานได้เร็วขึ้น (Scale)
มี GraphX ที่มาพร้อมกับ Library ใช้สร้างกราฟและคำนวณค่าต่าง ๆ จากข้อมูลที่มีความสัมพันธ์กัน
มี Spark Core API เป็นตัวหลักของ Spark โดยมีการสร้างฟังก์ชันการทำงานต่าง ๆ เพื่อรองรับภาษาที่หลากหลาย

ส่วนประโยชน์ของการใช้งาน Apache Spark นั้นขอลิสข้อหลัก ๆ 3 ด้านคือ

ด้านความเร็ว Spark สามารถทำงานได้เร็วกว่า Hadoop 100 เท่า โดยใช้ประโยชน์จากการประมวลผลใน Memory และการเพิ่มประสิทธิภาพจากด้านอื่น ๆ
ด้านการใช้งาน Spark นั้นง่ายต่อการใช้งานผ่าน APIs สำหรับการจัดการเซตข้อมูลขนาดใหญ่ผ่าน Dataframes
ด้านเครื่องมือ มีเครื่องมือและ Library ที่รองรับการทำงานได้อย่างหลากหลายและครบวงจร จึงทำให้ง่ายต่อการทำงานตั้งแต่นำข้อมูลเข้าระบบจนนำไปสู่การทำ Machine Learning ได้

ท้ายนี้บริษัทได้เปิดตัวบริการด้าน Data Platform แบบครบวงจรแล้ว หากท่านใดสนใจให้บริษัทเป็นที่ปรึกษา หรือช่วยจัดการด้านข้อมูลให้แก่องค์กรต่างๆ สามารถส่งรายละเอียดมาได้เลยนะคะที่  contact@scbtechx.io 😊

Related Content

  • ทั้งหมด
  • Blogs
  • Insights
  • News
    •   Back
    • Careers
    • Data Science
    • Lifestyle
    • Product
    • Strategy
    • Technology
    • User Experience
    • xPlatform
    • DevOps
    •   Back
    • PointX Products
    • Events
    • Others
    • Leadership
    • Partnership
    • Services & Products
    • Joint ventures
    •   Back
    • Blockchain
    • Finance
    • Tech innovation

Your consent required

If you want to message us, please give your consent to SCB TechX to collect, use, and/or disclose your personal data.

| การเพิกถอนความยินยอม

หากคุณต้องการเพิกถอนการให้ความยินยอมในการเก็บรวบรวม ใช้ และ/หรือเปิดเผยข้อมูลส่วนบุคคล กรุณาส่งคำร้องหาเรา

Vector

Message sent

We have receive your message and We will get back to you shortly.