ในปัจจุบันหลายองค์กรกำลังเผชิญหน้ากับความท้าทายหลายอย่าง การที่จะขึ้นเป็นผู้นำธุรกิจในแต่ละอุตสาหกรรมได้นั้นจะเป็นต้องใช้ทรัพยากรหลายอย่างเพื่อให้องค์กรสามารถขับเคลื่อนผ่านอุปสรรคต่าง ๆ ไปได้อย่างราบรื่น ซึ่งในทางทฤษฎีนั้นสิ่งที่จะมาตอบโจทย์แก้ปัญหาเหล่านี้จนสามารถยกระดับองค์กรให้เหนือกว่าคู่แข่งในตลาดได้คงหนีไม่พ้นคำว่า “เทคโนโลยี” 

ซึ่งนับวันจะยิ่งมีการเปลี่ยนแปลงอย่างรวดเร็วมาก จนทำให้คนทั่วไปที่ไม่ได้เกาะติดความเปลี่ยนแปลงเหล่านั้นจะรู้สึกว่ากำลังตามเทคโนโลยีเหล่านั้นไม่ทัน จากปัญหาตรงนี้เองทำให้ผู้นำหลายองค์กรหันมาให้ความสำคัญในการนำเอาเทคโนโลยีใหม่ ๆ มาผนวกเข้ากับองค์กร 

โดยหนึ่งในนั้นคือการทำ “Data Driven Organization” หรือการนำเอา “Big Data” มาขับเคลื่อนองค์กร นับได้ว่าเป็นคำที่มาแรงมากในยุคนี้เพราะองค์กรไหนที่สามารถนำ “Big Data” ที่หลายคนกล่าวว่าเป็นสินทรัพย์ที่มีค่าเทียบเท่าทองคำมาประยุกต์ใช้งานก็จะสามารถเป็นผู้นำในอุตสาหกรรมได้อย่างง่ายดาย

ในทางทฤษฎีอาจจะไม่ได้เป็นเรื่องยากที่จะพัฒนาองค์กรด้วยกระบวนการวิเคราะห์ข้อมูล แต่ในความเป็นจริงแตกต่างจากแนวคิดอยู่มาก เนื่องจากปัญหาหลาย ๆ อย่างจนบางครั้งแทนที่จะเป็นการนำเทคโนโลยีมาช่วยพัฒนาองค์กรกลับกันจะกลายเป็นการฉุดรั้งองค์กรให้ช้าลง 

เป็นที่น่าสนใจว่าหนึ่งในปัญหาใหญ่ของงานด้านวิเคราะห์ข้อมูลคือความยากในการดึงเอาข้อมูลมาใช้งาน หรือการเข้าถึงข้อมูลที่ล่าช้าจนส่งผลให้งานที่ออกมาไม่ประสิทธิภาพมากนัก ทำให้เกิดแนวคิดในการสร้าง Data Architecture ที่ดีที่จะช่วยอำนวยความสะดวกตรงนี้มากขึ้นคือการทำ “Data Mesh” นั่นเอง

ดังนั้นวันนี้ DIGI จะพาทุกคนไปทำความรู้จักกับตัวช่วยสำหรับนักวิทยาศาสตร์ข้อมูลและนักวิเคราะห์คือ “Data Mesh” ว่าคืออะไร รวมไปถึงแนวคิดของการเกิด Data Mesh ว่ามันจะมาช่วยแก้ปัยหาด้านใด รวมไปถึงองค์ประกอบสำคัญของ Data Mesh ว่ามีอะไรบ้างจนไปถึงประโยชน์ของตัวมันกับองค์กรต่าง ๆ

“Data Mesh” คืออะไร รวมไปถึงมีที่มาที่ไปอย่างไร?

จากที่กล่าวไปข้างต้นปัญหาหลักขององค์กรที่นำ “Big Data” มาช่วยขับเคลื่อนองค์กรนั่นคือความยากในการดึงเอาข้อมูลมาเพื่อใช้ในกระบวนการต่าง ๆ ซึ่งถ้ามาลองดูต้นตอของปัญหาส่วนใหญ่จะมาจากที่โครงสร้างสถาปัตยกรรมการจัดเก็บข้อมูลรวมไปถึงกระบวนการเข้าถึงข้อมูลในองค์กรยังเป็นอุปสรรคและไม่เอื้ออำนวยต่อการใช้งานจริงของนักวิทยาศาสตร์ข้อมูลและนักวิเคราะห์ข้อมูล 

ซึ่งโครงสร้างสถาปัตยกรรมข้อมูลหรือ “Data Architecture” เปรียบได้กับโครงสร้างพื้นฐานสำหรับองค์กรที่ขับเคลื่อนด้วยการใช้เทคโนโลยีด้านข้อมูล ซึ่งในปัจจุบันปัญหาที่หลายองค์กรเจอคือโครงสร้างขององค์กรไม่ถูกออกมาแบบมาให้รองรับการใช้งานในกระบวนการจัดเก็บข้อมูล การดึงข้อมูลเพื่อนำไปใช้งานต่อ ส่งผลให้ Data Architecture ที่เปรียบได้กับแผนผังของบ้านที่ควรจะมีความแข็งแรงและไม่ซับซ้อน กลายเป็นความยุ่งเหยิงและเป็นอุปสรรคในการทำงานดังนั้นวิศวกรข้อมูลจึงต้องมีการออกแบบโครงสร้างที่งานต่อการใช้งานซึ่งคำตอบของการแก้ปัญหาคือ “Data Mesh”

“Data Mesh” คือแนวคิดในการจัดการโครงสร้างการจัดเก็บข้อมูล การวิเคราะห์ข้อมูลให้อยู่ในรูปแบบของการกระจายศูนย์ (Decentralized) เพื่อยกระดับในการจัดการข้อมูลให้มีประสิทธิภาพมากยิ่งขึ้น โดยแนวคิดนี้เกิดขึ้นจากการเก็บข้อมูลแบบรวมศูนย์ (Centralize) ที่มักจะเกิดปัญหาในการจัดเก็บที่ไม่เป็นระบบระเบียบ ขาดการดูแลควบคุมข้อมูล ทำให้กระบวนการเข้าถึงข้อมูลเพื่อนำมาใช้งานมีความยากและซับซ้อน ทำให้ประสิทธิภาพขององค์กรลดลง 

ซึ่ง Data Mesh Architecture จะมีโครงสร้างเชื่อมต่อกันระหว่างโครงข่ายของ Data คล้ายกับเส้นใยผ้า โดยในแต่ละจุดของโครงข่ายคือการกระจายศูนย์การเก็บและการจัดการข้อมูลให้แต่ละแผนกขององค์กรเป็นผู้ดูแลข้อมูลเหล่านั้น จุดกำเนิดแนวคิดนี้มาจากการมองเห็นว่าบุคคลากรในแต่ละแผนกจะเป็นผู้ที่คุ้นเคยกับข้อมูลที่เกิดขึ้นที่สุด ดังนั้นการให้ผู้ที่มีความรู้เข้าใจในข้อมูลเป็นอย่างดีเป็นคนรับผิดชอบจะทำให้การจัดเก็บ การใช้งานข้อมูล และการกระจายข้อมูลเป็นไปอย่างมีประสิทธิภาพ

ที่มา: https://developer.confluent.io/learn/data-mesh/

กระบวนการที่เกี่ยวข้องกับ Data Mesh 

ที่มา: https://data.world/solutions/data-mesh/

กระบวนการเกิด “Data Mesh” โดยหลักการแล้วจะเป็นการให้บุคคลากรในแต่ละแผนกขององค์กรมีหน้าที่รับผิดชอบข้อมูลต่าง ๆ ที่เกิดขึ้นตั้งแต่กระบวนการสร้างข้อมูล กระบวนการจัดเก็บ กระบวนการกำหนดการเข้าถึงข้อมูลรวมไปถึงการกระจายข้อมูล ซึ่งจะสังเกตได้ว่าจะประกอบไปด้วย 4 กระบวนการใหญ่โดยมีรายละเอียดดังนี้

1.Domain Ownership

เป็นกระบวนการแรกเริ่มของการเกิดข้อมูลโดยข้อมูลเกิดขึ้นที่ส่วนใดขององค์กร ส่วนนั้นก็จะเป็นข้อมูลเหล่านั้น ซึ่งจะมีหน้าที่ในการรับผิดชอบดูแลเรื่องต่าง ๆ ซึ่งตรงนี้ก็จำเป็นต้องอาศัยความรู้ในการวางระบบโครงสร้างในการรองรับข้อมูลจากวิศวกรข้อมูลเพื่อมาจัดการระบบตรงนี้ให้ง่ายสำหรับคนใช้งาน

2.Data as a Product

มุมมองสำหรับข้อมูลนั้นเปรียบเสมือนกับสินค้าชนิดหนึ่งที่เราจะสามารถเลือกซื้อหาได้อย่างอิสระด้วยการค้นหาแล้วนำมาต่อยอดใช้งานเพื่อให้เกิดประโยชน์กับองค์กรหรือผู้มีส่วนได้เสียคนอื่น ๆ

3.Self-serve data infrastructure as a platform

เป็นการออกแบบโครงสร้างพื้นฐานให้เหมาะสมกับการใช้งานข้อมูลโดยเน้นไปที่ให้ผู้ใช้งานข้อมูลสามารถค้นหาข้อมูลแล้วดึงข้อมูลเหล่านั้นมาใช้งานได้ตนงเองโดยไม่ต้องพึ่งคนที่มีความรู้หรือเจ้าของข้อมูลโดยข้อมูลที่ได้จะนำไปใช้ในกระบวนการสร้าง Model ทำ Analysis ไปจนถึงการวิเคราะห์ร่วมกับการทำธุรกิจคือการทำ Business Intelligence

4.Federated computational governance

ส่วนสุดท้ายเป็นกระบวนการควบคุมระบการเข้าถึงข้อมูลเพื่อเป็นการกำหนดว่าบุคคลใดหรือแผนกไหนสามารถเข้าถึงข้อมูลเหล่านี้ได้บ้างโดยจะเป็นหน้าของเจ้าของข้อมูลในการควบคุมสิทธิในการเข้าถึงข้อมูลเพื่อความปลอดภัยของข้อมูลเอง

ประโยชน์ของ Data Mesh ในเชิงธุรกิจ 

ประโยชน์ในการทำ Data Mesh ต่อองค์กรในเชิงของการทำธุรกิจนั้นจะเน้นไปที่การส่งเสริมให้องค์กรสามารถขับเคลื่อนไปตามวิสัยทัศน์ของผู้นำได้โดยประโยชน์ส่วนใหญ่จะประกอบไปด้วย 3 ข้อได้แก่

1.ช่วยทำให้ Data Driven Organization มีความชัดเจนมากขึ้น

เนื่องจากคำว่า Data Driven Organization มักจะเป็นคำที่มาจากมุมของผู้บริหาร แต่ในการปฏิบัติจริงนั้นมีปัญหาที่มองไม่เห็นอยู่มาก ซึ่ง “Data Mesh” มีส่วนในการทำให้องค์กรสามารถดึงประสิทธิภาพของข้อมูลออกมาได้อย่างสูง ทำให้บุคคลากรในองค์กรสามารถนำข้อมูลมาใช้ได้คุ้มค่ากับเงินทุนที่ใช้จ่่ายไปเพื่อพัฒนาเทคโนโลยีด้านนี้

2.สร้างวัฒนธรรมองค์กรแห่งการแบ่งปัน

การทำ Data Mesh หัวใจสำคัญคือการที่แต่ละฝ่ายสามารถแบ่งปันข้อมูลให้แต่ละทีมได้ ซึ่งตรงจุดนี้จะส่งเสริมให้แต่ละทีมมีความรับผิดชอบต่อข้อมูลของตนเอง และสนันสนุนให้ทุกฝ่ายในองค์กรมองภาพข้อมูลไปในทิศทางเดียวกันรวมไปถึงเมื่อเกิดปัญหาก็จะสามารถช่วยกันแก้ปัญหาได้อย่างมีประสิทธิภาพ

3.การควบคุมและการจัดการข้อมูลมีความชัดเจน

เมื่อปล่อยให้แต่ละแผนกซึ่งเป็นผู้ที่มีความคุ้นเคยกับข้อมูลมากที่สุดเป็นเจ้าของข้อมูลและควบคุมสิทธิในการเข้าถึงข้อมูลรวมไปถึงสามารถกำกับข้อมูลได้อย่างเต็มที่ส่งผลให้ข้อมูลได้มีการจัดระเบียบเรียบร้อย ลดโอกาสการนำข้อมูลที่นับได้ว่าเป็นหนึ่งในทรัพย์วินที่มีค่าของบริษัทไปใช้ในทางที่ผิด

สรุป

การสร้าง Data Architecture ก็เหมือนกับการสร้างบ้านถ้าเราสร้างโครงสร้างไม่ดี ออกแบบไม่ตอบโจทย์กับความต้องการก็จะไม่เหมาะให้คนจะใช้งานหรืออาศัยอยู่ ซึ่งถ้าเปรียบกับ Data ก็คือการเก็บ Data ไม่มีความเป็นะรเียบ การจะดึงออกมาใช้งานก็เป็นไปอย่างยากลำบาก หากเรามีโครงสร้างการจัดการข้อมูลอย่าง Data Mesh มาช่วยจัดการข้อมูลก็จะทำให้ผู้ใช้งานสามารถทำงานได้อย่างง่ายดาย งานที่ออกมาก็ดีมีประสิทธิภาพตอบโจทย์กับธุรกิจ