Компьютерынхоо файлуудыг нэг хараад үзээрэй. New folder, New folder (2), final, final1, finalfinal эсвэл нэр усгүй wetransfer файлуудаар дүүрсэн байгаа биз. Эсвэл утасныхаа галерейг хараарай. Нэг өнцгөөс авсан хэдэн арван зураг эмхэрч цэгцрэхээ хүлээн ярайн байх вий.

Бидний ажил амьдрал дижитал болох тусам нэрлэх завдалгүй хадгалсан зураг бичлэг, хамгийн сүүлийн хувилбар аль нь болох нь мартагдсан файл хавтасны тоо нэмэгдсээр л байна. Нэмээд ашиглаж буй төхөөрөмжийн тоо ихсэх тусам хэрэгтэй файлаа хаана хадгалснаа мартах, хуучин и-мэйлийнхээ нууц үгийг санахгүй байх гэхчлэн датагаа эмх цэгцтэй хадгалаагүйгээс болоод цаг алдах, стресстэж бухимдах энүүхэнд болж.

Өдгөө хүн төрөлхтөн нэг өдөрт л гэхэд 400 сая TБ дата бий болгож байна. Энэ нь өдөр бүр бид 128ГБ багтаамжтай 3 тэрбум утсыг дүүргэж байгаа гэсэн үг. Бидний нийт бий болгох датаны хэмжээ жил бүр 20 орчим хувиар өсөж байгаа нь дата өгөгдлийг эмх замбараатай хадгалах, үр ашигтай боловсруулах хэрэгцээг улам бүр нэмэгдүүлж байна.


Тэгвэл энэ асуудлыг шийдэхээр бизнесийн байгууллагуудын түүчээлэн нэвтрүүлж эхлээд буй “data lakehouse” систем гэж яг юу вэ?

Агуулах ба Нуур

Байгууллагууд олон жилийн турш өгөгдлөө хадгалахдаа ерөнхийдөө дараах үндсэн хоёр аргаас сонгодог байв.

Дата агуулах (data warehouse) бол дата бүрийг эрэмбэлж, шошго зүүж, тохирох тавиурт нь байрлуулсан эмх цэгцтэй архивын өрөө гэсэн үг. Зөвхөн урьдчилан тогтоосон бүтэц, схемийн дагуу л өгөгдөл оруулдаг учир хүссэн датагаа хайж олоход тун хялбар. Гэхдээ олон төрлийн дата хадгалах боломжгүй, хэтэрхий “модон” гэх сул талтай.

Дата нуур (data lake) бол эсрэгээрээ, ямар ч төрлийн дата байсан хийчхэж болох аварга том нуур. Хүснэгт текст, зураг бичлэг, дуу хоолой, системийн лог гээд байж болох бүх л өргөтгөлтэй файл тэр чигээрээ орж болно. Урьдчилж цэгцлэх шаардлагагүй тул хямд, хурдан хэдий ч яг л бодит нуур шиг эмх замбараагүй учраас өөр хоорондоо холилдож, нэг л мэдэхэд хаана нь юу байгаа нь мэдэгдэхээ болино.


Lakehouse: Нуурын эрэг дээрх байшин

Data lakehouse нь товчхондоо дээрх хоёрыг нэгтгэсэн шийдэл бөгөөд бүх төрлийн өгөгдлийг хадгалах үүлэн систем (Lake), түүний дээр орших зохион байгуулалтын систем (House) гэсэн хоёр давхаргатай.

Үүнийг энгийнээр ойлгохын тулд нуурын эргийн байшинд нэгэн супер ажилтан байна гээд төсөөлье. Тэрээр нуур луу оруулах загас жараахай, мод ургамал, ус цас гээд бүх төрлийн зүйлсийг ангилж ялгаж, байх ёстой газарт нь байлгана. Тэгэх бүрдээ хэн хэзээ юу өөрчилснийг мөн аль нь хамгийн сүүлийн хувилбар болохыг ч тэмдэглэнэ. Ийм эмх цэгцтэй, үр бүтээмжтэй учир дээр хэн нэгэн ирээд нуурын ямар нэг мэдээллийг асуухад тэрээр хормын дотор боловсруулж, бэлдэж өгч чадна гэсэн үг.

Ийм ажиллах арга барилтай болсноор жишээ нь, бизнесийн байгууллагуудад дараах давуу тал үүсэх юм:

• Нэг эх сурвалж. Компанийнхаа ямар нэг тайланг авъя гэвэл янз бүрийн эх сурвалжаас ялгаатай тоо гарахгүй.
• Хурд буюу хэмнэлт. Анхнаасаа эмх цэгцтэй хадгалсан тул эрсэн дата, хүссэн хариултаа хормын дотор олж чадна.
• Хиймэл оюуны суурь. Эмх цэгцтэй тул хиймэл оюуны загвар сургахад хамгийн тохиромжтой.


Энэ шийдлийн үр ашгийг хэрэглэгчид бид ч өдөр тутмын амьдралдаа хүртсээр байгаа. Жишээ нь гар утасны зургийн галерей байна. Өмнө нь бид зургаа зөвхөн огноогоор л ангилж чаддаг байлаа. Харин одоо систем өөрөө зураг дээрх хүмүүсийн царай, авсан газар, дотор нь байгаа объектыг таньж тэмдэглэдэг болсон тул хайж байгаа зургаа олоход тун хялбар болжээ. Сүүлийн үед ижил төстэй олон зургуудын нэгтгээд хамгийн сайн нэг зургийг гаргаж өгөх ажлыг ч систем өөрөө хийдэг болж.

Монголын жишээ

Юнител групп саяхан Dell Technologies-той хамтран Data lakehouse шийдлийг нэвтрүүлснээ зарлажээ. Тус групп 2023 онд өдөрт 1.9 терабайт өгөгдөл боловсруулдаг байсан бол өдгөө 8.6 терабайт болж, ердөө гурван жилийн дотор 4.5 дахин нэмэгдсэн гэнэ. Группийн хэмжээнд өдөрт 30 гаруй терабайт дата үүсдэг бөгөөд үүнээс бизнест хамгийн ач холбогдолтойг нь л сонгож боловсруулдаг гэж Дижитал шилжилтийн газрын захирал Б.Жулдыз онцолж байв.


Тэд data lakehouse шийдлийг нэвтрүүлснээр өгөгдөл үүссэнээс хойш түүнийг ашиглах хүртэлх хугацаа 80 хувиар богиносож, гар ажиллагаа 5 дахин буурч, зарим боловсруулалтын хүчин чадал 80 дахин сайжирсан байна.