የአዕምሮ ህዋሳት ኢንጂነሮችን ይተካሉ?

አጭር መልስ፡- AI የውሂብ መሐንዲሶችን ሙሉ በሙሉ አይተካም፤ እንደ SQL ድራፊንግ፣ የቧንቧ መስመር ስካፎልዲንግ፣ ሙከራዎች እና ሰነዶች ያሉ ተደጋጋሚ ስራዎችን በራስ-ሰር ያከናውናል። የእርስዎ ሚና በአብዛኛው ዝቅተኛ ባለቤትነት፣ በቲኬት ላይ የተመሰረተ ስራ ከሆነ፣ የበለጠ ተጋላጭ ይሆናል፤ አስተማማኝነት፣ ፍቺዎች፣ አስተዳደር እና የአደጋ ምላሽ ካለዎት፣ AI በዋናነት ፈጣን ያደርግዎታል።

ቁልፍ ነጥቦች፡

ባለቤትነት ፡- በፍጥነት ኮድ ከማምረት ይልቅ ለውጤቶች ተጠያቂነትን ቅድሚያ ይስጡ።

ጥራት ፡ የቧንቧ መስመሮች አስተማማኝ ሆነው እንዲቆዩ ሙከራዎችን፣ የመታየት አቅምን እና ኮንትራቶችን ይገንቡ።

አስተዳደር ፡- ግላዊነትን፣ የመዳረሻ ቁጥጥርን፣ የማቆየት እና የኦዲት መንገዶችን በሰው እጅ መያዝ።

አላግባብ መጠቀም ፡ የAI ውጤቶችን እንደ ረቂቆች ይያዙ፤ በራስ መተማመን ስህተትን ለማስወገድ ይገምግሟቸው።

የሚና ፈረቃ ፡- ቦይለርፕሌት በመተየብ ጊዜን መቀነስ እና ዘላቂ ስርዓቶችን በመንደፍ የበለጠ ጊዜ ማሳለፍ።

ከአምስት ደቂቃ በላይ በውሂብ ቡድኖች ውስጥ ካሳለፍክ፣ አንዳንድ ጊዜ በሹክሹክታ፣ አንዳንድ ጊዜ ደግሞ በስብሰባ ላይ እንደ ሴራ ጠመዝማዛ ሲጀመር የነበረውን ንግግሩን ሰምተሃል፡- የ AI የመረጃ መሐንዲሶችን ይተካ ይሆን?

እና… ገባኝ። AI SQL ማመንጨት፣ የቧንቧ መስመሮችን መገንባት፣ የቁልል ዱካዎችን ማስረዳት፣ የdbt ሞዴሎችን ረቂቅ ማድረግ፣ የመጋዘን ንድፎችን እንኳን በራስ መተማመን ሊጠቁም ይችላል። ለSQL GitHub Copilot ስለ dbt ሞዴሎች GitHub Copilot
የፎርክሊፍት ማንጠልጠያ እንዴት እንደሚማር ማየት ይመስላል። አስደናቂ፣ ትንሽ አስደንጋጭ፣ እና ለስራዎ ምን ማለት እንደሆነ ሙሉ በሙሉ እርግጠኛ አይደሉም 😅

ግን እውነታው ከርዕሰ ጉዳዩ ያነሰ ንፁህ ነው። የ AI የመረጃ ምህንድስናን ሙሉ በሙሉ እየቀየረ ነው። አሰልቺ እና ተደጋጋሚ ክፍሎችን በራስ-ሰር እያስኬደ ነው። “የምፈልገውን አውቃለሁ ግን የአገባቡን ማስታወስ አልችልም” የሚሉትን ጊዜያት እያፋጠነ ነው። እንዲሁም አዳዲስ አይነት ትርምስ እያስከተለ ነው።.

ስለዚህ በእጅ የሚንቀጠቀጥ ብሩህ ተስፋ ወይም የጥፋት ድንጋጤ ሳይኖር በትክክል እናስቀምጥ።.

ከዚህ ጽሑፍ በኋላ ሊያነቧቸው የሚችሏቸው ጽሑፎች፡

🔗 የኤአይአይ ራዲዮሎጂስቶችን ይተካ ይሆን?
የ AI ምስል የስራ ፍሰትን፣ ትክክለኛነትን እና የወደፊት ሚናዎችን እንዴት እንደሚለውጥ።.

🔗 የአይአይ (AI) የሂሳብ ባለሙያዎችን ይተካሉ?
የትኞቹ የሂሳብ ስራዎች AI በራስ-ሰር እንደሚሰራ እና ምን ሰው እንደሆነ እንደሚቀጥል ይመልከቱ።.

🔗 የአይአይ (AI) የኢንቨስትመንት ባንኮችን ይተካ ይሆን?
የ AI በቅናሾች፣ በምርምር እና በደንበኛ ግንኙነቶች ላይ ያለውን ተጽእኖ ይረዱ።.

🔗 የኢንሹራንስ ወኪሎችን በአርቴፊሻል ኢንተለጀንስ ይተካል?
AI የኢንሹራንስ ሽፋን፣ የሽያጭ እና የደንበኛ ድጋፍን እንዴት እንደሚለውጥ ይወቁ።.

---

“የመረጃ ኢንጂነሮችን የሚተካው” የሚለው ጥያቄ ለምን እንደገና መታየት እንደጀመረ 😬

ፍርሃቱ የሚመጣው በጣም ከተለየ ቦታ ነው ፡ የውሂብ ምህንድስና ብዙ ተደጋጋሚ ስራዎች አሉት ።

• የ SQL ጽሑፍ እና መልሶ ማደራጀት

• የኢሚግሬሽን ስክሪፕቶችን መገንባት

• መስኮችን ከአንድ ንድፍ ወደ ሌላ ካርታ ማዛመድ

• መሰረታዊ ሰነዶችን እና ፈተናዎችን መፍጠር

• የሚገመቱ የቧንቧ መስመር ውድቀቶችን ማረም… በተወሰነ መልኩ ሊተነብዩ የሚችሉ

AI በተደጋጋሚ በሚደገፉ ቅጦች ላይ ባልተለመደ ሁኔታ ጥሩ ነው። እና የተወሰነው የውሂብ ምህንድስና በትክክል ያ ነው - በቅጦች ላይ የተደራረቡ ቅጦች። የጂቲኤችቢ ኮፓይለት ኮድ ጥቆማዎች

እንዲሁም የመሳሪያዎች ሥነ-ምህዳር ቀድሞውኑ ውስብስብነቱን "እየደበቀ" ነው፡

• የሚተዳደሩ የELT ማያያዣዎች የፋይትትራን ሰነዶች

• ሰርቨር አልባ ኮምፒውት AWS Lambda (ሰርቨር አልባ ኮምፒውት)

• የአንድ-ጠቅታ የመጋዘን አቅርቦት

• ራስ-ሰር የማመጣጠን ዝግጅት Apache Airflow ሰነዶች

• የዴክላርቲቭ ትራንስፎርሜሽን ማዕቀፎች DBT ምንድን ነው?

ስለዚህ AI ሲመጣ፣ የመጨረሻው ክፍል ሊመስል ይችላል። ቁልሉ አስቀድሞ ከተሰረዘ እና AI የማጣበቂያ ኮዱን መፃፍ ከቻለ… የቀረው ምንድን ነው? 🤷

ግን ሰዎች የሚዘሉት ነገር ይኸውና ፡ የውሂብ ምህንድስና በዋናነት መተየብ አይደለም ። መተየብ ቀላል ክፍል ነው። አስቸጋሪው ክፍል አሻሚ፣ ፖለቲካዊ እና ተለዋዋጭ የንግድ እውነታን እንደ አስተማማኝ ስርዓት እንዲመስል ማድረግ ነው።

እና የአዕምሮ ህዋሳት ምርምር አሁንም ከዚያ ጭራቅ ጋር ይታገላል። ሰዎችም ይታገላሉ - በተሻለ ሁኔታ ይፈጠራሉ።.

---

የውሂብ መሐንዲሶች ቀኑን ሙሉ የሚያደርጉት ነገር (አስደናቂው እውነት) 🧱

እውነቱን እንነጋገር - "የውሂብ መሐንዲስ" የሚለው የሥራ መደብ ከንፁህ የሂሳብ ስሌት የሮኬት ሞተሮችን እየገነባህ ያለ ይመስላል። በተግባር ግን፣ እምነትን ።

የተለመደው ቀን “አዳዲስ ስልተ ቀመሮችን መፈልሰፍ” እና ሌሎችንም ያነሰ ነው፡

• ስለ የውሂብ ፍቺዎች ከላይ ካሉ ቡድኖች ጋር መደራደር (አሳማሚ ግን አስፈላጊ)

• መለኪያ ለምን እንደተለወጠ (እና እውነተኛ መሆኑን ወይም አለመሆኑን) መመርመር

• የንድፍ ድራፍትን እና "አንድ ሰው እኩለ ሌሊት ላይ አምድ አክሏል" የሚሉ አስገራሚ ነገሮችን መቆጣጠር

• የቧንቧ መስመሮች በቀላሉ የሚተነፍሱ፣ የሚመለሱ እና የሚታዩ መሆናቸውን ማረጋገጥ

• የታችኛው ተንታኞች በስህተት ትርጉም የለሽ ዳሽቦርዶችን እንዳይገነቡ የመከላከያ መንገዶችን መፍጠር

• መጋዘንዎ ወደ ገንዘብ እሳት እንዳይለወጥ ወጪዎችን ማስተዳደር 🔥

• የመዳረሻ፣ የኦዲት፣ የተገዢነት፣ የማቆያ ፖሊሲዎችን ማረጋገጥ የGDPR መርሆዎች (የአውሮፓ ኮሚሽን) የማከማቻ ገደብ (ICO)

• ሰዎች እርስዎን ሳያነቡ ሊጠቀሙባቸው የሚችሏቸውን የውሂብ ምርቶችን መገንባት 20 ጥያቄዎች

የሥራው ዋና ክፍል ማህበራዊ እና ተግባራዊ ነው-

• "ይህ ጠረጴዛ የማን ነው?"

• "ይህ ፍቺ አሁንም ትክክል ነው?"

• "የሲአርኤም ቅጂዎችን ወደ ውጭ የሚላከው ለምንድን ነው?"

• "ይህንን መለኪያ ያለምንም ሀፍረት ለስራ አስፈፃሚዎች መላክ እንችላለን?" 😭

በእርግጥም የአዕምሮ ህዋሳት ምርምር (AI) በዚህ ውስጥ አንዳንድ ነገሮችን ሊረዳ ይችላል። ነገር ግን ሙሉ በሙሉ መተካት… उत्तां ነው።.

---

ጠንካራ የውሂብ ምህንድስና ሚና የሚጫወተው ምንድን ነው? ✅

ይህ ክፍል አስፈላጊ ነው ምክንያቱም የመተካት ንግግር ብዙውን ጊዜ የውሂብ መሐንዲሶች በዋናነት "የቧንቧ መስመር ገንቢዎች" እንደሆኑ ስለሚያስብ። ያ ልክ እንደ ሼፎች በዋናነት "አትክልቶችን ይቆርጣሉ" ብሎ ማሰብ ነው። የሥራው አካል ነው፣ ግን ሥራው አይደለም።.

ጠንካራ የውሂብ መሐንዲስ ስሪት ብዙውን ጊዜ ከእነዚህ ውስጥ አብዛኛዎቹን ማድረግ ይችላሉ ማለት ነው

• የለውጥ ዲዛይን
  የውሂብ ለውጦች። ቡድኖች ይለወጣሉ። መሳሪያዎች ይለወጣሉ። ጥሩ መሐንዲስ እውነታው በሚያስነጥስበት ጊዜ ሁሉ የማይፈርሱ ስርዓቶችን ይገነባል 🤧

• ኮንትራቶችን እና ግምቶችን ይግለጹ
  "ደንበኛ" ማለት ምን ማለት ነው? "ንቁ" ማለት ምን ማለት ነው? ክርክር ዘግይቶ ሲደርስ ምን ይከሰታል? ኮንትራቶች ከቅንጦት ኮድ ይልቅ ትርምስን ይከላከላሉ። ክፍት የውሂብ ኮንትራት መደበኛ (ODCS) ODCS (GitHub)

• በሁሉም ነገር ላይ የመታየት ችሎታን ይገንቡ
  "አሂድቷል" ብቻ ሳይሆን "በትክክል ሰርቷል"። ትኩስነት፣ የድምጽ ልዩነቶች፣ ባዶ ፍንዳታዎች፣ የስርጭት ፈረቃዎች። የውሂብ ተገኝነት (ዳይናትሬስ) የውሂብ ተገኝነት ምንድን ነው?

• እንደ አዋቂ ሰው
  ፍጥነትን ከትክክለኛነት፣ ከወጪ እና ከዘገየነት፣ ተለዋዋጭነት እና ቀላልነት ጋር እኩልታዎችን ያድርጉ። ፍጹም የሆነ የቧንቧ መስመር የለም፣ አብረው መኖር የሚችሉት የቧንቧ መስመሮች ብቻ ናቸው።

• የንግድ ፍላጎቶችን ወደ ዘላቂ ስርዓቶች ይተርጉሙ።
  ሰዎች መለኪያዎችን ይጠይቃሉ፣ ነገር ግን የሚያስፈልጋቸው የውሂብ ምርት ነው። የ AI ኮዱን ማዘጋጀት ይችላል፣ ነገር ግን የንግድ ፈንጂዎችን በአስማት ማወቅ አይችልም።

• ዳታ ጸጥ እንዲል አድርግ
  የውሂብ መድረክ ከፍተኛው ምስጋና ማንም ስለሱ አለመናገሩ ነው። ያልተጠበቀ ዳታ ጥሩ ዳታ ነው። ልክ እንደ ቧንቧ። የሚታሰበው ሲከሽፍ ብቻ ነው 🚽

እነዚህን ነገሮች እያደረጉ ከሆነ፣ “AI የውሂብ መሐንዲሶችን ይተካዋል?” ትንሽ ቀርፋፋ ይመስላል… ትንሽ ቀርፋፋ። AI ተግባራትን ፣ ባለቤትነትን ።

---

የ AI ቀድሞውንም የውሂብ መሐንዲሶችን እየረዳ ነው (እና በእውነት በጣም ጥሩ ነው) 🤖✨

የአዕምሮ ህዋሳት (AI) ግብይት ብቻ አይደለም። በጥሩ ሁኔታ ጥቅም ላይ የዋለ፣ ህጋዊ የኃይል ማባዣ ነው።.

1) ፈጣን የ SQL እና የትራንስፎርሜሽን ስራ

• ውስብስብ ውህዶችን በማዘጋጀት ላይ

• ሊያስቡበት የማይፈልጓቸውን የመስኮት ተግባራት መጻፍ

• ግልጽ የሆነ የቋንቋ አመክንዮ ወደ መጠይቅ አጽሞች መቀየር

• አስቀያሚ ጥያቄዎችን ወደ ሊነበቡ ወደሚችሉ CTEs እንደገና ማስተካከል GitHub Copilot ለ SQL

ይህ በጣም ትልቅ ነው ምክንያቱም የ"ባዶ ገጽ" ተጽእኖን ስለሚቀንስ። አሁንም ማረጋገጥ ያስፈልግዎታል፣ ነገር ግን ከ0% ይልቅ በ70% ይጀምራሉ።.

2) ማረም እና የስር መንስኤ የዳቦ ፍርፋሪ

AI በ: ጥሩ ነው

• የስህተት መልዕክቶችን ማብራራት

• የት መታየት እንዳለበት መጠቆም

• የ"ቼክ ስኬማ አለመዛመድ" አይነት እርምጃዎችን መምከር GitHub Copilot
  ልክ እንደ ድካም የማይተኛ እና አንዳንድ ጊዜ በልበ ሙሉነት የሚዋሽ ጁኒየር መሐንዲስ ነው 😅

3) የሰነድ እና የውሂብ ካታሎግ ማበልጸጊያ

በራስ-ሰር የተፈጠረ፦

• የአምድ መግለጫዎች

• የሞዴል ማጠቃለያዎች

• የዘር ሐረግ ማብራሪያዎች

• "ይህ ሰንጠረዥ ለምን ጥቅም ላይ ይውላል?" የ dbt ሰነዶች

ፍጹም ባይሆንም፣ ያልተመዘገቡ የቧንቧ መስመሮችን እርግማን ይሰብራል።.

4) የስካፎልዲንግ እና የቼክ ሙከራዎች

AI የሚከተሉትን ሊያቀርብ ይችላል፦

• መሰረታዊ ባዶ ሙከራዎች

• የልዩነት ፍተሻዎች

• የማጣቀሻ ትክክለኛነት ሀሳቦች

• "ይህ መለኪያ በፍፁም መቀነስ የለበትም" የቅጥ መግለጫዎች dbt የውሂብ ሙከራዎች ምርጥ ግምቶች፡ ግምቶች

እንደገና - አሁንም ምን አስፈላጊ እንደሆነ ትወስናለህ፣ ነገር ግን የዕለት ተዕለት ክፍሎቹን ያፋጥናል።.

5) የቧንቧ መስመር "ሙጫ" ኮድ

የውቅር አብነቶች፣ የYAML ስካፎልድስ፣ የኦርኬስትራ DAG ድራፍት። ያ ነገር ተደጋጋሚ ነው እና AI ለቁርስ ተደጋጋሚ ይበላል 🥣 Apache Airflow DAGs

---

የአዕምሮ ንቃተ ህሊና አሁንም የሚታገልበት (እና ይህ ዋናው ነገር ነው) 🧠🧩

ይህ በጣም አስፈላጊው ክፍል ነው፣ ምክንያቱም የሚተኪውን ጥያቄ በእውነተኛ ሸካራነት ስለሚመልስ።.

1) አሻሚነት እና ተለዋዋጭ ትርጓሜዎች

የንግድ አመክንዮ እምብዛም ግልጽ አይደለም። ሰዎች በአረፍተ ነገሩ መሃል ሀሳባቸውን ይለውጣሉ። “ንቁ ተጠቃሚ” “ንቁ የሚከፍል ተጠቃሚ” “ተመላሽ ገንዘብን ሳይጨምር ንቁ የሚከፍል ተጠቃሚ” ይሆናል… እንዴት እንደሆነ ታውቃለህ።.

አርቴፊሻል ኢንተለጀንስ ያንን አሻሚነት ሊይዝ አይችልም። መገመት ብቻ ነው።.

2) ተጠያቂነት እና አደጋ

የቧንቧ መስመር ሲሰበር እና የኤክስቴንሽን ዳሽቦርዱ ትርጉም የለሽ ሆኖ ሲታይ፣ አንድ ሰው የሚከተሉትን ማድረግ አለበት፦

• ትሪያል

• የመግባባት ተጽዕኖ

• አስተካክለው

• ተደጋጋሚነትን መከላከል

• የድህረ ሞትን ጻፍ

• ንግዱ ባለፈው ሳምንት የወጡትን ቁጥሮች አሁንም ማመን ይችል እንደሆነ ይወስኑ

አርቴፊሻል ኢንተለጀንስ (AI) ሊረዳ ይችላል፣ ነገር ግን ትርጉም ባለው መንገድ ተጠያቂ ሊሆን አይችልም። ድርጅቶች በስሜት አይንቀሳቀሱም - በኃላፊነት ይሰራሉ።.

3) የስርዓት አስተሳሰብ

የውሂብ መድረኮች ሥነ-ምህዳሮች ናቸው፡- ማስገባት፣ ማከማቻ፣ ትራንስፎርሜሽን፣ ማደራጀት፣ አስተዳደር፣ የወጪ ቁጥጥሮች፣ SLAዎች። በአንድ ንብርብር ሞገዶች ላይ የሚደረግ ለውጥ። የአፓቼ የአየር ፍሰት ፅንሰ-ሀሳቦች

የአዕምሮ ህክምና ባለሙያ ዓለም አቀፍ ችግር የሚፈጥሩ የአካባቢ ማሻሻያዎችን ማቅረብ ይችላል። ልክ በሩን በማስወገድ የሚጮህ በርን እንደመጠገን ነው 😬

4) ደህንነት፣ ግላዊነት፣ ተገዢነት

እዚህ ላይ ነው የመተካት ቅዠቶች የሚሞቱት።.

• የመዳረሻ መቆጣጠሪያዎች

• የረድፍ ደረጃ ደህንነት የበረዶ ቅንጣቢ ረድፍ መዳረሻ ፖሊሲዎች የBigQuery ረድፍ ደረጃ ደህንነት

• የ PII አያያዝ የ NIST የግላዊነት ማዕቀፍ

• የማቆያ ደንቦች የማቆያ ገደብ (ICO) የአውሮፓ ህብረት የማቆያ መመሪያ

• የኦዲት ዱካዎች NIST SP 800-92 (ሎግ አስተዳደር) CIS ቁጥጥር 8 (ኦዲት ሎግ አስተዳደር)

• የውሂብ ኗሪነት ገደቦች

የአዕምሮ ህክምና ባለሙያዎች (AI) ፖሊሲዎችን ማዘጋጀት ይችላሉ፣ ነገር ግን ደህንነቱ በተጠበቀ ሁኔታ መተግበር እውነተኛ ምህንድስና ነው።.

5) “ያልታወቁ የማይታወቁ ነገሮች”

የውሂብ ክስተቶች ብዙውን ጊዜ ያልተጠበቁ ናቸው፦

• የሻጭ ኤፒአይ በጸጥታ ትርጉሞችን ይለውጣል።

• የጊዜ ሰቅ ግምት ይገለበጣል

• የኋላ መሙያ ክፍልፋይን ያባዛል

• የድጋሚ ሙከራ ዘዴ ድርብ ፅሁፎችን ያስከትላል

• አዲስ የምርት ባህሪ አዲስ የክስተት ቅጦችን ያስተዋውቃል

ሁኔታው የማይታወቅ ንድፍ ሲሆን AI ደካማ ነው።.

---

የንፅፅር ሰንጠረዥ፡ በተግባር ምንን እንደሚቀንስ 🧾🤔

ከዚህ በታች ተግባራዊ እይታ አለ። “ሰዎችን የሚተኩ መሳሪያዎች” ሳይሆን የተወሰኑ ተግባራትን የሚቀንሱ መሳሪያዎችና አቀራረቦች ናቸው።.

መሳሪያ/አቀራረብ	ታዳሚዎች	የዋጋ ስሜት	ለምን እንደሚሰራ
የAI ኮድ ተባባሪ አብራሪዎች (SQL + Python ረዳቶች) GitHub Copilot	ብዙ ኮድ የሚጽፉ መሐንዲሶች	ከክፍያ ነፃ ነው	በስካፎልዲንግ፣ ሪፋክተሮች፣ አገባብ… አንዳንድ ጊዜ በጣም በተለየ መንገድ ጨካኝ
የሚተዳደሩ የኤልቲ ማገናኛዎች ፋይትትራን	ቡድኖች የምግብ አቅርቦትን መገንባት ሰልችቷቸዋል	የደንበኝነት ምዝገባ-y	ብጁ የመዋጥ ህመምን ያስወግዳል፣ ነገር ግን በአስደሳች አዳዲስ መንገዶች ይቋረጣል
የውሂብ ታዛቢነት መድረኮች የውሂብ ታዛቢነት (ዳይናትሬስ)	ማንኛውም SLAs ባለቤት የሆነ	መካከለኛ እስከ ኢንተርፕራይዝ	ያልተለመዱ ነገሮችን ቀደም ብሎ ይይዛል - ልክ እንደ የቧንቧ መስመር ጭስ ማንቂያዎች 🔔
የትራንስፎርሜሽን ማዕቀፎች (declarative modeling) dbt	ትንታኔዎች + DE ሃይብሪዶች	ብዙውን ጊዜ መሣሪያ + ስሌት	ሎጂክ ሞዱላር እና ሊፈተን የሚችል፣ ያነሰ ስፓጌቲ ያደርገዋል
የውሂብ ካታሎጎች + የትርጉም ንብርብሮች dbt Semantic Layer	ሜትሪክ ግራ መጋባት ያላቸው ድርጅቶች	በተግባር ይወሰናል	"እውነትን" አንድ ጊዜ ይገልፃል - ማለቂያ የሌላቸውን የመለኪያ ክርክሮችን ይቀንሳል
ከአብነቶች ጋር ኦርኬስትራ Apache Airflow	መድረክን የሚመለከቱ ቡድኖች	ክፍት + የኦፕሬሽን ወጪ	የስራ ፍሰቶችን መደበኛ ያደርጋል፤ አነስተኛ የበረዶ ቅንጣቶች DAGዎች
በAI የታገዘ ሰነድ DBT ሰነዶች ማመንጨት	ሰነዶችን መጻፍ የሚጠሉ ቡድኖች	ከተመጣጣኝ እስከ መካከለኛ	እውቀት እንዳይጠፋ “በቂ” ሰነዶችን ያዘጋጃል
የራስ-ሰር የአስተዳደር መመሪያዎች NIST የግላዊነት ማዕቀፍ	የተስተካከሉ አካባቢዎች	ኢንተርፕራይዝ-ዋይ	ደንቦችን ለማስፈጸም ይረዳል - ነገር ግን አሁንም ደንቦቹን ለመንደፍ ሰዎች ያስፈልጋሉ

የጎደለውን ልብ ይበሉ፡ “የውሂብ መሐንዲሶችን ለማስወገድ አዝራሩን ይጫኑ” የሚል ረድፍ። አዎ… ያ ረድፍ የለም 🙃

---

ስለዚህ… የ AI የመረጃ መሐንዲሶችን ይተካዋል ወይስ ሚናውን ብቻ ይቀያይራል? 🛠️

አስደናቂ ያልሆነው መልስ ይኸውና፡- AI የሥራውን ሂደት ክፍሎች ይተካዋል እንጂ የሙያውን ክፍል አይተካም።

ግን ያስተካክላል ። እና ያንን ችላ ካላችሁ፣ ጭንቀቱ ይሰማችኋል።

ምን ለውጦች፡

• የቦይለር ሰሌዳ ለመጻፍ የሚፈጀው ጊዜ አነስተኛ ነው

• ሰነዶችን ለመፈለግ ያነሰ ጊዜ

• ተጨማሪ ጊዜ ለመገምገም፣ ለማረጋገጥ፣ ዲዛይን ለማድረግ

• ኮንትራቶችን እና የጥራት ግምቶችን ለመወሰን ተጨማሪ ጊዜ የክፍት ዳታ ኮንትራት ደረጃ (ODCS)

• ከምርት፣ ከደህንነት እና ከፋይናንስ ጋር የበለጠ ጊዜ ማሳለፍ

ይህ ረቂቅ ለውጥ ነው፡ የውሂብ ምህንድስና ስለ “ቧንቧ ግንባታ” ብቻ ሳይሆን ስለ “አስተማማኝ የውሂብ ምርት ስርዓት መገንባት” የበለጠ ይሆናል።

እና በጸጥታ ሁኔታ፣ ያ የበለጠ ዋጋ ያለው ነው፣ ያነሰ አይደለም።.

እንዲሁም - እና እኔ ደግሞ ድራማዊ ቢመስልም - የ AI የመረጃ ቅርሶችን ማምረት የሚችሉ ሰዎችን ቁጥር ይጨምራል ፣ ይህም አንድ ሰው ሁሉንም ነገር ጤናማ ለማድረግ ያለውን ፍላጎት ይጨምራል። ተጨማሪ ውጤት ማለት የበለጠ ግራ መጋባት ማለት ነው። GitHub Copilot

ልክ ለሁሉም ሰው የኃይል መሰርሰሪያ እንደመስጠት ነው። በጣም ጥሩ! አሁን አንድ ሰው "እባክዎን የውሃ ቱቦውን አይቆፍሩ" የሚለውን ህግ ማስፈጸም ያስፈልገዋል 🪠

---

ጠቃሚ ሆኖ የሚቆየው አዲሱ የክህሎት ክምችት (በሁሉም ቦታ በAI አማካኝነትም ቢሆን) 🧠⚙️

ተግባራዊ የሆነ "ለወደፊት የሚያረጋግጥ" የማረጋገጫ ዝርዝር ከፈለጉ፣ የሚከተለውን ይመስላል፡

የስርዓት ዲዛይን አስተሳሰብ

• ለውጥን የሚቋቋም የውሂብ ሞዴሊንግ

• የባች እና የዥረት ልውውጦች

• መዘግየት፣ ወጪ፣ አስተማማኝነት አስተሳሰብ

የውሂብ ጥራት ምህንድስና

• ኮንትራቶች፣ ማረጋገጫዎች፣ ያልተለመዱ ነገሮችን መለየት የክፍት ዳታ ኮንትራት መደበኛ (ODCS) የውሂብ ታዛቢነት (ዳይናትሬስ)

• SLAs፣ SLOs፣ የአደጋ ምላሽ ልምዶች

• የስር መንስኤ ትንተና በዲሲፕሊን (ስሜት ሳይሆን)

የአስተዳደር እና የእምነት አርክቴክቸር

• የመዳረሻ ቅጦች

• ኦዲቲቢሊቲ NIST SP 800-92 (ሎግ ማኔጅመንት)

• በዲዛይን የግላዊነት ግላዊነት NIST የግላዊነት ማዕቀፍ

• የውሂብ የህይወት ዑደት አስተዳደር የአውሮፓ ህብረት የማቆያ መመሪያ

የመድረክ አስተሳሰብ

• እንደገና ጥቅም ላይ ሊውሉ የሚችሉ አብነቶች፣ ወርቃማ መንገዶች

• የFivetran dbt የውሂብ ሙከራዎችን ለማስገባት፣ ለመለወጥ እና ለመሞከር መደበኛ ቅጦች

• የማይቀልጥ የራስ አገልግሎት መሳሪያ

ግንኙነት (አዎ፣ በእውነት)

• ግልጽ የሆኑ ሰነዶችን መጻፍ

• ፍቺዎችን ማመጣጠን

• "አይሆንም" በትህትና ግን በጥብቅ መናገር

• እንደ ሮቦት ሳይመስሉ ልዩነቶችን ማስረዳት 🤖

እነዚህን ማድረግ ከቻሉ፣ “AI የውሂብ መሐንዲሶችን ይተካዋል?” የሚለው ጥያቄ ብዙም ስጋት አይኖረውም። AI የእርስዎ ኤክሶስክሌተን ይሆናል፣ ምትክዎ አይደለም።.

---

አንዳንድ የውሂብ ምህንድስና ሚናዎች የሚቀንሱባቸው ተጨባጭ ሁኔታዎች 📉

እሺ፣ እውነታውን በፍጥነት ያረጋግጡ፣ ምክንያቱም ሁሉም የፀሐይ ብርሃን እና የኢሞጂ ኮንፌቲ ብቻ አይደሉም 🎉

አንዳንድ ሚናዎች የበለጠ የተጋለጡ ናቸው፡

• ሁሉም ነገር መደበኛ ማገናኛዎች የሆኑበት ንጹህ የመዋጥ-ብቻ ሚናዎች የፋይትትራን ማገናኛዎች

• ቡድኖች በአብዛኛው ተደጋጋሚ የሪፖርት ማድረጊያ ቧንቧዎችን የሚያከናውኑት አነስተኛ የጎራ ልዩነት ሳይኖራቸው ነው

• የውሂብ ምህንድስና እንደ “SQL ጦጣዎች” የሚቆጠርባቸው ድርጅቶች (ከባድ፣ ግን እውነት)

• ስራው ቲኬቶች እና ኮፒ-ፔስት ብቻ የሆኑባቸው ዝቅተኛ የባለቤትነት ሚናዎች

የ AI እና የሚተዳደር መሳሪያ እነዚህን ፍላጎቶች ሊቀንስ ይችላል።.

ግን እዚያም ቢሆን፣ ምትክ ብዙውን ጊዜ እንደዚህ ይመስላል፦

• ተመሳሳይ ተደጋጋሚ ስራ የሚሰሩ ሰዎች ቁጥር አነስተኛ ነው

• በመድረክ ባለቤትነት እና አስተማማኝነት ላይ የበለጠ ትኩረት

• ወደ "አንድ ሰው ተጨማሪ የቧንቧ መስመሮችን መደገፍ ይችላል" የሚደረግ ሽግግር

ስለዚህ አዎ - የራስ ቆጠራ ቅጦች ሊለወጡ ይችላሉ። ሚናዎች ይሻሻላሉ። የማዕረግ ስሞች ይቀየራሉ። ያ ክፍል እውነተኛ ነው።.

ያም ሆኖ፣ ከፍተኛ ባለቤትነት ያለው እና ከፍተኛ እምነት የሚጣልበት የዚህ ሚና ስሪት አሁንም አለ።.

---

የመዝጊያ ማጠቃለያ 🧾✅

የአዕምሮ ህዋሳት (AI) የመረጃ መሐንዲሶችን ይተካ ይሆን? ሰዎች በሚያስቡት ንጹህና ሙሉ በሙሉ በሚመስል መንገድ አይደለም።

AI የሚከተሉትን ያደርጋል፦

• ተደጋጋሚ ተግባራትን በራስ-ሰር ያከናውኑ

• የኮድ አሰጣጥ፣ የማረሚያ ስህተት እና ሰነድ ማፋጠን GitHub Copilot ለ SQL dbt ሰነድ

• የቧንቧ መስመሮችን የማምረት ወጪን መቀነስ

ነገር ግን የውሂብ ምህንድስና በመሠረቱ ስለ፡

• ተጠያቂነት

• የስርዓት ዲዛይን

• እምነት፣ ጥራት እና አስተዳደር የክፍት ዳታ ኮንትራት ደረጃ (ODCS) የNIST የግላዊነት ማዕቀፍ

• የተደበቀ የንግድ እውነታን ወደ አስተማማኝ የውሂብ ምርቶች መተርጎም

አርቴፊሻል ኢንተለጀንስ (AI) በዚህ ረገድ ሊረዳ ይችላል… ግን “ባለቤት” አይደለም።.

የውሂብ መሐንዲስ ከሆኑ፣ እርምጃው ቀላል ነው (ቀላል ባይሆንም ቀላል ነው)
፡ በባለቤትነት፣ በጥራት፣ በመድረክ አስተሳሰብ እና በመግባባት ላይ ያተኩሩ። አስፈላጊ የሆኑትን ክፍሎች ሲይዙ የ AI ስራውን እንዲቆጣጠር ይፍቀዱለት።

እና አዎ - አንዳንድ ጊዜ ያ ማለት በክፍሉ ውስጥ ትልቅ ሰው መሆን ማለት ነው። ማራኪ አይደለም። በጸጥታ ኃይለኛ ቢሆንም 😄

የኤአይ (AI) የውሂብ መሐንዲሶችን ይተካ ይሆን?
አንዳንድ ተግባራትን ይተካል፣ መሰላሉን እንደገና ያስተካክላል፣ እና ምርጥ የውሂብ መሐንዲሶችን የበለጠ ዋጋ ያለው ያደርገዋል። እውነተኛው ታሪክ ይህ ነው።

---

ተደጋጋሚ ጥያቄዎች

የአዕምሮ ህክምና ባለሙያ (AI) የውሂብ መሐንዲሶችን ሙሉ በሙሉ ይተካዋል?

በአብዛኛዎቹ ድርጅቶች ውስጥ፣ የ AI ሚናውን በቀጥታ ከማጥፋት ይልቅ የተወሰኑ ተግባራትን የመቆጣጠር ዕድሉ ከፍተኛ ነው። የSQL ረቂቅነትን፣ የቧንቧ መስመር ስካፎልዲንግን፣ የሰነድ የመጀመሪያ ማለፊያዎችን እና መሰረታዊ የሙከራ ፈጠራን ሊያፋጥን ይችላል። ነገር ግን የውሂብ ምህንድስና ባለቤትነትን እና ተጠያቂነትን እንዲሁም የተዝረከረከ የንግድ እውነታን እንደ አስተማማኝ ስርዓት እንዲመስል የማድረግ ማራኪ ስራን ያካትታል። እነዚህ ክፍሎች አሁንም ሰዎች "ትክክለኛ" ምን እንደሚመስል እንዲወስኑ እና ነገሮች ሲበላሹ ኃላፊነት እንዲወስዱ ያስፈልጋቸዋል።.

የ AI አስቀድሞ በራስ-ሰር የሚሰራው የውሂብ ምህንድስና ክፍሎች የትኞቹ ናቸው?

AI በተደጋጋሚ በሚሰሩ ስራዎች ላይ በተሻለ ሁኔታ ይሰራል፡ SQLን መቅዳት እና እንደገና ማደስ፣ የdbt ሞዴል አፅም ማመንጨት፣ የተለመዱ ስህተቶችን ማብራራት እና የሰነድ ዝርዝሮችን ማዘጋጀት። እንዲሁም እንደ ባዶ ወይም ልዩ ፍተሻዎች ያሉ ሙከራዎችን ማስተካከል እና ለኦርኬስትራሽን መሳሪያዎች የ"ማጣበቂያ" ኮድ አብነት ማመንጨት ይችላል። አሸናፊው ሞመንተም ነው - ወደ ስራ መፍትሄ በመቅረብ ይጀምራሉ - ነገር ግን አሁንም ትክክለኛነትን ማረጋገጥ እና ከአካባቢዎ ጋር የሚስማማ መሆኑን ማረጋገጥ ያስፈልግዎታል።.

AI SQL እና pipelines መጻፍ ከቻለ፣ ለውሂብ መሐንዲሶች ምን ይቀራል?

ብዙ፡ የውሂብ ኮንትራቶችን መግለፅ፣ የንድፍ መንሸራተትን ማስተናገድ እና የቧንቧ መስመሮች በቀላሉ የሚንቀሳቀሱ፣ የሚታዩ እና ሊመለሱ የሚችሉ መሆናቸውን ማረጋገጥ። የውሂብ መሐንዲሶች የመለኪያ ለውጦችን በመመርመር፣ ለታችኛው ተጠቃሚዎች የመከላከያ መንገዶችን በመገንባት እና የወጪ እና የአስተማማኝነት ልዩነቶችን በማስተዳደር ጊዜ ያሳልፋሉ። ስራው ብዙውን ጊዜ እምነትን መገንባት እና የውሂብ መድረኩን “ጸጥ ያለ” ማድረግ ሲሆን ይህም ማለት ማንም ሰው በየቀኑ ስለሱ ማሰብ የማይኖርበት በቂ የተረጋጋ ሁኔታ ነው።.

የ AI የመረጃ መሐንዲስ የዕለት ተዕለት ሥራን እንዴት ይለውጠዋል?

በተለምዶ የቦይለርፕሌት እና “የፍለጋ ጊዜን” ይቀንሳል፣ ስለዚህ ለመተየብ የሚወስደውን ጊዜ ይቀንሳል እና ብዙ ጊዜ በመገምገም፣ በማረጋገጥ እና በመንደፍ ያሳልፋሉ። ይህ ለውጥ ሁሉንም ነገር በእጅ ኮድ ከማድረግ ይልቅ የሚጠበቁ ነገሮችን፣ የጥራት ደረጃዎችን እና እንደገና ጥቅም ላይ ሊውሉ የሚችሉ ቅጦችን በመግለጽ ረገድ ሚናውን ያነሳሳል። በተግባር፣ ከምርት፣ ከደህንነት እና ከፋይናንስ ጋር የበለጠ የሽርክና ስራ ይሰራሉ ​​- ምክንያቱም ቴክኒካዊ ውጤቱ ለመፍጠር ቀላል ቢሆንም ለማስተዳደር ግን አስቸጋሪ ይሆናል።.

የአዕምሮ ህዋሳት ምርምር (AI) እንደ “ንቁ ተጠቃሚ” ባሉ አሻሚ የንግድ ትርጓሜዎች ለምን ይቸገራል?

የንግድ አመክንዮ የማይለዋወጥ ወይም ትክክለኛ ስላልሆነ - በፕሮጀክቱ መካከል ያለውን ሁኔታ ይለውጣል እና እንደ ባለድርሻ አካላት ይለያያል። የ AI ትርጓሜ ሊያዘጋጅ ይችላል፣ ነገር ግን ፍቺዎች ሲቀየሩ ወይም ሲጋጩ ውሳኔውን ሊይዝ አይችልም። የውሂብ ምህንድስና ብዙውን ጊዜ ድርድር፣ ግምቶችን መመዝገብ እና ግልጽ ያልሆኑ መስፈርቶችን ወደ ዘላቂ ውሎች መለወጥን ይጠይቃል። ያ "የሰው አሰላለፍ" ስራ የመሳሪያዎች መሻሻል ሲሻሻል እንኳን ሚናው የማይጠፋበት ዋና ምክንያት ነው።.

የአዕምሮ ህክምና ባለሙያ የመረጃ አስተዳደርን፣ ግላዊነትን እና ተገዢነትን ደህንነቱ በተጠበቀ ሁኔታ ማስተዳደር ይችላል?

የአዕምሮ ህክምና ባለሙያ (AI) ፖሊሲዎችን ለማርቀቅ ወይም አቀራረቦችን ለመጠቆም ሊረዳ ይችላል፣ ነገር ግን ደህንነቱ የተጠበቀ አተገባበር አሁንም እውነተኛ ምህንድስና እና ጥንቃቄ የተሞላበት ክትትል ይጠይቃል። አስተዳደር የመዳረሻ መቆጣጠሪያዎችን፣ የPII አያያዝን፣ የማቆያ ደንቦችን፣ የኦዲት መንገዶችን እና አንዳንድ ጊዜ የመኖሪያ ገደቦችን ያካትታል። እነዚህ "ከሞላ ጎደል ትክክል" ተቀባይነት የሌላቸው ከፍተኛ ተጋላጭነት ያላቸው አካባቢዎች ናቸው። ሰዎች ደንቦቹን መንደፍ፣ ማስፈጸሚያዎችን ማረጋገጥ እና ለተገዢነት ውጤቶች ተጠያቂ መሆን አለባቸው።.

የ AI እድገትን ሲያሻሽል ለውሂብ መሐንዲሶች ምን ክህሎቶች ጠቃሚ ሆነው ይቆያሉ?

ስርዓቶችን ጠንካራ የሚያደርጉ ክህሎቶች፡ የስርዓት ዲዛይን አስተሳሰብ፣ የውሂብ ጥራት ምህንድስና እና የመድረክ ተኮር ደረጃ አሰጣጥ። ብዙ ሰዎች የውሂብ ቅርሶችን በፍጥነት ማመንጨት ሲችሉ ውሎች፣ ታዛቢነት፣ የአደጋ ምላሽ ልምዶች እና ሥርዓታማ የስር መንስኤ ትንተና የበለጠ አስፈላጊ ይሆናሉ። መግባባትም ልዩነት ይፈጥራል - ትርጓሜዎችን ማመጣጠን፣ ግልጽ ሰነዶችን መጻፍ እና ያለ ድራማ ልዩነቶችን ማስረዳት ውሂብን አስተማማኝ ለማድረግ ትልቅ አካል ነው።.

የትኞቹ የውሂብ ምህንድስና ሚናዎች ከ AI እና ከሚተዳደሩ መሳሪያዎች በጣም የተጋለጡ ናቸው?

በተደጋጋሚ በሚወሰድበት ወይም በመደበኛ የሪፖርት ማድረጊያ ቧንቧዎች ላይ በጠባብ ላይ ያተኮሩ ሚናዎች የበለጠ የተጋለጡ ናቸው፣ በተለይም የሚተዳደሩ የELT ማያያዣዎች አብዛኛዎቹን ምንጮች የሚሸፍኑ ከሆነ። ዝቅተኛ ባለቤትነት፣ በቲኬት የሚመራ ስራ ሊቀንስ ይችላል ምክንያቱም የ AI እና የአብስትራክሽን ስራ በአንድ የቧንቧ መስመር ላይ የሚደረገውን ጥረት ይቀንሳል። ነገር ግን ይህ ብዙውን ጊዜ ተደጋጋሚ ስራዎችን የሚሰሩ ሰዎች ያነሱ ይመስላሉ፣ "የውሂብ መሐንዲሶች የሉም" ማለት አይደለም። በአስተማማኝነት፣ በጥራት እና በመተማመን ላይ ያተኮሩ ከፍተኛ ባለቤትነት ሚናዎች ዘላቂ ሆነው ይቆያሉ።.

ትርምስ ሳይፈጥር እንደ GitHub Copilot ወይም dbt ያሉ መሳሪያዎችን ከ AI ጋር እንዴት መጠቀም እችላለሁ?

የAI ውጤትን እንደ ረቂቅ እንጂ እንደ ውሳኔ አድርገው ይመለከቱት። የጥያቄ አጽሞችን ለማመንጨት፣ ተነባቢነትን ለማሻሻል ወይም የስካፎልድ dbt ሙከራዎችን እና ሰነዶችን ለማመንጨት ይጠቀሙበት፣ ከዚያም በእውነተኛ መረጃ እና ጠርዝ ጉዳዮች ላይ ያረጋግጡ። ከጠንካራ ስምምነቶች ጋር ያጣምሩት፡ ውሎች፣ የስያሜ ደረጃዎች፣ የመታየት ፍተሻዎች እና የግምገማ ልምዶች። ግቡ አስተማማኝነትን፣ የወጪ ቁጥጥርን ወይም የአስተዳደርን መስዋዕትነት ሳይከፍሉ ፈጣን አቅርቦት ነው።.

ማጣቀሻዎች

1. የአውሮፓ ኮሚሽን - የውሂብ ጥበቃ ተብራርቷል፡ የGDPR መርሆዎች - commission.europa.eu

2. የመረጃ ኮሚሽነር ቢሮ (ICO) - የማከማቻ ገደብ - ico.org.uk

3. የአውሮፓ ኮሚሽን - መረጃ ለምን ያህል ጊዜ ሊቆይ ይችላል እና ለማዘመን አስፈላጊ ነው? - commission.europa.eu

4. ብሔራዊ የደረጃዎች እና የቴክኖሎጂ ተቋም (NIST) - የግላዊነት ማዕቀፍ - nist.gov

5. NIST የኮምፒውተር ደህንነት ሀብት ማዕከል (CSRC) - SP 800-92፡ የኮምፒውተር ደህንነት ሎግ አስተዳደር መመሪያ - csrc.nist.gov

6. የኢንተርኔት ደህንነት ማዕከል (CIS) - የኦዲት ሎግ አስተዳደር (CIS ቁጥጥሮች) - cisecurity.org

7. የበረዶ ቅንጣት ሰነድ - የረድፍ መዳረሻ መመሪያዎች - docs.snowflake.com

8. የጉግል ክላውድ ዶክመንቴሽን - የቢግQuery ረድፍ-ደረጃ ደህንነት - docs.cloud.google.com

9. BITOL - ክፍት የውሂብ ኮንትራት መደበኛ (ODCS) v3.1.0 - bitol-io.github.io

10. BITOL (GitHub) - ክፍት የውሂብ ኮንትራት መደበኛ - github.com

11. የአፓቼ የአየር ፍሰት - ሰነድ (የተረጋጋ) - airflow.apache.org

12. Apache Airflow - DAGs (ዋና ፅንሰ ሀሳቦች) - airflow.apache.org

13. የdbt ቤተ ሙከራዎች ሰነድ - dbt ምንድን ነው? - docs.getdbt.com

14. የdbt ቤተ ሙከራዎች ሰነድ - ስለ dbt ሞዴሎች - docs.getdbt.com

15. የdbt ቤተ ሙከራዎች ሰነዳ - ሰነዶች - docs.getdbt.com

16. የdbt ቤተ ሙከራዎች ሰነድ - የውሂብ ሙከራዎች - docs.getdbt.com

17. የdbt ቤተ ሙከራዎች ሰነድ - dbt የትርጉም ንብርብር - docs.getdbt.com

18. የፋይትትራን ሰነድ - ለመጀመር - fivetran.com

19. ፊቬትራን - ኮኔክተሮች - fivetran.com

20. የAWS ሰነድ - የAWS Lambda ገንቢ መመሪያ - docs.aws.amazon.com

21. GitHub - GitHub Copilot - github.com

22. የጂትሃብ ሰነዶች - በጂትሃብ ኮፒሎት አማካኝነት በአይዲኢዎ ውስጥ የኮድ ጥቆማዎችን ማግኘት - docs.github.com

23. ማይክሮሶፍት ለርን - የSQL GitHub Copilot (VS Code extension) - learn.microsoft.com

24. የዳይናትሬስ ዶክመንቴሽን - የውሂብ ታዛቢነት - docs.dynatrace.com

25. ዳታጋላክሲ - የውሂብ ታዛቢነት ምንድን ነው? - datagalaxy.com

26. የታላቁ ግምቶች ሰነድ - የተስፋዎች አጠቃላይ እይታ - docs.greatexpectations.io

የቅርብ ጊዜውን የ AI ኦፊሴላዊ የ AI ረዳት መደብር ያግኙ

ስለ እኛ