የAI ሞዴሎችን እንዴት ማሰማራት እንደሚቻል

አጭር መልስ ፡ የAI ሞዴልን ማሰማራት ማለት የማቅረቢያ ንድፍ (በእውነተኛ ጊዜ፣ ባች፣ ዥረት ወይም ጠርዝ) መምረጥ ማለት ሲሆን ከዚያም መላውን መንገድ እንደገና ሊባዛ የሚችል፣ ሊታይ የሚችል፣ ደህንነቱ የተጠበቀ እና ሊቀለበስ የሚችል ማድረግ ማለት ነው። ሁሉንም ነገር ሲያስተካክሉ እና በምርት-መሰል የክፍያ ጭነቶች ላይ የp95/p99 መዘግየትን ሲለኩ፣ አብዛኛዎቹን “በላፕቶፔ ላይ የሚሰሩ” ብልሽቶች ያመልጣሉ።

ቁልፍ ነጥቦች፡

የማሰማራት ቅጦች፡- ለመሳሪያዎች ከመወሰንዎ በፊት በእውነተኛ ጊዜ፣ ባች፣ ዥረት ወይም ጠርዝ ይምረጡ።

መባዛት፡- መንሸራተትን ለመከላከል ሞዴሉን፣ ባህሪያቱን፣ ኮዱን እና አካባቢውን ሥሪት ያድርጉ።

ታዛቢነት፡- የዘገየነት ጅራትን፣ ስህተቶችን፣ ሙሌትን እና የውሂብ ወይም የውጤት ስርጭቶችን ያለማቋረጥ መከታተል።

ደህንነቱ የተጠበቀ ልቀት፡- አውቶማቲክ የመልሶ መመለሻ ገደቦችን በመጠቀም የካናሪ፣ ሰማያዊ-አረንጓዴ ወይም የጥላ ሙከራን ይጠቀሙ።

ደህንነት እና ግላዊነት ፡ የፈቃድ፣ የዋጋ ገደቦችን እና የሚስጥር አስተዳደርን ይተግብሩ፣ እና በምዝግብ ማስታወሻዎች ውስጥ PIIን ይቀንሱ።

ከዚህ ጽሑፍ በኋላ ሊያነቧቸው የሚችሏቸው ጽሑፎች፡ 

🔗 የ AI አፈፃፀምን እንዴት እንደሚለካ
አስተማማኝ የ AI ውጤቶችን ለማግኘት መለኪያዎችን፣ መለኪያዎችን እና የእውነተኛ ዓለም ቼኮችን ይማሩ።.

🔗 በ AI አማካኝነት ተግባራትን በራስ-ሰር እንዴት ማድረግ እንደሚቻል
ተደጋጋሚ ስራዎችን ወደ የስራ ፍሰቶች ይቀይሩት፤ ፕሮምፖችን፣ መሳሪያዎችን እና ውህደቶችን በመጠቀም።.

🔗 የ AI ሞዴሎችን እንዴት መሞከር እንደሚቻል
ሞዴሎችን በተጨባጭ ለማነፃፀር ግምገማዎችን፣ የውሂብ ስብስቦችን እና የውጤት አሰጣጥን ይንደፉ።.

🔗 እንዴት ከ AI ጋር መነጋገር እንደሚቻል
የተሻሉ ጥያቄዎችን ይጠይቁ፣ አውድ ያዘጋጁ እና ግልጽ መልሶችን በፍጥነት ያግኙ።.

---

1) “ማሰማራት” በእርግጥ ምን ማለት ነው (እና ለምን ኤፒአይ ብቻ እንዳልሆነ) 🧩

ሰዎች “ሞዴሉን አሰማራ” ሲሉ፣ ከእነዚህ ውስጥ የትኛውንም ማለት ይችላሉ፡

• አንድ መተግበሪያ በእውነተኛ ጊዜ መደምደሚያን እንዲጠራ የመጨረሻ ነጥብን ያሳዩ Vertex AI: ሞዴልን ወደ መጨረሻ ነጥብ ያሰማሩ ፣ Amazon SageMaker: Real-time Infession )

• በዳታቤዝ ውስጥ ትንበያዎችን ለማዘመን በየምሽቱ የባች ውጤት ያስመዝግቡ Amazon SageMaker Batch Transform )

• የዥረት ማጠቃለያ (ክስተቶች ያለማቋረጥ ይመጣሉ፣ ትንበያዎች ያለማቋረጥ ይወጣሉ) ( የደመና የውሂብ ፍሰት፡ በትክክል-አንድ ጊዜ ከቢያንስ አንድ ጊዜ ጋር ሲነጻጸር ፣ የደመና የውሂብ ፍሰት ዥረት ሁነታዎች )

• የጠርዝ ማሰማራት (ስልክ፣ አሳሽ፣ የተከተተ መሳሪያ ወይም "በፋብሪካ ውስጥ ያለ ትንሽ ሳጥን") ( LiterT በመሳሪያ ላይ ያለ ማጠቃለያ ፣ የLiterRT አጠቃላይ እይታ )

• ውስጣዊ የመሳሪያ ማሰማራት (ተንታኝ የሚመለከት የተጠቃሚ በይነገጽ፣ ማስታወሻ ደብተሮች ወይም የታቀዱ ስክሪፕቶች)

ስለዚህ ማሰማራት “ሞዴሉን ተደራሽ ማድረግ” እና የበለጠ እንደሚከተለው ነው፡

• ማሸግ + አገልግሎት + ልኬት + ክትትል + አስተዳደር + መልሶ መመለስ ( ሰማያዊ-አረንጓዴ ማሰማራት )

ልክ እንደ ምግብ ቤት መክፈት ነው። በእርግጥ ጥሩ ምግብ ማብሰል አስፈላጊ ነው። ግን አሁንም ሕንፃውን፣ ሰራተኞቹን፣ ማቀዝቀዣውን፣ ምናሌዎቹን፣ የአቅርቦት ሰንሰለትን እና በእራት ውስጥ ያለውን ፍሪጅ ውስጥ ሳያለቅሱ የእራት ግርግርን ለመቋቋም የሚያስችል መንገድ ያስፈልግዎታል። ፍጹም ዘይቤ አይደለም… ግን ተረድተኸዋል። 🍝

---

2) “የAI ሞዴሎችን እንዴት ማሰማራት እንደሚቻል” ጥሩ ስሪት የሚያደርገው ምንድን ነው ✅

“ጥሩ ማሰማራት” በጣም ጥሩ በሆነ መንገድ አሰልቺ ነው። በጫና ስር አስቀድሞ የሚጠበቅ ባህሪ አለው፣ እና ካልሆነ በፍጥነት መመርመር ይችላሉ።.

"ጥሩ" የሚለው ቃል ብዙውን ጊዜ ምን እንደሚመስል እነሆ፦

• ሊባዙ የሚችሉ ግንባታዎች
  ተመሳሳይ ኮድ + ተመሳሳይ ጥገኝነቶች = ተመሳሳይ ባህሪ። ምንም የሚያስፈራ "በላፕቶፔዬ ላይ ይሰራል" ስሜት የለም 👻 ( Docker: ኮንቴይነር ምንድን ነው? )

• ግልጽ የሆነ የበይነገጽ ኮንትራት
  ግብዓቶች፣ ውጤቶች፣ ንድፎች እና የጠርዝ መያዣዎች ተገልጸዋል። ምንም አይነት አስገራሚ አይነቶች በ2 ሰዓት ላይ የሉም። ( OpenAPI: OpenAPI ምንድን ነው?፣ JSON Schema )

• ከእውነታው ጋር የሚዛመድ አፈጻጸም
  በምርት መሰል ሃርድዌር እና በተጨባጭ ጭነቶች ላይ የሚለካ መዘግየት እና የውጤት መጠን።

• በጥርስ ክትትል፤
  እርምጃ የሚቀሰቅሱ መለኪያዎች፣ ምዝግብ ማስታወሻዎች፣ ዱካዎች እና የመንሸራተት ፍተሻዎች (ማንም የማይከፍታቸው ዳሽቦርዶች ብቻ አይደሉም)። ( SRE Book: Monitoring Distributed Systems )

• ደህንነቱ የተጠበቀ የልቀት ስትራቴጂ
  ካናሪ ወይም ሰማያዊ-አረንጓዴ፣ ቀላል የመዝለል ስትራቴጂ፣ ጸሎት የማያስፈልገው ስሪት። ( ካናሪ ልቀት ፣ ሰማያዊ-አረንጓዴ ማሰማራት )

• የወጪ ግንዛቤ
  "ፈጣን" ሂሳቡ የስልክ ቁጥር እስኪመስል ድረስ በጣም ጥሩ ነው 📞💸

• 
  በምስጢር አስተዳደር፣ በመዳረሻ ቁጥጥር፣ በPII አያያዝ እና በኦዲት አቅም ውስጥ ደህንነት እና ግላዊነት ተፈጥሯል Kubernetes Secrets ፣ NIST SP 800-122 )

እነዚህን በተከታታይ ማድረግ ከቻልክ፣ ከአብዛኞቹ ቡድኖች ቀድመህ ትሄዳለህ። እውነቱን እንነጋገር።.

---

3) ትክክለኛውን የማሰማሪያ ንድፍ ይምረጡ (መሳሪያዎችን ከመምረጥዎ በፊት) 🧠

የእውነተኛ ጊዜ የኤፒአይ ማጠቃለያ ⚡

ምርጥ ጊዜ፦

• ተጠቃሚዎች ፈጣን ውጤቶችን ይፈልጋሉ (ምክሮች፣ የማጭበርበር ፍተሻዎች፣ ውይይት፣ ግላዊነት ማላበስ)

• በጥያቄ ወቅት ውሳኔዎች መከሰት አለባቸው

ጥንቃቄዎች፡

• p99 መዘግየት ከአማካይ በላይ አስፈላጊ ነው ( The Tail at Scale ፣ SRE መጽሐፍ፡ የተከፋፈሉ ስርዓቶችን መከታተል )

• አውቶማቲክ ማስተካከያ ጥንቃቄ የተሞላበት ማስተካከያ ያስፈልገዋል ( Kubernetes Horizontal Pod Autoscaling )

• ቀዝቃዛ ጅምር ተንኮለኛ ሊሆን ይችላል… ልክ እንደ ድመት ብርጭቆ ከጠረጴዛው ላይ እየገፋች ( AWS Lambda አፈጻጸም አካባቢ የህይወት ዑደት )

የቡድን ውጤት 📦

ምርጥ ጊዜ፦

• ትንበያዎች ሊዘገዩ ይችላሉ (በአንድ ሌሊት የአደጋ ውጤት፣ የማቋረጥ ትንበያ፣ የETL ማበልጸጊያ) ( የአማዞን ሳጅሜከር ባች ትራንስፎርም )

• ወጪ ቆጣቢነት እና ቀላል ስራዎችን ይፈልጋሉ

ጥንቃቄዎች፡

• የውሂብ ትኩስነት እና የኋላ መሙላት

• የባህሪ ሎጂክን ከስልጠና ጋር ወጥነት እንዲኖረው ማድረግ

የዥረት ማጠቃለያ 🌊

ምርጥ ጊዜ፦

• ክስተቶችን ያለማቋረጥ ያካሂዳሉ (IoT፣ clickstreams፣ የክትትል ስርዓቶች)

• ጥብቅ የጥያቄ-ምላሽ ሳይኖር በእውነተኛ ጊዜ የሚደረጉ ውሳኔዎችን ይፈልጋሉ

ጥንቃቄዎች፡

• በትክክል-አንድ ጊዜ እና ቢያንስ አንድ ጊዜ ትርጉሞች ( የደመና ዳታ ፍሰት፡ በትክክል-አንድ ጊዜ እና ቢያንስ-አንድ ጊዜ )

• የክልል አስተዳደር፣ ድጋሚ ሙከራዎች፣ እንግዳ የሆኑ ድግግሞሾች

የጠርዝ ማሰማራት 📱

ምርጥ ጊዜ፦

• የአውታረ መረብ ጥገኝነት ሳይኖር ዝቅተኛ መዘግየት ( LiterRT on-device inívement )

• የግላዊነት ገደቦች

• ከመስመር ውጭ አካባቢዎች

ጥንቃቄዎች፡

• የሞዴል መጠን፣ ባትሪ፣ መጠን፣ የሃርድዌር መከፋፈል ( ከስልጠና በኋላ ያለው መጠን (የቴንሶርፍሎው ሞዴል ማመቻቸት) )

• ዝማኔዎች አስቸጋሪ ናቸው (በዱር ውስጥ 30 ስሪቶችን አይፈልጉም…)

መጀመሪያ ንድፉን ይምረጡ፣ ከዚያም ቁልል ይምረጡ። አለበለዚያ አንድ ካሬ ሞዴል ክብ የሩጫ ጊዜ እንዲያገኝ ያስገድዱታል። ወይም እንደዚህ ያለ ነገር። 😬

---

4) ሞዴሉን ከምርት ጋር እንዳይገናኝ በማሸግ ማሸግ 📦🧯

አብዛኛዎቹ "ቀላል ማሰማራቶች" በጸጥታ የሚሞቱበት ቦታ ይህ ነው።.

የሁሉም ነገር ስሪት (አዎ፣ ሁሉም ነገር)

• የሞዴል ቅርስ (ክብደቶች፣ ግራፍ፣ ቶኬይዘር፣ የመለያ ካርታዎች)

• የባህሪ አመክንዮ (ለውጥ፣ መደበኛነት፣ ኢንኮደር)

• የማጣቀሻ ኮድ (ቅድመ-ሂደት/ድህረ-ሂደት)

• አካባቢ (ፓይዘን፣ CUDA፣ የስርዓት ሊብስ)

የሚሰራ ቀላል አቀራረብ፡

• ሞዴሉን እንደ የተለቀቀ ቅርስ አድርገው ይመለከቱት

• በስሪት መለያ ያስቀምጡት

• የሞዴል ካርድ አይነት ሜታዳታ ፋይል ያስፈልጋል፡ ንድፍ፣ መለኪያዎች፣ የሥልጠና የውሂብ ቅጽበታዊ ገጽ እይታ ማስታወሻዎች፣ የታወቁ ገደቦች ( ለሞዴል ሪፖርት የሚሆኑ የሞዴል ካርዶች )

ኮንቴይነሮች ይረዳሉ፣ ግን አታምልኳቸው 🐳

ኮንቴይነሮች በጣም ጥሩ ናቸው ምክንያቱም የሚከተሉት ናቸው፦

• የፍሬን ጥገኛነቶች ( Docker: ኮንቴይነር ምንድን ነው? )

• ግንባታዎችን መደበኛ ማድረግ

• የማሰማራት ኢላማዎችን ቀላል ማድረግ

ግን አሁንም የሚከተሉትን ማስተዳደር ያስፈልግዎታል:

• የመሠረት ምስል ዝመናዎች

• የጂፒዩ ነጂዎች ተኳሃኝነት

• የደህንነት ቅኝት

• የምስል መጠን (ማንም ሰው 9GB “ሰላም ዓለም” አይወድም) ( የዶከር ግንባታ ምርጥ ልምዶች )

በይነገጹን መደበኛ ያድርጉት

የግቤት/ውጤት ቅርጸትዎን ቀደም ብለው ይወስኑ፦

• ለቀላልነት JSON (ቀርፋፋ፣ ግን ወዳጃዊ) ( JSON Schema )

• የአፈጻጸም ፕሮቶቡፍ ( የፕሮቶኮል ባፈሮች አጠቃላይ እይታ )

• ለምስሎች/ኦዲዮ በፋይል ላይ የተመሰረቱ የክፍያ ጭነቶች (እንዲሁም ሜታዳታ)

እና እባክዎን ግብዓቶችን ያረጋግጡ። ልክ ያልሆኑ ግብዓቶች “ለምን ከንቱ ትኬቶችን እየመለሰ ነው” የሚለው ዋነኛው ምክንያት ናቸው። ( OpenAPI: OpenAPI ምንድን ነው?፣ JSON Schema )

---

5) የማገልገል አማራጮች - ከ"ቀላል ኤፒአይ" እስከ ሙሉ የሞዴል አገልጋዮች 🧰

ሁለት የተለመዱ መንገዶች አሉ፡

አማራጭ ሀ፡ የመተግበሪያ አገልጋይ + የግምታዊ ኮድ (የፈጣን ኤፒአይ አይነት አቀራረብ) 🧪

ሞዴሉን የሚጭን እና ትንበያዎችን የሚመልስ ኤፒአይ ትጽፋለህ። ( FastAPI )

ጥቅሞች፡

• ለማበጀት ቀላል

• ለቀላል ሞዴሎች ወይም ለቅድመ-ደረጃ ምርቶች በጣም ጥሩ

• ቀጥተኛ ፈቃድ፣ ማስተላለፊያ እና ውህደት

ጉዳቶች፡

• የአፈጻጸም ማስተካከያ (ባቺንግ፣ ክር ማድረግ፣ የጂፒዩ አጠቃቀም) የእርስዎ ባለቤት ነው

• አንዳንድ ጎማዎችን እንደገና ታድሳለህ፣ ምናልባት መጀመሪያ ላይ መጥፎ ሊሆን ይችላል

አማራጭ ለ፡ የሞዴል አገልጋይ (TorchServe / Triton-style approach) 🏎️

የሚከተሉትን የሚያስተናግዱ ልዩ አገልጋዮች

• ባቺንግ ( ትሪቶን፡ ዳይናሚክ ባቺንግ እና ኮንኮርንታል ሞዴል አተገባበር )

• ተመሳሳይነት ( ትሪቶን፡ ተመሳሳይነት ያለው ሞዴል አፈፃፀም )

• በርካታ ሞዴሎች

• የጂፒዩ ቅልጥፍና

• ደረጃውን የጠበቁ የመጨረሻ ነጥቦች ( TorchServe ሰነዶች ፣ Triton Inference Server ሰነዶች )

ጥቅሞች፡

• የተሻሉ የአፈጻጸም ቅጦች ከሳጥኑ ውጭ

• በማገልገል እና በንግድ ሎጂክ መካከል ንጹህ መለያየት

ጉዳቶች፡

• ተጨማሪ የአሠራር ውስብስብነት

• ውቅር… እንደ የሻወር ሙቀት ማስተካከል ያለ አስጨናቂ ሊመስል ይችላል

የተቀላቀለ ንድፍ በጣም የተለመደ ነው፦

• የሞዴል አገልጋይ ለግምታዊ ( Triton: Dynamic batching )

• ለፈቃድ ቀጭን የኤፒአይ ጌትዌይ፣ የጥያቄ ቅርፅ፣ የንግድ ደንቦች እና የዋጋ ገደብ ( ኤፒአይ ጌትዌይ throttling )

---

6) የንፅፅር ሰንጠረዥ - ለማሰማራት ታዋቂ መንገዶች (በሐቀኝነት ስሜት) 📊😌

የ AI ሞዴሎችን እንዴት ማሰማራት እንደሚቻል ሲያውቁ የሚጠቀሙባቸውን አማራጮች ተግባራዊ ቅጽበታዊ ገጽ እይታ ነው ።

መሳሪያ / አቀራረብ	ታዳሚዎች	ዋጋ	ለምን እንደሚሰራ
Docker + FastAPI (ወይም ተመሳሳይ)	ትናንሽ ቡድኖች፣ ጅምር ኩባንያዎች	ፍሪ-ኢሽ	ቀላል፣ ተለዋዋጭ፣ ለመላክ ፈጣን - ማንኛውንም የመጠን ችግር "ይሰማዎት" ( ዶከር ፣ ፈጣን ኤፒአይ )
ኩበርኔትስ (እራስዎ ያድርጉት)	የመድረክ ቡድኖች	ኢንፍራ-ጥገኛ	ቁጥጥር + ሊሰፋ የሚችል… እንዲሁም፣ ብዙ እጀታዎች፣ አንዳንዶቹ የተረገሙ ናቸው ( Kubernetes HPA )
የሚተዳደር የML መድረክ (የደመና ML አገልግሎት)	አነስተኛ ኦፕሬሽን የሚፈልጉ ቡድኖች	እየሄዱ ሲሄዱ ይክፈሉ	አብሮገነብ የማሰማራት የስራ ፍሰቶች፣ የክትትል መንጠቆዎች - አንዳንድ ጊዜ ሁልጊዜ ለሚሰሩ የመጨረሻ ነጥቦች ውድ ናቸው ( Vertex AI ማሰማራት ፣ SageMaker በእውነተኛ ጊዜ መደምደሚያ )
አገልጋይ አልባ ተግባራት (ለቀላል ድምዳሜ)	በክስተት ላይ የተመሰረቱ መተግበሪያዎች	በጥቅም ላይ ይክፈሉ	ለተጨናነቀ የትራፊክ ፍሰት በጣም ጥሩ ነው - ነገር ግን ቀዝቃዛ ጅምር እና የሞዴል መጠን ቀንዎን ሊያበላሹት ይችላሉ 😬 ( የAWS Lambda ቀዝቃዛ ጅምር )
የ NVIDIA ትሪቶን ኢንፈረንስ አገልጋይ	በአፈጻጸም ላይ ያተኮሩ ቡድኖች	ነፃ ሶፍትዌር፣ የኢንፍራሬድ ወጪ	እጅግ በጣም ጥሩ የጂፒዩ አጠቃቀም፣ ባችኪንግ፣ ባለብዙ ሞዴል - ውቅር ትዕግስት ይጠይቃል ( ትሪቶን፡ ዳይናሚክ ባቺንግ )
ቶርችሰርቭ	ፒቶርክ - ከባድ ቡድኖች	ነፃ ሶፍትዌር	ጥሩ ነባሪ የማቅረቢያ ቅጦች - ለከፍተኛ ደረጃ ማስተካከያ ሊያስፈልግ ይችላል ( TorchServe docs )
ቤንቶኤምኤል (ማሸጊያ + አቅርቦት)	የኤምኤል መሐንዲሶች	ነፃ ኮር፣ ተጨማሪዎች ይለያያሉ	ለስላሳ ማሸጊያ፣ ጥሩ የገንቢ ተሞክሮ - አሁንም የኢንፍራሬድ ምርጫዎች ያስፈልጉዎታል ( ለማሰማራት የቤንቶኤምኤል ማሸጊያ )
ሬይ ሰርቭ	የተከፋፈሉ ስርዓቶች ሰዎች	ኢንፍራ-ጥገኛ	በአግድም ሚዛን ይሰጣል፣ ለቧንቧ መስመሮች ጥሩ ነው - ለትናንሽ ፕሮጀክቶች "ትልቅ" ይመስላል ( ሬይ ሰርቭ ሰነዶች )

የሰንጠረዥ ማስታወሻ፡- “ፍሪ-ኢሽ” የሚለው ቃል የእውነተኛ ህይወት ቃል ነው። ምክንያቱም በጭራሽ ነፃ አይደለም። እንቅልፍዎ ቢሆንም እንኳ ሁልጊዜ የሆነ ቦታ ሂሳብ አለ። 😴

---

7) አፈጻጸም እና ልኬት - መዘግየት፣ መተላለፊያ እና እውነት 🏁

የአፈጻጸም ማስተካከያ ማለት ማሰማራት የእጅ ሥራ የሚሆንበት ቦታ ነው። ግቡ “ፈጣን” አይደለም። ግቡ በተከታታይ በቂ ፈጣን ።

አስፈላጊ የሆኑ ዋና ዋና መለኪያዎች

• p50 መዘግየት ፡ የተለመደ የተጠቃሚ ተሞክሮ

• p95 / p99 መዘግየት ፡ ቁጣን የሚያመጣው ጅራት ( The Thread at Scale ፣ SRE መጽሐፍ፡ የተከፋፈሉ ስርዓቶችን መከታተል )

• የመተላለፊያ ይዘት ፡ በሰከንድ የሚጠየቁ ጥያቄዎች (ወይም ለጄኔሬተር ሞዴሎች በሰከንድ የሚላኩ ቶከኖች)

• የስህተት መጠን ፡ ግልጽ፣ ግን አንዳንድ ጊዜ ችላ ይባላል

• የሀብት አጠቃቀም ፡ ሲፒዩ፣ ጂፒዩ፣ ማህደረ ትውስታ፣ ቪአርኤም ( SRE Book: Monitoring Distributed Systems )

ለመጎተት የተለመዱ ማንሻዎች

• የBatching
  Combine ጥያቄዎችን ያቀርባል። ለ throughput በጣም ጥሩ ነው፣ ከመጠን በላይ ካደረጉት መዘግየትን ሊጎዳ ይችላል። ( Triton: Dynamic batching )

• ቁጥራዊነት
  ዝቅተኛ ትክክለኛነት (እንደ INT8 ያሉ) ግምታዊነትን ሊያፋጥን እና ማህደረ ትውስታን ሊቀንስ ይችላል። ትክክለኛነትን በትንሹ ሊያዳክም ይችላል። አንዳንድ ጊዜ ግን አያስደንቅም። ( ከስልጠና በኋላ ያለው መጠን )

• ማጠናቀር/ማመቻቸት
  ፣ የግራፍ ማመቻቻዎች፣ የ TensorRT-መሰል ፍሰቶች። ኃይለኛ፣ ግን ማረም ቅመም የበዛበት ሊሆን ይችላል 🌶️ ( ONNX ፣ ONNX የአሂድ ጊዜ ሞዴል ማመቻቸቶች )

• መሸጎጫ
  ግብዓቶች ከተደጋገሙ (ወይም መሸጎጫ ማስገባት ከቻሉ) ብዙ መቆጠብ ይችላሉ።

• 
  በሲፒዩ/ጂፒዩ አጠቃቀም፣ የወረፋ ጥልቀት ወይም የጥያቄ መጠን ላይ የራስ-ሰር ማመጣጠን Kubernetes HPA )

እንግዳ ነገር ግን እውነተኛ ምክር፡- እንደ የምርት መጠን መለካት። ትናንሽ የሙከራ ጭነት ይዋሻሉ። በትህትና ፈገግ ይላሉ ከዚያም በኋላ ይከዱሃል።.

---

8) ክትትል እና ታዛቢነት - በዓይነ ስውር አይብረሩ 👀📈

የሞዴል ክትትል ማለት የስራ ሰዓት ክትትል ብቻ አይደለም። የሚከተሉትን ማወቅ ይፈልጋሉ፦

• አገልግሎቱ ጤናማ ነው

• ሞዴሉ እየሰራ ነው

• መረጃው እየተንሸራተተ ነው

• ትንበያዎች እምነት የሚጣልባቸው እየሆኑ መጥተዋል ( የVertex AI ሞዴል ክትትል አጠቃላይ እይታ ፣ የአማዞን SageMaker ሞዴል ማሳያ )

ምን መከታተል እንዳለበት (ዝቅተኛው ተግባራዊ ስብስብ)

የአገልግሎት ጤና

• የጥያቄ ብዛት፣ የስህተት መጠን፣ የዘገየ ስርጭት ( SRE Book: Monitoring Distributed Systems )

• ሙሌት (ሲፒዩ/ጂፒዩ/ማህደረ ትውስታ)

• የወረፋው ርዝመት እና የወረፋው ጊዜ

የሞዴል ባህሪ

• የግቤት ባህሪ ስርጭቶች (መሰረታዊ ስታቲስቲክስ)

• የመክተት ደንቦች (ሞዴሎችን ለማካተት)

• የውጤት ስርጭቶች (በራስ መተማመን፣ የክፍል ድብልቅ፣ የውጤት ክልሎች)

• በግቤት ግብዓቶች ላይ ያልተለመደ ምርመራ (ቆሻሻ ማስገባት፣ ቆሻሻ ማውጣት)

የውሂብ ዝውውር እና የፅንሰ-ሀሳብ መዛባት

• የdrift ማንቂያዎች ተግባራዊ ሊሆኑ የሚችሉ መሆን አለባቸው ( Vertex AI: Monitor feature skew and drift ፣ Amazon SageMaker Model Monitor )

• አይፈለጌ መልዕክትን ከማስጠንቀቂያ ያስወግዱ - ሰዎች ሁሉንም ነገር ችላ እንዲሉ ያስተምራል

ሎግ ማድረግ፣ ግን “ሁሉንም ነገር ለዘላለም መመዝገብ” የሚለው አካሄድ አይደለም 🪵

ሎግ፡

• የጥያቄ መታወቂያዎች

• የሞዴል ስሪት

• የንድፍ ማረጋገጫ ውጤቶች ( OpenAPI: OpenAPI ምንድን ነው? )

• አነስተኛ የተዋቀረ የክፍያ ጭነት ሜታዳታ (ጥሬ PII አይደለም) ( NIST SP 800-122 )

ስለ ግላዊነት ይጠንቀቁ። ምዝግብ ማስታወሻዎችዎ የውሂብ መፍሰስ እንዲሆኑ አይፈልጉም። ( NIST SP 800-122 )

---

9) CI/CD እና የልቀት ስልቶች - ሞዴሎችን እንደ እውነተኛ ልቀቶች ይያዙ 🧱🚦

አስተማማኝ ማሰማራት ከፈለጉ የቧንቧ መስመር ይገንቡ። ቀላል እንኳን።.

ጠንካራ ፍሰት

• የቅድመ-ሂደት እና የድህረ-ሂደት አሃድ ሙከራዎች

• የውህደት ሙከራ ከታወቀ የግቤት-ውጤት “ወርቃማ ስብስብ” ጋር

• የጭነት ሙከራ መነሻ (ቀላል ክብደት ያለው እንኳን)

• ቅርስ ይገንቡ (ኮንቴይነር + ሞዴል) ( የዶከር ግንባታ ምርጥ ልምዶች )

• ወደ መድረክ አሰማሩ

• የካናሪ መልቀቅ ለትንሽ የትራፊክ ክፍል ( ካናሪ መልቀቅ )

• ቀስ በቀስ ወደ ላይ ከፍ ይበሉ

• በቁልፍ ገደቦች ላይ አውቶማቲክ መልሶ ማጫወት ( ሰማያዊ-አረንጓዴ ማሰማራት )

የአእምሮዎን ጤና የሚጠብቁ የህትመት ቅጦች

• ካናሪ ፡ መጀመሪያ ወደ 1-5% የትራፊክ ፍሰት ይልቀቁ ( ካናሪ ልቀት )

• ሰማያዊ-አረንጓዴ ፡ አዲሱን ስሪት ከአሮጌው ጎን ያሂዱ፣ ዝግጁ ሲሆኑ ይገልብጡ ( ሰማያዊ-አረንጓዴ ማሰማራት )

• የጥላ ሙከራ ፡ እውነተኛ ትራፊክ ወደ አዲሱ ሞዴል መላክ ግን ውጤቶቹን አይጠቀሙ (ለግምገማ በጣም ጥሩ) ( ማይክሮሶፍት፡ የጥላ ሙከራ )

እና የመጨረሻ ነጥቦችንዎን ወይም መንገድዎን በሞዴል ስሪት ያስተካክሉ። የወደፊትን ያመሰግናሉ። የአሁኑን እርስዎም ያመሰግናሉ፣ ግን በጸጥታ።.

---

10) ደህንነት፣ ግላዊነት እና “እባክዎ ነገሮችን አያፈሱ” 🔐🙃

የደህንነት ሰራተኞች እንደ ያልተጋበዘ እንግዳ ዘግይተው ይመጣሉ። ቀደም ብሎ መጋበዝ የተሻለ ነው።.

ተግባራዊ የማረጋገጫ ዝርዝር

• ማረጋገጫ እና ፈቃድ (ሞዴሉን ማን ሊጠራው ይችላል?)

• የዋጋ ገደብ (ከአላግባብ መጠቀም እና ከአደጋ አውሎ ነፋሶች ይጠብቁ) ( የኤፒአይ ጌትዌይ መዘጋት )

• የምስጢር አስተዳደር (በኮድ ውስጥ ቁልፎች የሉም፣ በውቅረት ፋይሎች ውስጥ ቁልፎች የሉም…) ( AWS Secrets Manager ፣ Kubernetes Secrets )

• የአውታረ መረብ መቆጣጠሪያዎች (የግል ንዑስ ኔት፣ የአገልግሎት-ወደ-አገልግሎት መመሪያዎች)

• የኦዲት ምዝግብ ማስታወሻዎች (በተለይም ለስሜታዊ ትንበያዎች)

• የውሂብ ቅነሳ (የሚያስፈልግዎትን ብቻ ያስቀምጡ) ( NIST SP 800-122 )

ሞዴሉ የግል መረጃን የሚነካ ከሆነ፦

• የሃሽ መለያዎችን ቀይር ወይም አጥፋ

• ጥሬ የክፍያ ጭነቶችን ከመመዝገብ ይቆጠቡ ( NIST SP 800-122 )

• የማቆያ ደንቦችን ይግለጹ

• የሰነድ የውሂብ ፍሰት (አሰልቺ፣ ግን መከላከያ)

እንዲሁም፣ ፈጣን መርፌ እና የውጤት አላግባብ መጠቀም ለጄኔሬቲቭ ሞዴሎች አስፈላጊ ሊሆን ይችላል። ያክሉ፦ ( ለLLM አፕሊኬሽኖች ከፍተኛ 10 የOWASP ፣ OWASP፦ ፈጣን መርፌ )

• የግብዓት ማጽጃ ደንቦች

• የውጤት ማጣሪያ ተገቢ በሚሆንበት ጊዜ

• ለመሳሪያ ጥሪ ወይም የውሂብ ጎታ እርምጃዎች መከላከያዎች

ፍጹም የሆነ ስርዓት የለም፣ ግን ደካማ እንዲሆን ማድረግ ይችላሉ።.

---

11) የተለመዱ ወጥመዶች (እንደ ተለመደው ወጥመዶች) 🪤

ክላሲኮች እነሆ፡

• የሥልጠና አገልግሎት አሰጣጥ skew
  ቅድመ-ሂደት በስልጠና እና በምርት መካከል ይለያያል። በድንገት ትክክለኛነት ይቀንሳል እና ማንም ለምን እንደሆነ አያውቅም። ( የ TensorFlow የውሂብ ማረጋገጫ፡ የሥልጠና አገልግሎት አሰጣጥ skewን ለይቶ ማወቅ )

• ምንም የንድፍ ማረጋገጫ የለም
  አንድ የላይኛው ለውጥ ሁሉንም ነገር ይሰብራል። ሁልጊዜም ጮክ ብሎ አይደለም… ( JSON Schema ፣ OpenAPI: OpenAPI ምንድን ነው? )

• የጅራት መዘግየትን ችላ ማለት
  p99 ተጠቃሚዎች ሲናደዱ የሚኖሩበት ቦታ ነው። ( The Hill at Scale )

• መርሳት
  በቤትዎ ውስጥ ያለውን እያንዳንዱን መብራት እንደመተው ነው፣ ነገር ግን አምፖሎቹ ከገንዘብ የተሠሩ ናቸው።

• የሪል እስቴት እቅድ የለም
  “እንደገና እናስተካክላለን” እቅድ አይደለም። የትሮይ ካፖርት ለብሶ ተስፋ ነው። ( ሰማያዊ-አረንጓዴ ማሰማራት )

• የክትትል ጊዜ ብቻ
  ሞዴሉ የተሳሳተ በሚሆንበት ጊዜ አገልግሎቱ ሊሠራ ይችላል። ያ ደግሞ የከፋ ሊሆን ይችላል። ( Vertex AI: Monitor feature skew and drift ፣ Amazon SageMaker Model Monitor )

ይህንን እያነበቡ እና “አዎ፣ ሁለቱን እናዘጋጃለን” ብለው የሚያስቡ ከሆነ ወደ ክለቡ እንኳን በደህና መጡ። ክለቡ መክሰስ እና መለስተኛ ጭንቀት አለው። 🍪

---

12) ማጠቃለያ - አእምሮዎን ሳያጡ የ AI ሞዴሎችን እንዴት ማሰማራት እንደሚቻል 😄✅

ማሰማራት የ AI እውነተኛ ምርት የሚሆንበት ቦታ ነው። ማራኪ አይደለም፣ ነገር ግን እምነት የሚመነጨው እዚያ ነው።.

ፈጣን ማጠቃለያ

• የማሰማራት ንድፍዎን መጀመሪያ ይወስኑ (በእውነተኛ ጊዜ፣ ባች፣ ዥረት፣ ጠርዝ) 🧭 ( የ Amazon SageMaker Batch Transform ፣ Cloud Dataflow ዥረት ሁነታዎች ፣ LiteRT በመሳሪያ ላይ ያለ ማጠቃለያ )

• የመራባት ጥቅል (ሁሉንም ነገር ያውጡ፣ ኮንቴይነሩን በኃላፊነት ይያዙት) 📦 ( የዶከር ኮንቴይነሮች )

• በአፈጻጸም ፍላጎቶች ላይ በመመስረት የማገልገል ስትራቴጂ ይምረጡ (ቀላል API ከሞዴል አገልጋይ ጋር) 🧰 ( FastAPI ፣ Triton: Dynamic batching )

• አማካይን ብቻ ሳይሆን የp95/p99 መዘግየትን ይለኩ 🏁 ( The Hill at Scale )

• ለአገልግሎት ጤና እና የሞዴል ባህሪ ክትትል ያክሉ 👀 ( SRE Book: Monitoring Distributed Systems , Vertex AI Model Monitoring )

• በካናሪ ወይም በሰማያዊ-አረንጓዴ ደህንነቱ በተጠበቀ ሁኔታ ይንከባለሉ፣ እና መልሶ መመለሻውን ቀላል ያድርጉት 🚦 ( ካናሪ ልቀት ፣ ሰማያዊ-አረንጓዴ ማሰማራት )

• ከመጀመሪያው ቀን ጀምሮ በደህንነት እና በግላዊነት ይጋግሩ 🔐 ( የAWS ሚስጥሮች አስተዳዳሪ ፣ NIST SP 800-122 )

• አሰልቺ፣ ሊገመት የሚችል እና በሰነድ የተመዘገበ ያድርጉት - አሰልቺው ውብ ነው 😌

እና አዎ፣ የAI ሞዴሎችን እንዴት ማሰማራት እንደሚቻል መጀመሪያ ላይ የሚንበለበሉ የቦውሊንግ ኳሶችን ማንቀሳቀስ ሊመስል ይችላል። ነገር ግን የቧንቧ መስመርዎ ከተረጋጋ በኋላ፣ በሚያስደንቅ ሁኔታ እርካታ ያስገኛል። ልክ እንደ በመጨረሻም የተዝረከረከ መሳቢያ ማደራጀት… የምርት ትራፊክ ያለው መሳቢያው ብቻ ነው። 🔥🎳

ተደጋጋሚ ጥያቄዎች

በምርት ውስጥ የ AI ሞዴልን ማሰማራት ምን ማለት ነው?

የAI ሞዴልን ማሰማራት ብዙውን ጊዜ የትንበያ ኤፒአይን ከማጋለጥ የበለጠ ነገርን ያካትታል። በተግባር፣ ሞዴሉን እና ጥገዶቹን ማሸግ፣ የማቅረቢያ ንድፍ (በእውነተኛ ጊዜ፣ ባች፣ ዥረት ወይም ጠርዝ) መምረጥ፣ በአስተማማኝነት መመጠን፣ ጤናን እና መንሸራተትን መከታተል እና ደህንነቱ የተጠበቀ የልቀት እና የመመለሻ መንገዶችን ማዘጋጀትን ያካትታል። ጠንካራ ማሰማራት በጭነት ስር በሚገመት ሁኔታ የተረጋጋ ሆኖ ይቆያል እና የሆነ ነገር ሲበላሽ ሊታወቅ የሚችል ሆኖ ይቆያል።.

በእውነተኛ ጊዜ፣ ባች፣ ዥረት ወይም ጠርዝ ማሰማራት መካከል እንዴት እንደሚመረጥ

ትንበያዎች በሚያስፈልጉበት ጊዜ እና በሚተዳደሩባቸው ገደቦች ላይ በመመስረት የማሰማሪያ ስርዓቱን ይምረጡ። የእውነተኛ ጊዜ ኤፒአይዎች መዘግየት አስፈላጊ በሚሆንበት ጊዜ በይነተገናኝ ልምዶችን ያሟላሉ። የቡድን ውጤት አሰጣጥ መዘግየቶች ተቀባይነት ያላቸው እና የወጪ ቆጣቢነት መሪዎች ሲሆኑ በተሻለ ሁኔታ ይሰራል። ዥረት መልቀቅ ለቀጣይ የዝግጅት ሂደት ተስማሚ ነው፣ በተለይም የማድረስ ትርጉሞች አስቸጋሪ ሲሆኑ። የጠርዝ ማሰማራት ከመስመር ውጭ ክወና፣ ግላዊነት ወይም እጅግ በጣም ዝቅተኛ መዘግየት መስፈርቶች ተስማሚ ነው፣ ምንም እንኳን ዝማኔዎች እና የሃርድዌር ልዩነቶች ለማስተዳደር አስቸጋሪ ቢሆኑም።.

"በላፕቶፑ ላይ ይሰራል" የሚለውን የስርጭት ውድቀቶችን ለማስወገድ ምን እንደሚደረግ

ከሞዴል ክብደቶች በላይ ስሪት። በተለምዶ፣ የተቀረጸ የሞዴል ቅርስ (ቶከነዘሮችን ወይም የመለያ ካርታዎችን ጨምሮ)፣ ቅድመ-ሂደት እና የባህሪ አመክንዮ፣ የግምታዊ ኮድ እና ሙሉ የሩጫ ጊዜ አካባቢ (ፓይዘን/CUDA/ስርዓት ቤተ-መጻሕፍት) ያስፈልግዎታል። ሞዴሉን እንደ የልቀት ቅርስ አድርገው በመለያ የተሰጡ ስሪቶች እና ቀላል ክብደት ያለው ሜታዳታ በመጠቀም የንድፍ ግምቶችን፣ የግምገማ ማስታወሻዎችን እና የሚታወቁ ገደቦችን የሚገልጽ።.

በቀላል የFastAPI አይነት አገልግሎት ወይም በተወሰነ የሞዴል አገልጋይ ለማሰማራት ይሁን

ቀላል የመተግበሪያ አገልጋይ (የFastAPI አይነት አቀራረብ) ለቀደምት ምርቶች ወይም ቀጥተኛ ሞዴሎች በጥሩ ሁኔታ ይሰራል ምክንያቱም በማዞሪያ፣ በፈቃድ እና በውህደት ላይ ቁጥጥር ስለሚኖርዎት። የሞዴል አገልጋይ (TorchServe ወይም NVIDIA Triton-style) ጠንካራ የባችኪንግ፣ የእኩልነት እና የጂፒዩ ቅልጥፍናን ከሳጥኑ ውጭ ሊያቀርብ ይችላል። ብዙ ቡድኖች በሃይብሪድ ላይ ይወድቃሉ፡ ለግምታዊ ሞዴል አገልጋይ እና ለፈቃድ፣ ለጥያቄ ቅርፅ እና ለደረጃ ገደቦች ቀጭን የኤፒአይ ንብርብር።.

ትክክለኛነትን ሳይጥሱ መዘግየትን እና አፈጻጸምን እንዴት ማሻሻል እንደሚቻል

ትናንሽ ሙከራዎች ሊያሳስቱ ስለሚችሉ በምርት መሰል ሃርድዌር ላይ የp95/p99 መዘግየትን በመለካት ይጀምሩ፣ ምክንያቱም ትናንሽ ሙከራዎች ሊያሳስቱ ይችላሉ። የተለመዱ ማንሻዎች ባችኪንግ (የተሻለ የመተላለፊያ ይዘት፣ የከፋ መዘግየት)፣ ኳንቲዜሽን (አነስተኛ እና ፈጣን፣ አንዳንድ ጊዜ መጠነኛ ትክክለኛነት ያላቸው ልውውጦች)፣ ማጠናቀር እና የማመቻቸት ፍሰቶች (ONNX/TensorRT-like) እና ተደጋጋሚ ግብዓቶችን ወይም ኢምቤዲንግዎችን መሸጎጫ ያካትታሉ። በወረፋ ጥልቀት ላይ የተመሠረተ ራስ-ሰር ማመጣጠን የጅራት መዘግየት ወደ ላይ እንዳይወጣ ሊያደርግ ይችላል።.

ከ"መጨረሻው ነጥብ በላይ ነው" ባሻገር ምን አይነት ክትትል ያስፈልጋል

የአገልግሎት ሰዓት በቂ አይደለም፣ ምክንያቱም አንድ አገልግሎት የትንበያ ጥራት ሲሸረሸር ጤናማ ሊመስል ይችላል። ቢያንስ የጥያቄ መጠንን፣ የስህተት ፍጥነትን እና የዘገየ መዘግየትን እንዲሁም እንደ ሲፒዩ/ጂፒዩ/ማህደረ ትውስታ እና የወረፋ ጊዜ ያሉ የሙሌት ምልክቶችን ይከታተሉ። ለሞዴል ባህሪ፣ የግብዓት እና የውጤት ስርጭቶችን ከመሠረታዊ ያልተለመዱ ምልክቶች ጋር ይከታተሉ። ጫጫታ ከማስጠንቀቂያዎች ይልቅ እርምጃን የሚቀሰቅሱ የመንሸራተት ፍተሻዎችን እና የምዝግብ ማስታወሻ ጥያቄ መታወቂያዎችን፣ የሞዴል ስሪቶችን እና የንድፍ ማረጋገጫ ውጤቶችን ያክሉ።.

አዳዲስ የሞዴል ስሪቶችን ደህንነቱ በተጠበቀ ሁኔታ እንዴት መልቀቅ እና በፍጥነት ማገገም እንደሚቻል

ሞዴሎችን እንደ ሙሉ ልቀት አድርገው ይይዟቸው፣ ቅድመ-ሂደትን እና ድህረ-ሂደትን የሚፈትሽ የCI/CD ቧንቧ መስመር፣ የውህደት ፍተሻዎችን ከ"ወርቃማ ስብስብ" ጋር ያካሂዳል እና የጭነት መሰረትን ያቋቁማል። ለመልቀቂያዎች፣ ካናሪ የራምፕ ትራፊክን ቀስ በቀስ ይለቃል፣ ሰማያዊ-አረንጓዴ ደግሞ አሮጌውን ስሪት ወዲያውኑ ለመውደቅ በቀጥታ ያቆያል። የጥላ ሙከራ ተጠቃሚዎችን ሳይነካ በእውነተኛ ትራፊክ ላይ አዲስ ሞዴል ለመገምገም ይረዳል። ጥቅልል ​​ማድረግ የመጀመሪያ ደረጃ ዘዴ መሆን አለበት፣ በኋላ ላይ የታሰበ አይደለም።.

የ AI ሞዴሎችን እንዴት ማሰማራት እንደሚቻል ሲማሩ በጣም የተለመዱ ወጥመዶች

የሥልጠና አገልግሎት አሰጣጥ ስተት ክላሲክ ጉዳይ ነው፡ ቅድመ-ሂደት በስልጠና እና በምርት መካከል ይለያል፣ እና አፈፃፀሙ በጸጥታ ይቀንሳል። ሌላው ተደጋጋሚ ችግር የንድፍ ማረጋገጫ አለመኖር ነው፣ የላይኛው ለውጥ ግብዓቶችን በስውር መንገዶች የሚሰብርበት። ቡድኖች የጅራት መዘግየትን እና በአማካዮች ላይ ከመጠን በላይ ማተኮርን አቅልለው ይመለከቱታል፣ ወጪን ችላ ይላሉ (ስራ ፈት ጂፒዩዎች በፍጥነት ይጨምራሉ) እና የመልሶ ማጫወት እቅድን ይዘላሉ። የስራ ሰዓትን ብቻ መከታተል በተለይ አደገኛ ነው፣ ምክንያቱም “ወደላይ ግን የተሳሳተ” ከውድቀት የባሰ ሊሆን ይችላል።.

ማጣቀሻዎች

1. የአማዞን ድር አገልግሎቶች (AWS) - Amazon SageMaker: በእውነተኛ ጊዜ የተገኘ መደምደሚያ - docs.aws.amazon.com

2. የአማዞን ድር አገልግሎቶች (AWS) - የአማዞን ሳጅሜከር ባች ትራንስፎርም - docs.aws.amazon.com

3. የአማዞን ድር አገልግሎቶች (AWS) - የአማዞን ሳጅሜከር ሞዴል ሞኒተር - docs.aws.amazon.com

4. የአማዞን ድር አገልግሎቶች (AWS) - የኤፒአይ ጌትዌይ ጥያቄ መጨናነቅ - docs.aws.amazon.com

5. የአማዞን ድር አገልግሎቶች (AWS) - የAWS ሚስጥሮች አስተዳዳሪ፡ መግቢያ - docs.aws.amazon.com

6. የአማዞን ድር አገልግሎቶች (AWS) - AWS የላምዳ አፈፃፀም አካባቢ የህይወት ዑደት - docs.aws.amazon.com

7. ጉግል ክላውድ - Vertex AI፡ ሞዴልን ወደ መጨረሻ ነጥብ ያሰማሩ - docs.cloud.google.com

8. የጉግል ክላውድ - የቨርቴክስ ኤአይ ሞዴል ክትትል አጠቃላይ እይታ - docs.cloud.google.com

9. ጉግል ክላውድ - Vertex AI: የማሳያ ባህሪ ስዌም ኤንድ ድሪፍ - docs.cloud.google.com

10. የጉግል ክላውድ ጦማር - የውሂብ ፍሰት፡ በትክክል-አንድ ጊዜ እና ቢያንስ-አንድ ጊዜ የዥረት ሁነታዎች - cloud.google.com

11. ጉግል ክላውድ - የደመና የውሂብ ፍሰት ዥረት ሁነታዎች - docs.cloud.google.com

12. የጉግል ኤስአርኢ መጽሐፍ - የተከፋፈሉ ስርዓቶችን መከታተል - sre.google

13. የጉግል ምርምር - ጅራቱ በስኬል - research.google

14. LiteRT (Google AI) - LiteRT አጠቃላይ እይታ - ai.google.dev

15. LiteRT (Google AI) - LiteRT በመሣሪያ ላይ ፍንጭ - ai.google.dev

16. ዶከር - ኮንቴይነር ምንድን ነው? - docs.docker.com

17. Docker - የDocker ግንባታ ምርጥ ልምዶች - docs.docker.com

18. ኩበርኔትስ - የኩበርኔትስ ሚስጥሮች - kubernetes.io

19. Kubernetes - Horizontal Pod Autoscaling - kubernetes.io

20. ማርቲን ፎውለር - የካናሪ ልቀት - martinfowler.com

21. ማርቲን ፎውለር - ሰማያዊ-አረንጓዴ ማሰማራት - martinfowler.com

22. የOpenAPI ተነሳሽነት - OpenAPI ምንድን ነው? - openapis.org

23. JSON Schema - (በጣቢያው ላይ የተጠቀሰው) - json-schema.org

24. የፕሮቶኮል ባፈሮች - የፕሮቶኮል ባፈሮች አጠቃላይ እይታ - protobuf.dev

25. FastAPI - (በጣቢያው ላይ የተጠቀሰው) - fastapi.tiangolo.com

26. NVIDIA - Triton: ተለዋዋጭ ባቺንግ እና ኮንኮርንታል ሞዴል አተገባበር - docs.nvidia.com

27. NVIDIA - Triton: Concurrent Model Execution - docs.nvidia.com

28. NVIDIA - ትሪቶን ኢንፈረንስ ሰርቨር ሰነዶች - docs.nvidia.com

29. PyTorch - TorchServe docs - docs.pytorch.org

30. BentoML - ለማሰማራት የሚያገለግል ማሸጊያ - docs.bentoml.com

31. ሬይ - ሬይ ሰርቭ docs - docs.ray.io

32. TensorFlow - የድህረ-ስልጠና መጠን (TensorFlow ሞዴል ማሻሻያ) - tensorflow.org

33. TensorFlow - TensorFlow የውሂብ ማረጋገጫ፡ የሥልጠና አገልግሎት ሰጪ ስኬል ያግኙ - tensorflow.org

34. ONNX - (በጣቢያው ላይ የተጠቀሰው) - onnx.ai

35. ONNX የሩጫ ጊዜ - የሞዴል ማሻሻያዎች - onnxruntime.ai

36. NIST (ብሔራዊ የደረጃዎች እና የቴክኖሎጂ ተቋም) - NIST SP 800-122 - csrc.nist.gov

37. arXiv - የሞዴል ሪፖርት ለማድረግ የሞዴል ካርዶች - arxiv.org

38. ማይክሮሶፍት - የጥላ ሙከራ - microsoft.github.io

39. OWASP - OWASP ለ LLM አፕሊኬሽኖች 10 ምርጥ - owasp.org

40. OWASP GenAI የደህንነት ፕሮጀክት - OWASP: ፈጣን መርፌ - genai.owasp.org

የቅርብ ጊዜውን የ AI ኦፊሴላዊ የ AI ረዳት መደብር ያግኙ

ስለ እኛ