AI Scalability ምንድን ነው?

የሙከራ ማሳያ ሞዴል ትንሽ የፈተና ጭነት ሲደቅቅ እና እውነተኛ ተጠቃሚዎች በሚታዩበት ቅጽበት ከቀዘቀዙ የተመለከቱት ከሆነ ተንኮለኛውን ገጥሟችኋል። AI ለመረጃ፣ ለማስላት፣ ለማህደረ ትውስታ፣ የመተላለፊያ ይዘት - እና በሚያስገርም ሁኔታ ትኩረት ስግብግብ ነው። ስለዚህ AI Scalability ምንድን ነው, በእውነቱ, እና በየሳምንቱ ሁሉንም ነገር እንደገና ሳይጽፉ እንዴት ያገኛሉ?

ከዚህ ጽሑፍ በኋላ ሊያነቧቸው የሚችሏቸው ጽሑፎች፡

🔗 የ AI አድልዎ ምን እንደሆነ በቀላሉ ይብራራል
የተደበቁ አድሎአዊነት የ AI ውሳኔዎችን እና የሞዴል ውጤቶችን እንዴት እንደሚቀርጹ ይወቁ።

🔗 ጀማሪ መመሪያ፡ ሰው ሰራሽ የማሰብ ችሎታ ምንድነው?
የ AI ፣ ዋና ፅንሰ-ሀሳቦች ፣ ዓይነቶች እና የዕለት ተዕለት መተግበሪያዎች አጠቃላይ እይታ።

🔗 ሊብራራ የሚችል AI ምንድን ነው እና ለምን አስፈላጊ ነው
ሊብራራ የሚችል AI እንዴት ግልጽነትን፣ እምነትን እና የቁጥጥር ተገዢነትን እንደሚጨምር ይወቁ።

🔗 ትንበያ AI ምንድን ነው እና እንዴት እንደሚሰራ
ግምታዊ AI፣ የተለመዱ የአጠቃቀም ጉዳዮችን፣ ጥቅሞችን እና ገደቦችን ይረዱ።

AI Scalability ምንድን ነው? 📈

የAI ስክላቢሊቲ (AI Scalability) የአንድ የAI ስርዓት አፈፃፀምን፣ አስተማማኝነትን እና ወጪዎችን በሚፈቅደው ገደብ ውስጥ በማድረግ ተጨማሪ መረጃዎችን፣ ጥያቄዎችን፣ ተጠቃሚዎችን እና ጉዳዮችን የመጠቀም ችሎታ ነው። ትላልቅ አገልጋዮች ብቻ አይደሉም -- የዘገየነትን ዝቅተኛ፣ የመተላለፊያ ፍጥነት ከፍተኛ እና ጥራትን ወጥነት ያለው የሚያደርጉ ብልህ አርክቴክቸሮች። የመለጠጥ መሠረተ ልማትን፣ የተመቻቹ ሞዴሎችን እና በእውነቱ ምን እየተቃጠለ እንዳለ የሚነግርዎትን ታዛቢነት ያስቡ።

ምን ጥሩ AI Scalability ✅

AI Scalability በጥሩ ሁኔታ ሲጠናቀቅ የሚከተሉትን ያገኛሉ

በተቆራረጠ ወይም በዘላቂ ጭነት ስር ሊገመት የሚችል መዘግየት 🙂
ከታከሉ ሃርድዌር ወይም ቅጂዎች ጋር በመጠኑ የሚያድግ መተላለፊያ
በተጠየቀው መሰረት የማይለዋወጥ የወጪ ቆጣቢነት
ግብዓቶች ሲለያዩ እና መጠኖች ሲጨምሩ የጥራት መረጋጋት
ኦፕሬሽናል መረጋጋት ለራስ-ስኬል፣ ፍለጋ እና ጤናማ ኤስ.ኦ.ኤስ ምስጋና ይግባው።

ይህ በመከለያ ስር ይህ አብዛኛውን ጊዜ አግድም ልኬትን፣ መሸጎጫን፣ መሸጎጫን፣ መጠናዊነትን፣ ጠንካራ አገልግሎትን እና ከስህተት በጀቶች ጋር የተቆራኙ የታሰበ የመልቀቂያ ፖሊሲዎችን ያጣምራል።

AI Scalability vs አፈጻጸም ከአቅም ጋር 🧠

አፈፃፀሙ አንድ ነጠላ ጥያቄ በተናጥል ምን ያህል እንደሚጠናቀቅ ነው።
አቅም ከእነዚህ ጥያቄዎች ውስጥ ምን ያህሉን በአንድ ጊዜ ማስተናገድ ትችላለህ።
AI Scalability ማለት ሀብቶችን መጨመር ወይም ብልህ ቴክኒኮችን መጠቀም አቅምን ይጨምራል እና ሒሳብዎን ወይም ፔጃርዎን ሳይነፉ አፈፃፀሙን በተከታታይ ማቆየት ነው።

ጥቃቅን ልዩነት, ግዙፍ ውጤቶች.

ለምንድነው ሚዛኑ በ AI ውስጥ የሚሰራው፡የማስኬጃ ህጎች ሃሳብ 📚

በዘመናዊው ኤምኤል (ML) ውስጥ በስፋት ጥቅም ላይ የዋለው ግንዛቤ የሞዴል መጠንን፣ ውሂብን እና በማስላት - በምክንያት ውስጥ - ሲለኩ ኪሳራ በሚገመቱ መንገዶች እንደሚሻሻል ነው ። እንዲሁም በሞዴል መጠን እና በስልጠና ቶከኖች መካከል የኮምፒዩተር-ምቹ ሚዛን አለ ፤ ሁለቱንም አንድ ላይ ማመጣጠን አንድ ብቻ ነው የሚሻለው። በተግባር፣ እነዚህ ሀሳቦች የስልጠና በጀቶችን፣ የውሂብ ስብስብ እቅድ ማውጣትን እና የአቅርቦት ልውውጥን ያሳውቃሉ [4]።

ፈጣን ትርጉም፡ ትልቅ የተሻለ ሊሆን ይችላል ነገር ግን ግብዓቶችን ሲመዘኑ እና በተመጣጣኝ ስሌት ሲሰሉ ብቻ ነው - አለበለዚያ የትራክተር ጎማዎችን በብስክሌት ላይ እንደማስቀመጥ ነው። ኃይለኛ ይመስላል, የትም አይሄድም.

አግድም vs አቀባዊ፡ ሁለቱ የመለኪያ ማንሻዎች 🔩

አቀባዊ ልኬት፡ ትላልቅ ሳጥኖች፣ የቢፊር ጂፒዩዎች፣ ተጨማሪ ማህደረ ትውስታ። ቀላል, አንዳንድ ጊዜ ውድ. ለነጠላ መስቀለኛ መንገድ ስልጠና፣ ለዝቅተኛ መዘግየት ግንዛቤ፣ ወይም ሞዴልዎ በጥሩ ሁኔታ ለመበጥበጥ ፈቃደኛ ካልሆነ።
አግድም ልኬት ፡ ተጨማሪ ቅጂዎች።ጋር በተሻለ ሁኔታ ይሰራል በሲፒዩ/ጂፒዩ ወይም በብጁ የመተግበሪያ መለኪያዎች ላይ ተመስርተው ፖድዎችን ከሚያክሉ ወይም ከሚያስወግዱበኩበርኔትስ ውስጥ፣ HorizontalPodAutoscaler ለፍላጎት ምላሽ ፖድዎችን ይመዝናል-የእርስዎ መሰረታዊ የህዝብ ብዛት ለትራፊክ ፍጥነቶች ቁጥጥር [1]። አውቶማቲካለሮች ።

Anecdote (ውህድ)፡- በከፍተኛ መገለጫ ጅምር ጊዜ፣ በቀላሉ የአገልጋይ-ጎን መጋዘንን ማንቃት እና አውቶስካለር ለወረፋ ጥልቀት የተረጋጋ p95 ምንም ደንበኛ ሳይለወጥ እንዲቆይ ማድረግ። ያልተሸለሙ ድሎች አሁንም ድሎች ናቸው።

የ AI Scalability ሙሉ ቁልል 🥞

የውሂብ ንብርብር፡ ፈጣን የነገር ማከማቻዎች፣ የቬክተር ኢንዴክሶች እና የዥረት ማስገቢያዎችዎን የማያደናቅፉ።
የሥልጠና ንብርብር፡ የተከፋፈሉ ማዕቀፎች እና መርሐግብር አውጪዎች የውሂብ/ሞዴል ትይዩነትን፣ የፍተሻ ነጥቦችን ፣ እንደገና መሞከር።
ንብርብርን በማገልገል ላይ ፡ የተመቻቹ የሩጫ ጊዜዎች፣ ተለዋዋጭ ባቺንግ ፣ ለኤል.ኤም.ኤም.ዎች ገጽትሪቶን እና vLLM እዚህ ተደጋጋሚ ጀግኖች ናቸው [2][3]። የተደረገ ትኩረት ፣ መሸጎጫ፣ ማስመሰያ ዥረት።
ኦርኬስትራ፡ Kubernetes ለelasticity በHPA ወይም ብጁ አውቶማቲክ ሰሪዎች [1]።
ታዛቢነት፡ የተጠቃሚ ጉዞዎችን እና የፕሮድ ባህሪን የሚከተሉ ዱካዎች፣ መለኪያዎች እና ምዝግብ ማስታወሻዎች፤ በእርስዎ SLOs ዙሪያ ይቀርጻቸው [5]።
አስተዳደር እና ወጪ፡- በአንድ ጥያቄ የኢኮኖሚክስ፣ የበጀት እና ለከባድ የሥራ ጫናዎች የሚሆኑ የማለፊያ መቀየሪያዎች።

የንጽጽር ሰንጠረዥ፡ መሳሪያዎች እና ቅጦች ለ AI Scalability 🧰

በዓላማ ላይ ትንሽ ወጣ ገባ - ምክንያቱም እውነተኛ ህይወት ነው።

መሣሪያ / ስርዓተ-ጥለት	ታዳሚዎች	ዋጋ-አይነት	ለምን እንደሚሰራ	ማስታወሻዎች
ኩበርኔትስ + ኤች.ፒ.ኤ	የመድረክ ቡድኖች	ምንጭ + ኢንፍራ ክፈት	ሚዛኖች ሲያድጉ በአግድም ይቀርባሉ	ብጁ መለኪያዎች ወርቅ ናቸው [1]
NVIDIA ትሪቶን	አመላካች SRE	ነፃ አገልጋይ; ጂፒዩ $	ተለዋዋጭ ባችንግ የፍተሻን ይጨምራል	በ `config.pbtxt` በኩል አዋቅር [2]
vLLM (የገጽ ትኩረት)	LLM ቡድኖች	ክፍት ምንጭ	በብቃት KV-cache paging በኩል ከፍተኛ ልቀት	ለረጅም ጊዜ ማበረታቻዎች በጣም ጥሩ [3]
ONNX የሩጫ ጊዜ / TensorRT	የፐርፍ ነርዶች	ነጻ / ሻጭ መሳሪያዎች	የከርነል ደረጃ ማመቻቸት መዘግየትን ይቀንሳል	ወደ ውጭ የሚላኩ መንገዶች ጥብቅ ሊሆኑ ይችላሉ።
RAG ጥለት	የመተግበሪያ ቡድኖች	ኢንፍራ + መረጃ ጠቋሚ	መልሶ ለማግኘት እውቀትን ያወርዳል; መረጃ ጠቋሚውን ይመዝናል	ለአዲስነት በጣም ጥሩ

ጥልቅ ዳይቭ 1፡ መርፌውን የሚያንቀሳቅሱ ብልሃቶችን ማገልገል 🚀

ተለዋዋጭ ባቲንግ ቡድኖች ትንንሽ ግምቶች በአገልጋዩ ላይ ወደ ትላልቅ ስብስቦች ይደውላሉ፣ ይህም ያለ ደንበኛ ለውጦች የጂፒዩ አጠቃቀምን በሚያስደንቅ ሁኔታ ይጨምራል።
የተለጠፈ ትኩረት KV መሸጎጫዎችን ገጽ በማድረግ ብዙ ውይይቶችን በማህደረ ትውስታ ውስጥ ያስቀምጣቸዋል፣ ይህ ደግሞ በተዛማጅ ስር ያለውን ፍሰት ያሻሽላል።
ለተመሳሳይ ጥያቄዎች ወይም ኢሜጂንግ አንድ ላይ እንዲሰባሰቡ እና እንዲሸጎጡ ይጠይቁ፤ የተባዛ ስራን ያስወግዱ።
ግምታዊ ዲኮዲንግ እና ማስመሰያ ዥረት የግንቡ ሰዓት እምብዛም ባይቀንስም የሚታሰበውን መዘግየት ይቀንሳል።

ጥልቅ ዳይቭ 2፡ የሞዴል-ደረጃ ቅልጥፍና - መቁጠር፣ መፍጨት፣ ፕሪን 🧪

የማስታወስ ችሎታን ለማሳነስ እና ግንዛቤን ለማፋጠን የቁጥር ትክክለኛነትን (ለምሳሌ 8-ቢት/4-ቢት) ይቀንሳል። ከተቀየረ በኋላ ሁልጊዜ የተግባር ጥራትን እንደገና ይገምግሙ።
ዲስትሪሽን እውቀትን ከትልቅ አስተማሪ ወደ አንድ ትንሽ ተማሪ ሃርድዌርዎ ወደሚወደው ተማሪ ያስተላልፋል።
የተዋቀረ መግረዝ ክብደቶችን/ጭንቅላቶችን በትንሹ ያበረክታል።

እውነቱን እንነጋገር ከተባለ፣ የሻንጣዎትን መጠን እንደማሳነስ እና ሁሉም ጫማዎ አሁንም ተስማሚ መሆኑን አጥብቆ እንደማለት ነው። በሆነ መንገድ፣ በብዛት።

ጥልቅ ዳይቭ 3፡ ያለእንባ ዳታ እና የስልጠና ልኬት 🧵

ሙከራዎችን በፍጥነት ማጓጓዝ እንዲችሉ ትይዩ የሆኑትን ግራ የሚያጋቡ ክፍሎችን የሚደብቅ የተከፋፈለ ስልጠና ይጠቀሙ።
እነዚያን የመጠን ህጎችን፡ በአምሳያው መጠን እና ቶከኖች ላይ ባጀት መመደብ በጥንቃቄ; ሁለቱንም አንድ ላይ ማመጣጠን ስሌት ቆጣቢ ነው [4]።
የትምህርት እና የውሂብ ጥራት ብዙውን ጊዜ ሰዎች ከሚያምኑት በላይ ውጤቶችን ያዛምዳሉ። የተሻለ መረጃ አንዳንድ ጊዜ ከመረጃ የበለጠ ይበልጣል - ትልቁን ክላስተር አስቀድመው ቢያዝዙም።

ጥልቅ ዳይቭ 4፡ RAG እንደ የእውቀት መለኪያ ስልት 🧭

ከተለዋዋጭ እውነታዎች ጋር ለመከታተል ሞዴልን እንደገና ከማሰልጠን ይልቅ፣ RAG በማሰብ የመልሶ ማግኛ ደረጃን ይጨምራል።ሞዴሉን እንዲረጋጋ ማድረግ እና የእርስዎ ኮርፐስ እያደገ ሲሄድለእውቀት ከባድ መተግበሪያዎች ከሙሉ ድጋሚ ስልጠናዎች ይልቅ የሚያምር እና ብዙ ጊዜ ርካሽ። መረጃ ጠቋሚውን እና መልሶ ማግኛዎችን ማመጣጠን ይችላሉ.

ለራሱ የሚከፍል ታዛቢነት 🕵️♀️

ማየት የማትችለውን መመዘን አትችልም። ሁለት አስፈላጊ ነገሮች:

መለኪያዎች ፡ የመዘግየት መቶኛ፣ የወረፋ ጥልቀት፣ የጂፒዩ ማህደረ ትውስታ፣ ባች መጠኖች፣ የማስመሰያ ውፅዓት፣ የመሸጎጫ ተመኖች።
ዱካዎች ። የሚለኩትን ከ SLOዎችዎ ጋር ያያይዙት ስለዚህ ዳሽቦርዶች ጥያቄዎችን በአንድ ደቂቃ ውስጥ ይመልሳሉ [5]።

ዳሽቦርዶች ከአንድ ደቂቃ ባነሰ ጊዜ ውስጥ ጥያቄዎችን ሲመልሱ ሰዎች ይጠቀማሉ። ሳይሆኑ ሲቀሩ፣ ያደረጉ ያስመስላሉ።

አስተማማኝነት መከላከያ መንገዶች፡ SLOs፣ የስህተት በጀቶች፣ ጤናማ ልቀቶች 🧯

SLO ዎችን ለጥነት፣ ተገኝነት እና የውጤት ጥራት ይግለጹ ፣ እና አስተማማኝነትን ከመልቀቂያ ፍጥነት [5] ጋር ለማመጣጠን የስህተት በጀቶችን ይጠቀሙ።
ከትራፊክ ክፍፍሎች በስተጀርባ ያሰማሩ፣ ካናሪዎችን ያድርጉ እና የጥላ ሙከራዎችን ከአለም አቀፍ መቆራረጦች በፊት ያሂዱ። የወደፊት እራስህ መክሰስ ይልካል።

ያለ ድራማ ወጪ ቁጥጥር 💸

ማስኬድ ቴክኒካል ብቻ አይደለም; የገንዘብ ጉዳይ ነው። የጂፒዩ ሰዓቶችን እና ቶከኖችን በዩኒት ኢኮኖሚክስ (ዋጋ በ1k ቶከኖች፣ በእያንዳንዱ መክተት፣ በቬክተር መጠይቅ) እንደ አንደኛ ደረጃ መርጃዎች ይያዙ። በጀቶችን እና ማንቂያዎችን ይጨምሩ; ነገሮችን መሰረዝን ያክብሩ።

ቀላል የመንገድ ካርታ ወደ AI Scalability 🗺️

ለp95 መዘግየት፣ ተገኝነት እና የተግባር ትክክለኛነትበመጀመሪያው ቀን የሽቦ መለኪያዎች/መከታተያዎች [5]። በSLOs ይጀምሩ ።
ማባዛትን እና ቀጣይነት ያለው መጋዝን የሚደግፍ የአገልግሎት ቁልል ይምረጡ ፡ ትሪቶን፣ vLLM፣ ወይም አቻዎች [2][3]።
ሞዴሉን ያሻሽሉ፡ በሚረዳበት ቦታ መጠን ይቁጠሩ፣ ፈጣን ኮርነሎችን ማንቃት ወይም ለተወሰኑ ተግባራት ማሰራጨት፤ ጥራትን በእውነተኛ ግምገማዎች ያረጋግጡ።
የመለጠጥ አርክቴክት፡ Kubernetes HPA ከትክክለኛ ምልክቶች ጋር፣የተለያዩ የማንበብ/የመፃፍ መንገዶች፣ እና አገር አልባ የማጣቀሻ ቅጂዎች [1]።
በየሳምንቱ እንደገና ከማሰልጠን ይልቅ መረጃ ጠቋሚዎን እንዲያሳድጉ ትኩስነት አስፈላጊ በሚሆንበት ጊዜ መልሶ ማግኘትን ይቀበሉ ።
ዑደቱን በዋጋዝጋ፡ አሃድ ኢኮኖሚክስ እና ሳምንታዊ ግምገማዎችን ማቋቋም።

የተለመዱ ውድቀት ሁነታዎች እና ፈጣን ጥገናዎች 🧨

ጂፒዩ በ30% ጥቅም ላይ ሲውል መዘግየት መጥፎ ነው።
- ተለዋዋጭ ባቺንግን ያብሩ ፣ ባች ኮፍያዎችን በጥንቃቄ ያሳድጉ፣ እና የአገልጋይ ምንዛሬን እንደገና ያረጋግጡ [2]።
የመተላለፊያ መንገድ በረዥም መጠየቂያዎች ይወድቃል
- የገጽ ትኩረትን የሚደግፍ አገልግሎትን ተጠቀም እና ከፍተኛውን በአንድ ላይ ያሉትን ቅደም ተከተሎች አስተካክል [3]።
Autoscaler ሽፋኖች
- ከዊንዶውስ ጋር ለስላሳ መለኪያዎች; ከንፁህ ሲፒዩ (1) ይልቅ በወረፋ ጥልቀት ወይም ብጁ ማስመሰያዎች በሰከንድ።
ከተነሳ በኋላ ወጪዎች ይፈነዳሉ።
- የጥያቄ ደረጃ የወጪ መለኪያዎችን ያክሉ፣ ደህንነቱ በተጠበቀበት ቦታ መጠኑን ያንቁ፣ ከፍተኛ መጠይቆችን መሸጎጫ፣ እና የከፋ ወንጀለኞችን ደረጃ ይገድቡ።

AI Scalability playbook፡ ፈጣን የፍተሻ ዝርዝር ✅

SLOs እና የስህተት በጀቶች አሉ እና የሚታዩ ናቸው።
መለኪያዎች፡ መዘግየት፣ ቲፒኤስ፣ ጂፒዩ ሜም፣ ባች መጠን፣ ቶከን/ሰ፣ መሸጎጫ መምታት
ከመግባት እስከ ሞዴል እስከ ድህረ-ፕሮክ ድረስ ያሉ ዱካዎች
በማገልገል ላይ፡ መጠቅለያ ማብራት፣ የተስተካከለ፣ ሞቅ ያለ መሸጎጫዎች
ሞዴል፡ በሚረዳበት ቦታ በቁጥር የተቀረጸ ወይም የተጣራ
ኢንፍራ፡ HPA ከትክክለኛ ምልክቶች ጋር ተዋቅሯል።
ለእውቀት አዲስነት የመመለሻ መንገድ
ዩኒት ኢኮኖሚክስ ብዙ ጊዜ ይገመገማል

በጣም ረጅም አላነበበውም እና የመጨረሻ አስተያየቶች 🧩

የAI ስክላቢሊቲ አንድ ባህሪ ወይም ሚስጥራዊ ማብሪያ/ማጥፊያ አይደለም። የንድፍ ቋንቋ ነው፡- በራስ-ሰር ማጠንከሪያ አግድም ማጠንከሪያ፣ ለአጠቃቀም የአገልጋይ-ጎን ባችቲንግ፣ የሞዴል ደረጃ ቅልጥፍና፣ እውቀትን ወደ ውጭ ለማውጣት መልሶ ማግኘት እና ልቀቶችን አሰልቺ የሚያደርግ ታዛቢነት። ሁሉም ሰው እንዲስተካከል SLOዎችን እና ወጪ ቆጣቢ ንፅህናን ይጨምሩ። ለመጀመሪያ ጊዜ ፍጹም አያገኙትም - ማንም አያደርገውም - ነገር ግን በትክክለኛው የግብረመልስ ዑደቶች፣ ስርዓትዎ ያለ ቀዝቃዛ ላብ ስሜት በ2 ሰዓት ያድጋል 😅

ማጣቀሻዎች

[1] ኩበርኔትስ ሰነዶች - አግድም ፖድ አውቶማቲክስ - ተጨማሪ ያንብቡ
[2] ኒቪዲ ትሪቶን - ተለዋዋጭ ባቸር - ተጨማሪ ያንብቡ
[3] vLLM ሰነዶች - የተለጠፈ ትኩረት - ተጨማሪ ያንብቡ
[4] ሆፍማን እና ሌሎች. (2022) - የሥልጠና ስሌት-ምርጥ ትልቅ የቋንቋ ሞዴሎች - ተጨማሪ ያንብቡ
[5] Google SRE የስራ መጽሐፍ - SLOsን በመተግበር ላይ - ተጨማሪ ያንብቡ

የቅርብ ጊዜውን የ AI ኦፊሴላዊ የ AI ረዳት መደብር ያግኙ

ስለ እኛ

ወደ ጦማር ተመለስ