AI Scalability ምንድን ነው?

የሙከራ ማሳያ ሞዴል ትንሽ የፈተና ጭነት ሲደቅቅ እና እውነተኛ ተጠቃሚዎች በሚታዩበት ቅጽበት ከቀዘቀዙ የተመለከቱት ከሆነ ተንኮለኛውን ገጥሟችኋል። AI ለመረጃ፣ ለማስላት፣ ለማህደረ ትውስታ፣ የመተላለፊያ ይዘት - እና በሚያስገርም ሁኔታ ትኩረት ስግብግብ ነው። ስለዚህ AI Scalability ምንድን ነው, በእውነቱ, እና በየሳምንቱ ሁሉንም ነገር እንደገና ሳይጽፉ እንዴት ያገኛሉ?

ከዚህ በኋላ ሊያነቧቸው የሚፈልጓቸው መጣጥፎች፡-

🔗 የ AI አድልዎ ምንድን ነው በቀላሉ ተብራርቷል
የተደበቁ አድሎአዊነት የ AI ውሳኔዎችን እና የሞዴል ውጤቶችን እንዴት እንደሚቀርጹ ይወቁ።

🔗 ጀማሪ መመሪያ፡ ሰው ሰራሽ የማሰብ ችሎታ ምንድነው?
የ AI ፣ ዋና ፅንሰ-ሀሳቦች ፣ ዓይነቶች እና የዕለት ተዕለት መተግበሪያዎች አጠቃላይ እይታ።

🔗 ሊብራራ የሚችል AI ምንድን ነው እና ለምን አስፈላጊ ነው
ሊብራራ የሚችል AI እንዴት ግልጽነትን፣ እምነትን እና የቁጥጥር ተገዢነትን እንደሚጨምር ይወቁ።

🔗 ትንበያ AI ምንድን ነው እና እንዴት እንደሚሰራ
ግምታዊ AI፣ የተለመዱ የአጠቃቀም ጉዳዮችን፣ ጥቅሞችን እና ገደቦችን ይረዱ።

AI Scalability ምንድን ነው? 📈

AI Scalability የ AI ስርዓት አፈጻጸምን፣ አስተማማኝነትን እና ወጪዎችን ተቀባይነት ባለው ገደብ ውስጥ ሲይዝ ተጨማሪ ውሂብን፣ ጥያቄዎችን፣ ተጠቃሚዎችን እና ጉዳዮችን የመጠቀም ችሎታ ነው። ትልልቆቹ ሰርቨሮች ብቻ ሳይሆኑ ብልህ አርክቴክቸርዎች የቆይታ ጊዜ ዝቅተኛ፣ ከፍተኛ መጠን ያለው እና ኩርባው ሲወጣ ጥራቱን የሚጠብቅ። የመለጠጥ መሠረተ ልማትን፣ የተመቻቹ ሞዴሎችን እና በእሳት ላይ ያለውን ነገር የሚነግሩን ታዛቢነት ያስቡ።

ምን ጥሩ AI Scalability ✅

AI Scalability በጥሩ ሁኔታ ሲጠናቀቅ የሚከተሉትን ያገኛሉ

• በሾለ ወይም በሚቆይ ሸክም ውስጥ ሊገመት የሚችል መዘግየት

• ከታከሉ ሃርድዌር ወይም ቅጂዎች ጋር በመጠኑ የሚያድግ መተላለፊያ

• በአንድ ጥያቄ ፊኛ የማያደርግ ወጪ ቆጣቢነት

• ግብዓቶች ሲለያዩ እና መጠኖች ሲጨምሩ የጥራት መረጋጋት

• ኦፕሬሽናል መረጋጋት ለራስ-ስኬል፣ ፍለጋ እና ጤናማ ኤስ.ኦ.ኤስ ምስጋና ይግባው።

ይህ በመከለያ ስር ይህ አብዛኛውን ጊዜ አግድም ልኬትን፣ መሸጎጫን፣ መሸጎጫን፣ መጠናዊነትን፣ ጠንካራ አገልግሎትን እና ከስህተት በጀቶች ጋር የተቆራኙ የታሰበ የመልቀቂያ ፖሊሲዎችን ያጣምራል።

AI Scalability vs አፈጻጸም ከአቅም ጋር 🧠

• አፈፃፀሙ አንድ ነጠላ ጥያቄ በተናጥል ምን ያህል እንደሚጠናቀቅ ነው።

• አቅም ከእነዚህ ጥያቄዎች ውስጥ ምን ያህሉን በአንድ ጊዜ ማስተናገድ ትችላለህ።

• AI Scalability ማለት ሀብቶችን መጨመር ወይም ብልህ ቴክኒኮችን መጠቀም አቅምን ይጨምራል እና ሒሳብዎን ወይም ፔጃርዎን ሳይነፉ አፈፃፀሙን በተከታታይ ማቆየት ነው።

ጥቃቅን ልዩነት, ግዙፍ ውጤቶች.

ለምንድነው ሚዛኑ በ AI ውስጥ የሚሰራው፡የማስኬጃ ህጎች ሃሳብ 📚

የሞዴሉን መጠን፣ ውሂብን እና በምክንያት ውስጥ ሲያስሉ ኪሳራ በሚገመቱ መንገዶች መሻሻል ነው በሞዴል መጠን እና በሥልጠና ቶከኖች መካከል የኮምፒዩተር-ምርጥ ሚዛን አለ ሁለቱንም በአንድ ላይ ማመጣጠን አንድን ብቻ ​​ይመታል ። በተግባር፣ እነዚህ ሃሳቦች የስልጠና በጀቶችን፣ የውሂብ ስብስብ እቅድ ማውጣትን እና የንግድ ልውውጥን ማገልገልን ያሳውቃሉ [4]።

ፈጣን ትርጉም፡ ትልቅ የተሻለ ሊሆን ይችላል ነገር ግን ግብዓቶችን ሲመዘኑ እና በተመጣጣኝ ስሌት ሲሰሉ ብቻ ነው - አለበለዚያ የትራክተር ጎማዎችን በብስክሌት ላይ እንደማስቀመጥ ነው። ኃይለኛ ይመስላል, የትም አይሄድም.

አግድም vs አቀባዊ፡ ሁለቱ የመለኪያ ማንሻዎች 🔩

• አቀባዊ ልኬት ፡ ትላልቅ ሳጥኖች፣ የቢፊር ጂፒዩዎች፣ ተጨማሪ ማህደረ ትውስታ። ቀላል, አንዳንድ ጊዜ ውድ. ለነጠላ መስቀለኛ መንገድ ስልጠና፣ ለዝቅተኛ መዘግየት ግንዛቤ፣ ወይም ሞዴልዎ በጥሩ ሁኔታ ለመበጥበጥ ፈቃደኛ ካልሆነ።

• አግድም ልኬት ፡ ተጨማሪ ቅጂዎች። በሲፒዩ/ጂፒዩ ወይም በብጁ የመተግበሪያ መለኪያዎች ላይ ተመስርተው ፖድዎችን ከሚያክሉ ወይም ከሚያስወግዱ አውቶማቲካለሮች ጋር በተሻለ ሁኔታ ይሰራል በኩበርኔትስ ውስጥ፣ HorizontalPodAutoscaler ለፍላጎት ምላሽ ፖድዎችን ይመዝናል-የእርስዎ መሰረታዊ የህዝብ ብዛት ለትራፊክ ፍጥነቶች ቁጥጥር [1]።

Anecdote (ውህድ)፡- በከፍተኛ መገለጫ ጅምር ጊዜ፣ በቀላሉ የአገልጋይ-ጎን መጋዘንን ማንቃት እና አውቶስካለር ለወረፋ ጥልቀት የተረጋጋ p95 ምንም ደንበኛ ሳይለወጥ እንዲቆይ ማድረግ። ያልተሸለሙ ድሎች አሁንም ድሎች ናቸው።

የ AI Scalability ሙሉ ቁልል 🥞

1. የውሂብ ንብርብር ፡ ፈጣን የነገሮች ማከማቻዎች፣ የቬክተር ኢንዴክሶች እና የዥረት ፍሰት አሰልጣኞችዎን የማያደናቅፍ።

2. የሥልጠና ንብርብር ፡ የተከፋፈሉ ማዕቀፎች እና መርሐግብር አውጪዎች የውሂብ/ሞዴል ትይዩነትን፣ የፍተሻ ነጥቦችን ፣ እንደገና መሞከር።

3. ንብርብርን በማገልገል ላይ ፡ የተመቻቹ የሩጫ ጊዜዎች፣ ተለዋዋጭ ባቺንግ ፣ ለኤል.ኤም.ኤም.ዎች ገጽ የተደረገ ትኩረት ትሪቶን እና vLLM እዚህ ተደጋጋሚ ጀግኖች ናቸው [2][3]።

4. ኦርኬስትራ ፡ Kubernetes ለelasticity በHPA ወይም ብጁ አውቶማቲክ ሰሪዎች [1]።

5. ታዛቢነት ፡ የተጠቃሚ ጉዞዎችን እና የፕሮድ ባህሪን የሚከተሉ ዱካዎች፣ መለኪያዎች እና ምዝግብ ማስታወሻዎች፤ በእርስዎ SLOs ዙሪያ ይቀርጻቸው [5]።

6. አስተዳደር እና ወጪ ፡ በየጥያቄው ኢኮኖሚክስ፣ በጀት፣ እና ለሸሸ የስራ ጫናዎች ግድያ መቀየሪያ።

የንጽጽር ሰንጠረዥ፡ መሳሪያዎች እና ቅጦች ለ AI Scalability 🧰

በዓላማ ላይ ትንሽ ወጣ ገባ - ምክንያቱም እውነተኛ ህይወት ነው።

ጥልቅ ዳይቭ 1፡ መርፌውን የሚያንቀሳቅሱ ብልሃቶችን ማገልገል 🚀

• ተለዋዋጭ ባቲንግ ቡድኖች ትንንሽ ግምቶች በአገልጋዩ ላይ ወደ ትላልቅ ስብስቦች ይደውላሉ፣ ይህም ያለ ደንበኛ ለውጦች የጂፒዩ አጠቃቀምን በሚያስደንቅ ሁኔታ ይጨምራል።

• የተለጠፈ ትኩረት KV መሸጎጫዎችን ገጽ በማድረግ ብዙ ውይይቶችን በማህደረ ትውስታ ውስጥ ያስቀምጣቸዋል፣ ይህ ደግሞ በተዛማጅ ስር ያለውን ፍሰት ያሻሽላል።

• ጥያቄዎች ማሰባሰብ እና መሸጎጥ ጠይቅ ወይም መክተት የተባዛ ስራን ያስወግዱ።

• ግምታዊ ዲኮዲንግ እና ማስመሰያ ዥረት የግንቡ ሰዓት እምብዛም ባይቀንስም የሚታሰበውን መዘግየት ይቀንሳል።

ጥልቅ ዳይቭ 2፡ የሞዴል-ደረጃ ቅልጥፍና - መቁጠር፣ መፍጨት፣ ፕሪን 🧪

• የማስታወስ ችሎታን ለማሳነስ እና ግንዛቤን ለማፋጠን የቁጥር ትክክለኛነትን (ለምሳሌ 8-ቢት/4-ቢት) ይቀንሳል። ከተቀየረ በኋላ ሁልጊዜ የተግባር ጥራትን እንደገና ይገምግሙ።

• ዲስትሪሽን እውቀትን ከትልቅ አስተማሪ ወደ አንድ ትንሽ ተማሪ ሃርድዌርዎ ወደሚወደው ተማሪ ያስተላልፋል።

• የተዋቀረ መግረዝ ክብደቶችን/ጭንቅላቶችን በትንሹ ያበረክታል።

እውነቱን እንነጋገር ከተባለ፣ የሻንጣዎትን መጠን እንደማሳነስ እና ሁሉም ጫማዎ አሁንም ተስማሚ መሆኑን አጥብቆ እንደማለት ነው። በሆነ መንገድ፣ በብዛት።

ጥልቅ ዳይቭ 3፡ ያለእንባ ዳታ እና የስልጠና ልኬት 🧵

• ሙከራዎችን በፍጥነት ማጓጓዝ እንዲችሉ ትይዩ የሆኑትን ግራ የሚያጋቡ ክፍሎችን የሚደብቅ የተከፋፈለ ስልጠና ይጠቀሙ።

• እነዚያን የመጠን ህጎችን ፡ በአምሳያው መጠን እና ቶከኖች ላይ ባጀት መመደብ በጥንቃቄ; ሁለቱንም አንድ ላይ ማመጣጠን ስሌት ቆጣቢ ነው [4]።

• የስርአተ ትምህርት እና የውሂብ ጥራት ብዙውን ጊዜ ሰዎች ከሚያምኑት በላይ ውጤቶችን ያወዛውዛሉ። የተሻለ ውሂብ አንዳንድ ጊዜ የበለጠ ውሂብ ይመታል - ምንም እንኳን እርስዎ አስቀድመው ትልቁን ዘለላ ያዙ።

ጥልቅ ዳይቭ 4፡ RAG እንደ የእውቀት መለኪያ ስልት 🧭

ከተለዋዋጭ እውነታዎች ጋር ለመከታተል ሞዴልን እንደገና ከማሰልጠን ይልቅ፣ RAG በማሰብ የመልሶ ማግኛ ደረጃን ይጨምራል። የእርስዎ ኮርፐስ እያደገ ሲሄድ ሞዴሉን እንዲረጋጋ ማድረግ እና መረጃ ጠቋሚውን እና መልሶ ማግኛዎችን ለእውቀት ከባድ መተግበሪያዎች ከሙሉ ድጋሚ ስልጠናዎች ይልቅ የሚያምር እና ብዙ ጊዜ ርካሽ።

ለራሱ የሚከፍል ታዛቢነት 🕵️♀️

ማየት የማትችለውን መመዘን አትችልም። ሁለት አስፈላጊ ነገሮች:

• መለኪያዎች ፡ የመዘግየት መቶኛ፣ የወረፋ ጥልቀት፣ የጂፒዩ ማህደረ ትውስታ፣ ባች መጠኖች፣ የማስመሰያ ውፅዓት፣ የመሸጎጫ ተመኖች።

• በመተላለፊያ መንገድ ላይ አንድ ነጠላ ጥያቄን የሚከተሉ ዱካዎች ዳሽቦርዶች ከአንድ ደቂቃ በታች ጥያቄዎችን እንዲመልሱ እርስዎ የሚለኩትን ከእርስዎ SLOs ጋር ያስሩ።

ዳሽቦርዶች ከአንድ ደቂቃ ባነሰ ጊዜ ውስጥ ጥያቄዎችን ሲመልሱ ሰዎች ይጠቀማሉ። ሳይሆኑ ሲቀሩ፣ ያደረጉ ያስመስላሉ።

አስተማማኝነት መከላከያ መንገዶች፡ SLOs፣ የስህተት በጀቶች፣ ጤናማ ልቀቶች 🧯

• SLO ዎችን ለጥነት፣ ተገኝነት እና የውጤት ጥራት ይግለጹ አስተማማኝነትን ከመልቀቂያ ፍጥነት [5] ጋር ለማመጣጠን የስህተት በጀቶችን

• ከትራፊክ ክፍፍሎች በስተጀርባ ያሰማሩ፣ ካናሪዎችን ያድርጉ እና የጥላ ሙከራዎችን ከአለም አቀፍ መቆራረጦች በፊት ያሂዱ። የወደፊት እራስህ መክሰስ ይልካል።

ያለ ድራማ ወጪ ቁጥጥር 💸

ማስኬድ ቴክኒካል ብቻ አይደለም; የገንዘብ ጉዳይ ነው። የጂፒዩ ሰዓቶችን እና ቶከኖችን በዩኒት ኢኮኖሚክስ (ዋጋ በ1k ቶከኖች፣ በእያንዳንዱ መክተት፣ በቬክተር መጠይቅ) እንደ አንደኛ ደረጃ መርጃዎች ይያዙ። በጀቶችን እና ማንቂያዎችን ይጨምሩ; ነገሮችን መሰረዝን ያክብሩ።

ቀላል የመንገድ ካርታ ወደ AI Scalability 🗺️

1. ለp95 መዘግየት፣ ተገኝነት እና የተግባር ትክክለኛነት በSLOs ይጀምሩ በመጀመሪያው ቀን የሽቦ መለኪያዎች/መከታተያዎች [5]።

2. ማባዛትን እና ቀጣይነት ያለው መጋዝን የሚደግፍ የአገልግሎት ቁልል ይምረጡ

3. ሞዴሉን ያሻሽሉ ፡ በሚረዳበት ቦታ መጠን ይቁጠሩ፣ ፈጣን ኮርነሎችን ማንቃት ወይም ለተወሰኑ ተግባራት ማሰራጨት፤ ጥራትን በእውነተኛ ግምገማዎች ያረጋግጡ።

4. የመለጠጥ አርክቴክት ፡ Kubernetes HPA ከትክክለኛ ምልክቶች ጋር፣የተለያዩ የማንበብ/የመፃፍ መንገዶች፣ እና አገር አልባ የማጣቀሻ ቅጂዎች [1]።

5. በየሳምንቱ እንደገና ከማሰልጠን ይልቅ መረጃ ጠቋሚዎን እንዲያሳድጉ ትኩስነት አስፈላጊ በሚሆንበት ጊዜ መልሶ ማግኘትን ይቀበሉ

6. ዑደቱን በዋጋ ዝጋ፡ አሃድ ኢኮኖሚክስ እና ሳምንታዊ ግምገማዎችን ማቋቋም።

የተለመዱ ውድቀት ሁነታዎች እና ፈጣን ጥገናዎች 🧨

• ጂፒዩ በ30% ጥቅም ላይ ሲውል መዘግየት መጥፎ ነው።

  • ተለዋዋጭ ባቺንግን ያብሩ ፣ ባች ኮፍያዎችን በጥንቃቄ ያሳድጉ፣ እና የአገልጋይ ምንዛሬን እንደገና ያረጋግጡ [2]።

• የመተላለፊያ መንገድ በረዥም መጠየቂያዎች ይወድቃል

  • የገጽ ትኩረትን የሚደግፍ አገልግሎትን ተጠቀም እና ከፍተኛውን በአንድ ላይ ያሉትን ቅደም ተከተሎች አስተካክል [3]።

• Autoscaler ሽፋኖች

  • ከዊንዶውስ ጋር ለስላሳ መለኪያዎች; ከንፁህ ሲፒዩ (1) ይልቅ በወረፋ ጥልቀት ወይም ብጁ ማስመሰያዎች በሰከንድ።

• ከተነሳ በኋላ ወጪዎች ይፈነዳሉ።

  • የጥያቄ ደረጃ የወጪ መለኪያዎችን ያክሉ፣ ደህንነቱ በተጠበቀበት ቦታ መጠኑን ያንቁ፣ ከፍተኛ መጠይቆችን መሸጎጫ፣ እና የከፋ ወንጀለኞችን ደረጃ ይገድቡ።

AI Scalability playbook፡ ፈጣን የፍተሻ ዝርዝር ✅

• SLOs እና የስህተት በጀቶች አሉ እና የሚታዩ ናቸው።

• መለኪያዎች፡ መዘግየት፣ ቲፒኤስ፣ ጂፒዩ ሜም፣ ባች መጠን፣ ቶከን/ሰ፣ መሸጎጫ መምታት

• ከመግባት እስከ ሞዴል እስከ ድህረ-ፕሮክ ድረስ ያሉ ዱካዎች

• በማገልገል ላይ፡ መጠቅለያ ማብራት፣ የተስተካከለ፣ ሞቅ ያለ መሸጎጫዎች

• ሞዴል፡ በሚረዳበት ቦታ በቁጥር የተቀረጸ ወይም የተጣራ

• ኢንፍራ፡ HPA ከትክክለኛ ምልክቶች ጋር ተዋቅሯል።

• ለእውቀት አዲስነት የመመለሻ መንገድ

• ዩኒት ኢኮኖሚክስ ብዙ ጊዜ ይገመገማል

በጣም ረጅም አላነበበውም እና የመጨረሻ አስተያየቶች 🧩

AI Scalability አንድ ባህሪ ወይም ሚስጥራዊ መቀየሪያ አይደለም። የስርዓተ-ጥለት ቋንቋ ነው፡ አግድም ልኬት በራስ-ስካለሮች፣ በአገልጋይ-ጎን ለአጠቃቀም፣ የሞዴል ደረጃ ቅልጥፍና፣ እውቀትን ለማውረድ እና መልቀቅን አሰልቺ የሚያደርገው ታዛቢነት። ሁሉም ሰው እንዲሰለፍ ለማድረግ በSLOs ውስጥ ይረጩ እና የዋጋ ንፅህናን ይጠብቁ። ለመጀመሪያ ጊዜ ፍጹም አያገኙም - ማንም አያደርገውም - ነገር ግን በትክክለኛ የአስተያየት ምልከታዎች ፣ የእርስዎ ስርዓት ከጠዋቱ 2 ሰዓት ላይ ያለ ቀዝቃዛ ላብ ስሜት ያድጋል 😅

ዋቢዎች

[1] ኩበርኔትስ ሰነዶች - አግድም ፖድ አውቶማቲክስ - ተጨማሪ ያንብቡ
[2] ኒቪዲ ትሪቶን - ተለዋዋጭ ባቸር - ተጨማሪ ያንብቡ
[3] vLLM ሰነዶች - የተለጠፈ ትኩረት - ተጨማሪ ያንብቡ
[4] ሆፍማን እና ሌሎች. (2022) - የሥልጠና ስሌት-ምርጥ ትልቅ የቋንቋ ሞዴሎች - ተጨማሪ ያንብቡ
[5] Google SRE የስራ መጽሐፍ - SLOsን በመተግበር ላይ - ተጨማሪ ያንብቡ

በኦፊሴላዊው AI አጋዥ መደብር የቅርብ ጊዜውን AI ያግኙ

ስለ እኛ