የ AI ምን ያህል ትክክለኛ ነው?

አጭር መልስ፡- AI በጠባብ፣ በደንብ በተገለጹ ተግባራት ላይ ግልጽ በሆነ እውነት በጣም ትክክለኛ ሊሆን ይችላል፣ ነገር ግን “ትክክለኛነት” በዓለም አቀፍ ደረጃ ሊታመኑበት የሚችሉት አንድ ነጥብ አይደለም። ተግባሩ፣ መረጃው እና ሜትሪክ ከኦፕሬሽን መቼቱ ጋር ሲጣጣሙ ብቻ ነው የሚሰራው፤ ግብዓቶች ሲንሸራተቱ ወይም ተግባራት ክፍት ሲሆኑ፣ ስህተቶች እና በራስ መተማመን ያላቸው ቅዠቶች ይወጣሉ።

ቁልፍ ነጥቦች፡

የሥራ ብቃት፡- “ትክክል” እና “ስህተት” የሚባሉት ነገሮች ሊፈተኑ የሚችሉ እንዲሆኑ ሥራውን በትክክል ይግለጹ።

የመለኪያ ምርጫ፡ የግምገማ መለኪያዎችን ከባህላዊ ወይም ከምቾት ጋር ሳይሆን ከእውነተኛ ውጤቶች ጋር ያዛምዱ።

የእውነታ ሙከራ፡- ተወካይ፣ ጫጫታ የበዛበት መረጃ እና ከስርጭት ውጪ የሆኑ የጭንቀት ሙከራዎችን ይጠቀሙ።

መለኪያ፡- በራስ መተማመን ከትክክለኛነት ጋር የሚጣጣም መሆኑን ወይም አለመሆኑን ይለኩ፣ በተለይም ለገደቦች።

የህይወት ዑደት ክትትል፡- ተጠቃሚዎች፣ መረጃዎች እና አካባቢዎች በጊዜ ሂደት ሲንሸራሸሩ ያለማቋረጥ እንደገና መገምገም።

ከዚህ ጽሑፍ በኋላ ሊያነቧቸው የሚችሏቸው ጽሑፎች፡

🔗 የ AI ደረጃ በደረጃ እንዴት መማር እንደሚቻል
ለጀማሪዎች ተስማሚ የሆነ የ AI ካርታ በልበ ሙሉነት መማር ለመጀመር።.

🔗 AI በውሂብ ውስጥ ያልተለመዱ ነገሮችን እንዴት እንደሚለይ
AI ያልተለመዱ ቅጦችን በራስ-ሰር ለመለየት የሚጠቀምባቸውን ዘዴዎች ያብራራል።.

🔗 የአእምሮ ህዋሳት (AI) ለኅብረተሰቡ መጥፎ ሊሆን የሚችለው ለምንድን ነው?
እንደ አድልዎ፣ የሥራ ተጽዕኖ እና የግላዊነት ስጋቶች ያሉ አደጋዎችን ይሸፍናል።.

🔗 የ AI የውሂብ ስብስብ ምንድን ነው እና ለምን አስፈላጊ ነው
የውሂብ ስብስቦችን እና የAI ሞዴሎችን እንዴት እንደሚያሠለጥኑ እና እንደሚገመግሙ ይገልጻል።.

---

1) ስለዚህ… የ AI ምን ያህል ትክክለኛ ነው?🧠✅

በተለይም “ትክክለኛው መልስ” ግልጽ እና በቀላሉ የሚመዘገብ ከሆነ - AI በጠባብ እና በሚገባ በተገለጹ ተግባራት ውስጥ እጅግ በጣም ትክክለኛ ሊሆን ይችላል ።

ነገር ግን ክፍት በሆኑ ተግባራት (በተለይም ጀነሬቲቭ AI )፣ “ትክክለኛነት” በፍጥነት የሚያዳልጥ የሚሆነው በሚከተሉት ምክንያቶች ነው

• በርካታ ተቀባይነት ያላቸው መልሶች ሊኖሩ ይችላሉ

• ውጤቱ አሰልቺ ሊሆን ይችላል ነገር ግን በእውነታዎች ላይ የተመሠረተ ላይሆን ይችላል

• ሞዴሉ ለ "ጠቃሚነት" ስሜቶች ሊስተካከል ይችላል፣ ጥብቅ ትክክለኛነትን ሳይሆን

• ዓለም ይለወጣል፣ እና ስርዓቶች ከእውነታው በስተጀርባ ሊዘገዩ ይችላሉ

ጠቃሚ የአእምሮ ሞዴል ፡ ትክክለኛነት "ያለህ ንብረት" አይደለም። ለተወሰነ ተግባር፣ በተወሰነ አካባቢ፣ የተወሰነ የመለኪያ ቅንብር ያለው "የተገኘህ" ንብረት ነው። ለዚህም ነው ከባድ መመሪያ ግምገማን እንደ የህይወት ዑደት እንቅስቃሴ አድርጎ የሚመለከተው - የአንድ ጊዜ የውጤት ሰሌዳ ቅጽበት አይደለም። [1]

 

---

2) ትክክለኛነት አንድ ነገር አይደለም - ሙሉ በሙሉ የተለያየ ቤተሰብ ነው 👨👩👧👦📏

ሰዎች "ትክክለኛነት" ሲሉ፣ ከእነዚህ ውስጥ አንዳቸውንም ማለት ይችላሉ (እና ብዙ ጊዜ ሳያውቁት ሁለቱን በአንድ ጊዜ ማለት ነው)

• ትክክለኛነት፡ ትክክለኛውን መለያ/መልስ አስገኝቷል?

• ትክክለኛነት እና ማስታወስ፡- የሐሰት ማንቂያዎችን አስወግዷል ወይስ ሁሉንም ነገር ያዘ?

• መለኪያ፡- “90% እርግጠኛ ነኝ” ሲል፣ ~90% የሚሆነውን ጊዜ ትክክል ነው? [3]

• ጥንካሬ፡ ግብዓቶች ትንሽ ሲቀየሩ (ጫጫታ፣ አዲስ ሀረጎች፣ አዲስ ምንጮች፣ አዲስ የስነሕዝብ መረጃዎች) አሁንም ይሰራል?

• አስተማማኝነት፡ በሚጠበቀው ሁኔታ ውስጥ ወጥነት ባለው መልኩ ይሰራል?

• እውነትነት / እውነታነት (ጄኔሬቲቭ ኤአይ)፡- በራስ መተማመንን በሚያሳይ መልኩ ነገሮችን መፍጠር (ቅዠት) ነው? [2]

ለዚህም ነው በመተማመን ላይ ያተኮሩ ማዕቀፎች "ትክክለኛነትን" እንደ ብቸኛ ጀግና መለኪያ የማይቆጥሩት። ስለ ትክክለኛነት፣ አስተማማኝነት፣ ደህንነት፣ ግልጽነት፣ ጥንካሬ፣ ፍትሃዊነት እና ሌሎችም እንደ ጥቅል ይናገራሉ - ምክንያቱም አንዱን "ማመቻቸት" እና ሌላውን በድንገት ማፍረስ ይችላሉ። [1]

---

3) "AI ምን ያህል ትክክለኛ ነው?" የሚለውን የመለኪያ ጥሩ ስሪት የሚያደርገው ምንድን ነው? 🧪🔍

የ"ጥሩ ስሪት" የማረጋገጫ ዝርዝር ይኸውና (ሰዎች የሚዘለሉት... ከዚያም በኋላ የሚጸጸቱበት)፦

✅ የተግባር ፍቺን አጽዳ (በተጨማሪም: ሊፈተን የሚችል አድርገው)

• "ማጠቃለያ" የሚለው አጠራጣሪ ነው።.

• «በ5 ጥይቶች ማጠቃለል፣ ከምንጩ 3 ተጨባጭ ቁጥሮችን ማካተት እና ጥቅሶችን አለመፍጠር» የሚለው ሊፈተን የሚችል ነው።.

✅ የተወካይ የፈተና ውሂብ (በቀላል ሁነታ ላይ ደረጃ መስጠትን አቁም)

የሙከራ ስብስብዎ በጣም ንጹህ ከሆነ፣ ትክክለኛነት የውሸት ጥሩ ይመስላል። እውነተኛ ተጠቃሚዎች የፊደል አጻጻፍ፣ እንግዳ የሆኑ የጠርዝ መያዣዎች እና “ይህንን በስልኬ ላይ የጻፍኩት በ2 ሰዓት ላይ ነው” የሚል ኢነርጂ ያመጣሉ።.

✅ ከአደጋው ጋር የሚዛመድ መለኪያ

ሜምን በስህተት መመደብ የሕክምና ማስጠንቀቂያን በስህተት መመደብ አይደለም። በባህላዊ መንገድ መለኪያዎችን አትመርጥም - በሚያስከትለው ውጤት ላይ ተመስርተህ ትመርጣቸዋለህ። [1]

✅ ከስርጭት ውጪ የሚደረግ ሙከራ (እንደ "እውነታው ሲገለጥ ምን ይሆናል?")

እንግዳ የሆኑ የቃላት አገላለጾችን፣ አሻሚ ግብዓቶችን፣ የተቃዋሚ ጥያቄዎችን፣ አዳዲስ ምድቦችን፣ አዲስ የጊዜ ወቅቶችን ይሞክሩ። ይህ አስፈላጊ ነው ምክንያቱም የስርጭት ፈረቃ በምርት ውስጥ ያሉ ሞዴሎች የፊት ገጽታ መንገድ ስለሆነ ነው። [4]

✅ ቀጣይነት ያለው ግምገማ (ወይም፡ ትክክለኛነት “አዘጋጅተህ ረሳው” የሚል ባህሪ አይደለም)

የስርዓት ተንሸራታቾች። ተጠቃሚዎች ይለወጣሉ። የውሂብ ለውጦች። የእርስዎ “ታላቅ” ሞዴል በጸጥታ ይወድቃል - ያለማቋረጥ እየለኩት ካልሆነ በስተቀር። [1]

የሚያውቁት ትንሽ የእውነተኛ ዓለም ንድፍ ፡ ቡድኖች ብዙውን ጊዜ በጠንካራ “የማሳያ ትክክለኛነት” ይላካሉ፣ ከዚያም እውነተኛ የውድቀት ሁኔታቸው እንዳልሆነ … “የተሳሳቱ መልሶች በልበ ሙሉነት፣ በመጠኑ” እንደሚሰጡ ይገነዘባሉ። ይህ የግምገማ ዲዛይን ችግር ነው፣ የሞዴል ችግር ብቻ አይደለም።

---

4) የ AI ዘዴ ብዙውን ጊዜ በጣም ትክክለኛ በሆነበት (እና ለምን) 📈🛠️

ችግሩ በሚከሰትበት ጊዜ AI ጎልቶ ይታያል፦

• ጠባብ

• በደንብ የተሰየመ

• በጊዜ ሂደት የተረጋጋ

• ከስልጠና ስርጭት ጋር ተመሳሳይ

• በራስ-ሰር ለመመዘን ቀላል

ምሳሌዎች፡

• የአይፈለጌ መልዕክት ማጣሪያ

• የሰነድ ማውጣት በተጣጣመ አቀማመጦች

• የደረጃ አሰጣጥ/የምክር ዑደቶች ከብዙ የግብረመልስ ምልክቶች ጋር

• በተቆጣጠሩ ቅንብሮች ውስጥ ብዙ የእይታ ምደባ ተግባራት

ከእነዚህ ድሎች በስተጀርባ ያለው አሰልቺ ልዕለ ኃያልነት ፡ ግልጽ የሆነ እውነት + ብዙ ተዛማጅ ምሳሌዎች። ማራኪ አይደለም - እጅግ በጣም ውጤታማ።

---

5) የ AI ትክክለኛነት ብዙውን ጊዜ የሚበላሽበት ቦታ 😬🧯

ሰዎች በአጥንታቸው ውስጥ የሚሰማቸው ይህ ክፍል ነው።.

በጄኔቲክ AI ውስጥ ቅዠቶች 🗣️🌪️

LLMዎች አሳማኝ ግን ተጨባጭ ያልሆነ ይዘት ሊያመነጩ ይችላሉ - እና አደገኛ የሆነው “አሳማኝ” ክፍል ነው። ይህ የጄኔሬቲቭ AI የአደጋ መመሪያ በቪብስ ላይ የተመሰረቱ ማሳያዎችን ከማድረግ ይልቅ በመሠረት፣ በሰነድ እና በመለኪያ ላይ ከፍተኛ ክብደት የሚፈጥርበት አንዱ ምክንያት ነው። [2]

የስርጭት ለውጥ 🧳➡️🏠

በአንድ አካባቢ የሰለጠነ ሞዴል በሌላ አካባቢ ሊሰናከል ይችላል፡ የተለያዩ የተጠቃሚ ቋንቋ፣ የተለያዩ የምርት ካታሎግ፣ የተለያዩ የክልል ደንቦች፣ የተለያዩ የጊዜ ወቅቶች። እንደ WILDS ያሉ መለኪያዎች በመሠረቱ ለመጮህ ይገኛሉ፡- “በስርጭት ውስጥ ያለው አፈጻጸም ከእውነተኛው ዓለም አፈፃፀም በእጅጉ ሊበልጥ ይችላል።” [4]

በራስ መተማመንን መገመትን የሚሸልሙ ማበረታቻዎች 🏆🤥

አንዳንድ አቀማመጦች “እንድታውቁ ብቻ መልስ ከመስጠት ይልቅ” “ሁልጊዜ መልስ” የሚለውን ባህሪ በአጋጣሚ ይሸልማሉ። ስለዚህ ስርዓቶች ትክክል ከመሆን ይልቅ ትክክል መስሎ ለመታየት ይማራሉ ። ለዚህም ነው ግምገማው የማግለል/የእርግጠኛ አለመሆን ባህሪን ማካተት ያለበት - ጥሬ የመልስ መጠን ብቻ አይደለም። [2]

የእውነተኛ ዓለም ክስተቶች እና የአሠራር ውድቀቶች 🚨

ጠንካራ ሞዴል እንኳን እንደ ስርዓት ሊወድቅ ይችላል፡- መጥፎ መልሶ ማግኘት፣ የቆየ መረጃ፣ የተሰበረ መከላከያ ወይም ሞዴሉን በጸጥታ በደህንነት ፍተሻዎች ዙሪያ የሚያዞር የስራ ፍሰት። ዘመናዊ መመሪያ ትክክለኛነትን እንደ ሰፋ ያለ የስርዓት ታማኝነት፣ የሞዴል ውጤት ብቻ አይደለም። [1]

---

6) ዝቅተኛ ደረጃ የተሰጠው ልዕለ ኃያልነት፡ መለኪያ (በተጨማሪም "የማታውቁትን ማወቅ") 🎚️🧠

ሁለት ሞዴሎች ተመሳሳይ “ትክክለኛነት” ቢኖራቸውም እንኳ አንድ ሰው የበለጠ ደህንነቱ የተጠበቀ ሊሆን ይችላል ምክንያቱም

• እርግጠኛ አለመሆንን በትክክል ይገልጻል

• ከልክ በላይ በራስ መተማመን የተሳሳቱ መልሶችን ያስወግዳል

• ከእውነታው ጋር የሚጣጣሙ እድሎችን ይሰጣል

መለኪያ አካዳሚክ ብቻ አይደለም - በራስ መተማመንን ተግባራዊ የሚያደርግ ነው ። በዘመናዊ የነርቭ መረቦች ውስጥ አንድ የተለመደ ግኝት በራስ መተማመን ውጤቱን በግልጽ ካላስተካከሉት ወይም ካልለኩት በስተቀር ከእውነተኛ ትክክለኛነት ጋር ሊዛባ እንደሚችል ነው። [3]

የቧንቧ መስመርዎ እንደ "ከ0.9 በላይ በራስ-አጽድቅ" ያሉ ገደቦችን የሚጠቀም ከሆነ፣ መለኪያው በ"አውቶሜሽን" እና "አውቶሜሽን ትርምስ" መካከል ያለው ልዩነት ነው።

---

7) ለተለያዩ የ AI አይነቶች የ AI ትክክለኛነት እንዴት እንደሚገመገም 🧩📚

ለክላሲክ የትንበያ ሞዴሎች (ምደባ/ተመላሽ) 📊

የተለመዱ መለኪያዎች፡

• ትክክለኛነት፣ ትክክለኛነት፣ ማስታወስ፣ F1

• ROC-AUC / PR-AUC (ብዙውን ጊዜ ሚዛናዊ ያልሆኑ ችግሮችን ለመፍታት የተሻለ)

• የመለኪያ ፍተሻዎች (የአስተማማኝነት ኩርባዎች፣ የሚጠበቀው የመለኪያ ስህተት-ቅጥ አስተሳሰብ) [3]

ለቋንቋ ሞዴሎች እና ረዳቶች 💬

ግምገማው ባለብዙ ገፅታ ውጤት አለው፦

• ትክክለኛነት (ተግባሩ የእውነት ሁኔታ ካለው)

• መመሪያን መከተል

• የደህንነት እና የእምቢተኝነት ባህሪ (ጥሩ እምቢተኝነት በሚያስደንቅ ሁኔታ ከባድ ነው)

• ተጨባጭ መሠረት/የጥቅስ ዲሲፕሊን (የአጠቃቀም ጉዳይዎ አስፈላጊ በሚሆንበት ጊዜ)

• በጥያቄዎች እና በተጠቃሚ ቅጦች ላይ ጠንካራነት

"ሁሉን አቀፍ" የግምገማ አስተሳሰብ ከሚያበረክቱት ትልቅ አስተዋጽኦዎች አንዱ ነጥቡን ግልጽ ማድረግ ነው፡- በብዙ ሁኔታዎች ውስጥ በርካታ መለኪያዎች ያስፈልጉዎታል፣ ምክንያቱም ልዩነቶች እውነተኛ ናቸው። [5]

በLLMዎች (የሥራ ፍሰቶች፣ ወኪሎች፣ መልሶ ማግኛ) ላይ ለተገነቡ ስርዓቶች 🧰

አሁን አጠቃላይ የቧንቧ መስመርን እየገመገሙ ነው፦

• የማውጫ ጥራት (ትክክለኛውን መረጃ አግኝቷል?)

• የመሳሪያ ሎጂክ (ሂደቱን ተከትሎ ነበር?)

• የውጤት ጥራት (ትክክል እና ጠቃሚ ነው?)

• መከላከያዎች (አደገኛ ባህሪን አስቀርቷል?)

• ክትትል (በዱር ውስጥ ውድቀቶችን አግኝተሃል?) [1]

በየትኛውም ቦታ ደካማ አገናኝ ቢኖርም እንኳ መሰረታዊ ሞዴሉ ጥሩ ቢሆንም፣ መላውን ስርዓት "ትክክል ያልሆነ" ሊያደርገው ይችላል።.

---

8) የንፅፅር ሰንጠረዥ፡- "AI ምን ያህል ትክክለኛ ነው?" የሚለውን ለመገምገም ተግባራዊ መንገዶች 🧾⚖️

መሳሪያ/አቀራረብ	ለ ምርጥ	የወጪ ንዝረት	ለምን እንደሚሰራ
የአጠቃቀም-ጉዳይ የሙከራ ስብስቦች	የLLM መተግበሪያዎች + ብጁ የስኬት መስፈርቶች	ፍሪ-ኢሽ	የስራ ፍሰትዎን የሚፈትሹት እርስዎ ነዎት ፣ የዘፈቀደ የመሪዎች ሰሌዳ አይደለም።
ባለብዙ ሜትሪክ፣ የሁኔታ ሽፋን	ሞዴሎችን በኃላፊነት ማወዳደር	ፍሪ-ኢሽ	የችሎታ "መገለጫ" ታገኛለህ፣ አንድ አስማታዊ ቁጥር ሳይሆን። [5]
የህይወት ዑደት አደጋ + የግምገማ አስተሳሰብ	ከፍተኛ ደረጃ ያላቸው ስርዓቶች ጥብቅነትን ይፈልጋሉ	ፍሪ-ኢሽ	ያለማቋረጥ እንዲገልጹ፣ እንዲለኩ፣ እንዲያስተዳድሩ እና እንዲከታተሉ ይገፋፋዎታል። [1]
የመለኪያ ፍተሻዎች	የመተማመን ገደቦችን የሚጠቀም ማንኛውም ስርዓት	ፍሪ-ኢሽ	"90% እርግጠኛ" ማለት ምን ማለት እንደሆነ ያረጋግጣል። [3]
የሰው ግምገማ ፓነሎች	ደህንነት፣ ቃና፣ ልዩነቱ፣ "ይህ ጎጂ ይመስላል?"	$$	ሰዎች አውዱን ይይዛሉ እና አውቶማቲክ መለኪያዎችን ያጣሉ።.
የክስተት ክትትል + የግብረመልስ ዑደቶች	ከእውነተኛው ዓለም ውድቀቶች መማር	ፍሪ-ኢሽ	እውነታው ደረሰኞች አሉት - የምርት መረጃ ደግሞ ከአስተያየቶች በበለጠ ፍጥነት ያስተምርዎታል። [1]

የኪርክ ኑዛዜን መቅረጽ፡- “ፍሪ-ኢሽ” እዚህ ብዙ ስራ እየሰራ ነው ምክንያቱም እውነተኛው ወጪ ብዙውን ጊዜ የሰዎች-ሰዓት እንጂ የፈቃድ አይደለም 😅

---

9) AI የበለጠ ትክክለኛ እንዲሆን እንዴት ማድረግ እንደሚቻል (ተግባራዊ ሊቨርስ) 🔧✨

የተሻለ መረጃ እና የተሻሉ ሙከራዎች 📦🧪

• የጠርዝ መያዣዎችን ዘርጋ

• አልፎ አልፎ የሚፈጠሩ ግን ወሳኝ ሁኔታዎችን ሚዛናዊ ማድረግ

• እውነተኛ የተጠቃሚ ህመምን የሚወክል "ወርቅ ስብስብ" ያስቀምጡ (እና ማዘመንዎን ይቀጥሉ)

ለእውነታ ተግባራት መሠረት መጣል 📚🔍

ተጨባጭ አስተማማኝነት የሚያስፈልግዎ ከሆነ፣ ከታመኑ ሰነዶች የሚመነጩ ስርዓቶችን ይጠቀሙ እና በእነዚያ ላይ ተመስርተው መልስ ይሰጣሉ። ብዙ የጄኔቲክ AI የአደጋ መመሪያ ሞዴሉ "እንዲሰራ" ከማሰብ ይልቅ የተቀናበረ ይዘትን የሚቀንሱ ሰነዶችን፣ አመጣጥን እና የግምገማ ቅንብሮችን ያተኩራል። [2]

ጠንካራ የግምገማ ዑደቶች 🔁

• በእያንዳንዱ ትርጉም ባለው ለውጥ ላይ ቫልቮችን ያሂዱ

• ወደኋላ መመለስን ይመልከቱ

• ለተንኮል አዘል ግቤቶች እና እንግዳ የሆኑ ጥያቄዎች የጭንቀት ሙከራ

የተስተካከለ ባህሪን ያበረታቱ 🙏

• "አላውቅም" የሚለውን በጣም አትቅጡ

• የመልስ መጠንን ብቻ ሳይሆን የመታቀብ ጥራትን ገምግም

• በራስ መተማመንን የምትለካው እና የምታረጋግጥው ነገር አድርገህ ተመልከተው ፣ በፍላጎትህ የምትቀበለው ነገር አይደለም [3]

---

10) ፈጣን የአዕምሮ ምርመራ፡- የ AI ትክክለኛነትን መቼ ማመን አለብዎት? 🧭🤔

በሚከተሉት ጊዜያት የበለጠ እመኑት፦

• ተግባሩ ጠባብ እና ሊደገም የሚችል ነው

• የውጤቶች በራስ-ሰር ሊረጋገጡ ይችላሉ

• ስርዓቱ ክትትል የሚደረግበት እና የተዘመነ ነው

• በራስ መተማመን ይስተካከላል፣ እናም መራቅ ይችላል [3]

በሚከተሉት ሁኔታዎች ውስጥ ያነሰ እምነት ይኑረው፦

• አደጋዎቹ ከፍተኛ ናቸው፤ ውጤቶቹም እውነተኛ ናቸው

• ጥያቄው ክፍት ነው (“ስለ ሁሉም ነገር ንገረኝ…”) 😵💫

• ምንም መሰረት የመጣል፣ የማረጋገጫ እርምጃ ወይም የሰው ግምገማ የለም

• ስርዓቱ በነባሪነት በራስ መተማመንን ያከናውናል [2]

ትንሽ ጉድለት ያለበት ዘይቤ፡- ከፍተኛ ደረጃ ላይ ለሚደርሱ ውሳኔዎች ባልተረጋገጠ የአዕምሮ ህክምና ባለሙያ ላይ መተማመን ልክ እንደ ፀሐይ ላይ የተቀመጠ ሱሺ መብላት ነው… ችግር ላይሆን ይችላል፣ ነገር ግን ሆድዎ ያልተመዘገቡበትን ቁማር እየወሰደ ነው።.

---

11) የመዝጊያ ማስታወሻዎች እና ፈጣን ማጠቃለያ 🧃✅

ስለዚህ፣ AI ምን ያህል ትክክለኛ ነው?
AI እጅግ በጣም ትክክለኛ ሊሆን ይችላል - ነገር ግን ከተወሰነ ተግባር፣ የመለኪያ ዘዴ እና በተተገበረበት አካባቢ ጋር ብቻ የተያያዘ ነው። እና ለጄኔቲክ AI፣ "ትክክለኛነት" ብዙውን ጊዜ ስለ አንድ ነጥብ ያነሰ እና የበለጠ ስለ አስተማማኝ የስርዓት ዲዛይንነው፡ መሬት ላይ ማረፍ፣ መለኪያ፣ ሽፋን፣ ክትትል እና ሐቀኛ ግምገማ። [1][2][5]

ፈጣን ማጠቃለያ 🎯

• "ትክክለኛነት" አንድ ነጥብ አይደለም - ትክክለኛነት፣ መለኪያ፣ ጥንካሬ፣ አስተማማኝነት እና (ለጄኔቲክ AI) እውነተኛነት ነው። [1][2][3]

• ቤንችማርክስ ይረዳል፣ ነገር ግን የአጠቃቀም ጉዳይ ግምገማ ሐቀኛ ያደርግዎታል። [5]

• ተጨባጭ አስተማማኝነት ከፈለጉ፣ መሰረት + የማረጋገጫ ደረጃዎችን ይጨምሩ + መታቀብን ይገምግሙ። [2]

• የህይወት ዑደት ግምገማ የአዋቂዎች አካሄድ ነው… ከመሪ ሰሌዳ ቅጽበታዊ ገጽ እይታ ያነሰ አስደሳች ቢሆንም። [1]

እውነተኛ ምሳሌ፡ የAI ድጋፍ-ትሪያል ረዳትን መለካት

ሁኔታ

አንድ ትንሽ የ SaaS ኩባንያ ገቢ የድጋፍ ትኬቶችን በአራት ወረፋዎች ለመደርደር የ AI ቴክኖሎጂን መጠቀም እንደሚፈልግ አስቡት፡

የሂሳብ አከፋፈል

የመግቢያ ችግሮች

የሳንካ ሪፖርቶች

የባህሪ ጥያቄዎች

ኩባንያው አይፈቅድም ። ስራው ጠባብ ነው፡ ትኬቱን ያንብቡ፣ ትክክለኛውን ወረፋ ይምረጡ፣ በራስ መተማመን ነጥብ ይስጡ እና ማንኛውንም እርግጠኛ ያልሆነ ነገር ለሰው ግምገማ ምልክት ያድርጉበት።

ይህ የትክክለኛነት ችግሩን ለመፈተሽ በጣም ቀላል ያደርገዋል። ግልጽ የሆነ "ትክክለኛ" ወረፋ አለ፣ አንድ ሰው ስህተቶችን መገምገም ይችላል፣ እና ቡድኑ የ AI እገዛ እያደረገ መሆኑን ወይም አለመሆኑን መለካት ይችላል፣ ጠቃሚ ከመምሰል ይልቅ።.

ረዳቱ የሚያስፈልገው ነገር

ይህንን በአግባቡ ለመፈተሽ ቡድኑ የሚከተሉትን ያዘጋጃል፦

100 እውነተኛ ወይም ተጨባጭ የድጋፍ ትኬቶችን የያዘ የተሰየመ የሙከራ ስብስብ

ለእያንዳንዱ ትኬት ትክክለኛው ወረፋ፣ በሰው ገምጋሚ ​​የተስማማ

በእያንዳንዱ ወረፋ ውስጥ ምን መሆን እንዳለበት የሚያብራራ አጭር ፖሊሲ

በራስ መተማመን ዝቅተኛ በሚሆንበት ጊዜ ረዳቱ "የሰው ግምገማ ያስፈልገዋል" ማለት ያለበት ደንብ

ቀላል የመከታተያ ወረቀት የያዘ፡ የቲኬት መታወቂያ፣ የAI ወረፋ፣ የሰው ወረፋ፣ የመተማመን ውጤት፣ የግምገማ ውጤት እና የወሰደው ጊዜ

የምሳሌ መመሪያ

የድጋፍ-ማጣሪያ ረዳት ነዎት። የደንበኛውን መልእክት ያንብቡ እና ለአንድ ወረፋ ይመድቡት፦ የክፍያ መጠየቂያ፣ የመግቢያ ችግሮች፣ የሳንካ ሪፖርቶች፣ የባህሪ ጥያቄዎች ወይም የሰው ግምገማ ያስፈልገዋል።.

ለደረሰኞች፣ ለተመላሽ ገንዘብ፣ ለክፍያ ውድቀቶች፣ ለዕቅድ ለውጦች እና ለደንበኝነት ምዝገባ ጥያቄዎች የሂሳብ አከፋፈልን ይጠቀሙ።.

የይለፍ ቃል ዳግም ማስጀመር፣ የመለያ መዳረሻ፣ ባለ ሁለት ደረጃ ማረጋገጫ፣ የተቆለፉ መለያዎች ወይም የኢሜይል ማረጋገጫ ችግሮች የመግቢያ ችግሮችን ይጠቀሙ።.

ለተበላሹ ባህሪያት፣ የስህተት መልዕክቶች፣ የጎደሉ መረጃዎች፣ ብልሽቶች ወይም ከምርት ሰነዱ ጋር የማይዛመዱ ባህሪያት የሳንካ ሪፖርቶችን ይጠቀሙ።.

ደንበኛው አዲስ አቅም፣ ውህደት፣ ቅንብር ወይም የስራ ፍሰት ማሻሻያ ሲጠይቅ የባህሪ ጥያቄዎችን ይጠቀሙ።.

መልእክቱ አሻሚ ከሆነ፣ ከአንድ በላይ ጉዳዮችን የያዘ ከሆነ ወይም ደህንነትን ወይም ግላዊነትን ሊጎዳ የሚችል ከሆነ የሰው ግምገማ ያስፈልገዋል የሚለውን ይምረጡ።.

ተመለስ፡ ወረፋ፣ ከ0 እስከ 100 ያለው በራስ መተማመን፣ የአንድ ዓረፍተ ነገር ምክንያት፣ እና አንድ ሰው ማረጋገጥ አለበት ወይ የሚለው።.

እንዴት እንደሚፈትሹት

ስርዓቱን በምርት ላይ ከማመንዎ በፊት በትንሽ "ወርቅ ስብስብ" ይጀምሩ።.

ለምሳሌ፦

20 የክፍያ ቲኬቶች

20 የመግቢያ ቲኬቶች

20 የሳንካ ሪፖርቶች

20 የባህሪ ጥያቄዎች

20 የተዛቡ ወይም አሻሚ ቲኬቶች

ከዚያም ረዳቱን በሁሉም 100 ቲኬቶች ላይ ያስኬዱና የተመረጠውን ወረፋ በሰው የተፈቀደለት ወረፋ ጋር ያወዳድሩ።.

ጠቃሚ ምርመራዎች የሚከተሉትን ያካትታሉ:

አጠቃላይ ትክክለኛነት፡ ስንት ቲኬቶች ወደ ትክክለኛው ወረፋ ገብተዋል?

በወረፋ ትክክለኛነት፡- AI “ሂሳብ አከፋፈል” ሲል፣ ምን ያህል ጊዜ ሂሳብ አከፋፈል ያደርጋል?

በወረፋው ላይ የማስታወሻ ወረቀት፡ ስንት እውነተኛ የክፍያ ቲኬቶችን ያዘ?

የደረጃ ጭማሪ ጥራት፡ የተጣመሩ ትኬቶችን ወደ ሰው ግምገማ በትክክል ልኳል?

መለኪያ፡- 90% በራስ መተማመን ወይም ከዚያ በላይ ሲናገር፣ አብዛኛውን ጊዜ ትክክል ነበር?

ውጤት

ምሳሌያዊ ውጤት፡- ይህንን የስራ ፍሰት ከመጠቀምዎ በፊት እና በኋላ 100 የናሙና ቲኬቶችን በጊዜ አወጣጥ ላይ የተመሠረተ።.

ረዳቱን ከመጠቀምዎ በፊት፣ የድጋፍ ሰጪ መሪ ለእያንዳንዱ ቲኬት 2 ደቂቃ ከ30 ሰከንድ እና ቲኬቶችን በእጅ ያሰራጫል። ለ100 ቲኬቶች፣ ያ ማለት ይቻላል 250 ደቂቃ የደረጃ አሰጣጥ ስራ ነበር።

ረዳቱን ከተጠቀሙ በኋላ የድጋፍ ሰጪው ቡድን የAI ወረፋ ምርጫን ብቻ ገምግሞ ዝቅተኛ በራስ መተማመን ያላቸውን ጉዳዮች አረጋግጧል። የግምገማ ጊዜ በአንድ ቲኬት ወደ 55 ሰከንዶች ያህል ቀንሷል ፣ ወይም ለ100 ቲኬቶች ወደ 92 ደቂቃዎች ያህል ቀንሷል።

ይህ ማለት በ100 ቲኬቶች 158 ደቂቃዎችንወይም የመለየት ጊዜን በ63% ያህል ይቀንሳል።

በ100-ቲኬት የፈተና ስብስብ ላይ ያለው ትክክለኛነት እንዲህ ይመስላል፡

አጠቃላይ የወረፋ ትክክለኛነት ፡ 87/100 ቲኬቶች ትክክል ናቸው

ከ85% በላይ የሆኑ ከፍተኛ በራስ መተማመን ያላቸው ቲኬቶች ፡ 61 ቲኬቶች

በከፍተኛ በራስ መተማመን ባላቸው ቲኬቶች ላይ ትክክለኛነት ፡ 58/61 ትክክል

ለሰው ግምገማ የተላኩ ትኬቶች ፡ 18 ትኬቶች

አሻሚ ትኬቶች በትክክል ተሻሽለዋል፡ 15/20

አስፈላጊው ዝርዝር ነገር የ87% ትክክለኛነት ብቻ አይደለም። ደህንነቱ የተጠበቀው ውጤት ረዳቱ በራስ መተማመን ሲኖረው የበለጠ ትክክለኛ እና ከመገመት ይልቅ ብዙ ግልጽ ያልሆኑ ጉዳዮችን ወደ ሰው መግፋቱ ነው። ይህ ጠቃሚ አውቶሜሽን እና በራስ መተማመን ከንቱ ነገሮች መካከል ያለው ልዩነት ነው።

ምን ሊበላሽ ይችላል

በጣም የተለመደው ስህተት ንጹህ ምሳሌዎችን ብቻ መሞከር ነው። እውነተኛ ትኬቶች ተዛብተዋል። አንድ ደንበኛ “ሁለት ጊዜ ክፍያ ተከፍሎብኛል እና አሁን መግባት አልችልም” ብሎ ሊጽፍ ይችላል። ያ የሂሳብ አከፋፈል፣ የመግቢያ ችግሮች ወይም እንደ ኩባንያው ሂደት የሰው ግምገማ ሊሆን ይችላል።.

ሌሎች አደጋዎች የሚከተሉትን ያካትታሉ:

ከምርቱ ጋር የማይዛመዱ አሮጌ ቲኬቶችን መጠቀም

የ AI በድጋፍ መመሪያ መጽሃፍ ውስጥ የሌሉ የፖሊሲ ደንቦችን እንዲፈጥር መፍቀድ

የመለኪያ ውጤቶችን ሳያረጋግጡ እንደ አስተማማኝ አድርገው ይቆጥሩታል

በአንድ ወረፋ ላይ አጠቃላይ ትክክለኛነትን እና ደካማ አፈፃፀምን ብቻ መለካት

"የሰው ግምገማ ያስፈልገዋል" የሚለውን በጣም በኃይል መቅጣት ረዳቱ መገመት ይጀምራል

ጥሩ ፈተና ትክክለኛውን የውጤት ጭማሪ ሊሸልም ይገባል። ለብዙ የንግድ ሥራ ፍሰቶች፣ "እርግጠኛ አይደለሁም" ማለት ውድቀት አይደለም። የደህንነት ባህሪ ነው።.

ተግባራዊ የመውሰጃ ጊዜ

"AI ምን ያህል ትክክለኛ ነው?" የሚለውን ለመመለስ በጣም ጥሩው መንገድ በአጭሩ መጠየቅ ማቆም ነው። አንድ ተግባር ይምረጡ፣ ትንሽ የሙከራ ስብስብ ይገንቡ፣ ትክክል የሚሆነውን ይግለጹ፣ ስህተቶችን በምድብ ይለኩ እና AI ስራውን መቼ ለአንድ ሰው መስጠት እንዳለበት ያውቃል ወይ የሚለውን ያረጋግጡ። ይህ ማሻሻል የሚችሉትን ተጨባጭ የትክክለኛነት ቁጥር ይሰጥዎታል - የተወለወለ የቤንችማርክ ነጥብ ብቻ አይደለም።.

---

ተደጋጋሚ ጥያቄዎች

በተግባራዊ ማሰማራት ውስጥ የ AI ትክክለኛነት

ተግባሩ ጠባብ፣ በሚገባ የተገለጸ እና ውጤት ሊያስመዘግቡ ከሚችሉት ግልጽ እውነት ጋር የተሳሰረ ሲሆን AI እጅግ በጣም ትክክለኛ ሊሆን ይችላል። በምርት አጠቃቀም ረገድ፣ "ትክክለኛነት" የሚወሰነው የግምገማ መረጃዎ ጫጫታ ያላቸውን የተጠቃሚ ግብዓቶችን እና ስርዓትዎ በመስክ ውስጥ የሚያጋጥሙትን ሁኔታዎች በማንጸባረቅ ላይ ነው። ተግባራት የበለጠ ክፍት እየሆኑ ሲሄዱ (እንደ ቻትቦቶች)፣ ስህተቶች እና በራስ የመተማመን ቅዠቶች ብዙ ጊዜ ይታያሉ፣ መሰረት፣ ማረጋገጫ እና ክትትል ካልጨመሩ በስተቀር።.

"ትክክለኛነት" ለምን ሊታመኑበት የሚችሉት አንድ ነጥብ አይደለም

ሰዎች "ትክክለኛነት" የሚለውን ቃል የተለያዩ ነገሮችን ለማመልከት ይጠቀማሉ፤ ትክክለኛነት፣ ትክክለኛነት ከማስታወሻ ጋር ሲነጻጸር፣ መለኪያ፣ ጥንካሬ እና አስተማማኝነት። አንድ ሞዴል በንጹህ የሙከራ ስብስብ ላይ በጣም ጥሩ ሆኖ ሊታይ ይችላል፣ ከዚያም የቃላት ለውጥ፣ የውሂብ መንሸራተት ወይም የቁጥሮች ለውጥ ሲኖር ይሰናከላል። በመተማመን ላይ ያተኮረ ግምገማ አንድን ቁጥር እንደ ዓለም አቀፍ ፍርድ ከመቁጠር ይልቅ በርካታ መለኪያዎችን እና ሁኔታዎችን ይጠቀማል።.

ለአንድ የተወሰነ ተግባር የ AI ትክክለኛነትን ለመለካት በጣም ጥሩው መንገድ

"ትክክል" እና "ስህተት" የሚባሉት ነገሮች ግልጽ ያልሆኑ እንዳይሆኑ ስራውን በመግለጽ ይጀምሩ። እውነተኛ ተጠቃሚዎችን እና የጠርዝ ጉዳዮችን የሚያንፀባርቅ ተወካይ፣ ጫጫታ ያለው የሙከራ መረጃ ይጠቀሙ። በተለይም ሚዛናዊ ያልሆኑ ወይም ከፍተኛ ተጋላጭነት ላላቸው ውሳኔዎች ውጤቶችን የሚዛመዱ መለኪያዎችን ይምረጡ። ከዚያም ከስርጭት ውጪ የሆኑ የጭንቀት ሙከራዎችን ያክሉ እና አካባቢዎ እየተለወጠ ሲሄድ በጊዜ ሂደት እንደገና መገምገምዎን ይቀጥሉ።.

ትክክለኛነት እና ማስታወስ በተግባር ትክክለኛነትን እንዴት እንደሚቀርጹ

የትክክለኛነት እና የማስታወሻ ካርታ ለተለያዩ የውድቀት ወጪዎች፡ ትክክለኛነት የሐሰት ማንቂያዎችን ማስወገድን ያጎላል፣ የማስታወሻ ማሳወቂያ ደግሞ ሁሉንም ነገር መያዝን ያጎላል። አይፈለጌ መልዕክት እያጣሩ ከሆነ፣ ጥቂት ስህተቶች ተቀባይነት ሊኖራቸው ይችላል፣ ነገር ግን የውሸት አዎንታዊ ነገሮች ተጠቃሚዎችን ሊያበሳጩ ይችላሉ። በሌሎች ቅንብሮች፣ አልፎ አልፎ ግን ወሳኝ የሆኑ ጉዳዮችን ማጣት ከተጨማሪ ባንዲራዎች የበለጠ አስፈላጊ ነው። ትክክለኛው ሚዛን የሚወሰነው በስራ ፍሰትዎ ውስጥ ምን "የተሳሳተ" ወጪዎች እንዳሉ ነው።.

መለኪያው ምንድን ነው፣ እና ለትክክለኛነት ለምን አስፈላጊ ነው

የመለኪያ ዘዴ የአንድ ሞዴል በራስ መተማመን ከእውነታው ጋር ይጣጣም እንደሆነ ይፈትሻል - “90% እርግጠኛ” ሲል፣ 90% የሚሆነውን ጊዜ ትክክል ነው? ይህ ከ0.9 በላይ በራስ-ሰር ማጽደቅ ያሉ ገደቦችን ባዘጋጁ ቁጥር አስፈላጊ ነው። ሁለት ሞዴሎች ተመሳሳይ ትክክለኛነት ሊኖራቸው ይችላል፣ ነገር ግን በተሻለ ሁኔታ የተስተካከለው የበለጠ ደህንነቱ የተጠበቀ ነው ምክንያቱም ከመጠን በላይ በራስ መተማመን የተሳሳቱ መልሶችን ስለሚቀንስ እና ብልህ የሆነ የመታቀብ ባህሪን ስለሚደግፍ።.

የጄኔራል AI ትክክለኛነት እና ቅዠቶች ለምን ይከሰታሉ

ጀነሬቲቭ ኤአይ በእውነታዎች ላይ የተመሠረተ ባይሆንም እንኳ አቀላጥፎ እና አሳማኝ ጽሑፍ ሊያወጣ ይችላል። ብዙ ጥያቄዎች ብዙ ተቀባይነት ያላቸውን መልሶች ስለሚፈቅዱ ትክክለኛነትን ማረጋገጥ አስቸጋሪ ይሆናል፣ እና ሞዴሎች ጥብቅ ትክክለኛነትን ከማድረግ ይልቅ "ለአጋዥነት" ሊመቻቹ ይችላሉ። ቅዠቶች በተለይ አደገኛ ይሆናሉ። ለእውነታ አጠቃቀም ጉዳዮች፣ በታመኑ ሰነዶች እና በማረጋገጫ ደረጃዎች ላይ የተመሠረተ ማድረግ የተፈለሰፈ ይዘትን ለመቀነስ ይረዳል።.

የስርጭት ፈረቃ እና ከስርጭት ውጪ ያሉ ግብዓቶችን መሞከር

በስርጭት ውስጥ ያሉ መለኪያዎች ዓለም ሲለወጥ አፈጻጸምን ከልክ በላይ ሊገልጹ ይችላሉ። ስርዓቱ የት እንደሚወድቅ ለማየት ያልተለመዱ ሀረጎችን፣ የፊደል አጻጻፍ ስልቶችን፣ አሻሚ ግብዓቶችን፣ አዲስ የጊዜ ወቅቶችን እና አዳዲስ ምድቦችን በመጠቀም ይሞክሩ። እንደ WILDS ያሉ መለኪያዎች በዚህ ሀሳብ ዙሪያ የተገነቡ ናቸው፡ የውሂብ ለውጥ ሲደረግ አፈጻጸም በከፍተኛ ሁኔታ ሊቀንስ ይችላል። የጭንቀት ሙከራን እንደ የግምገማ ዋና አካል አድርገው ይመለከቱት፣ ጥሩ ነገር እንዳልሆነ አድርገው ይመለከቱት።.

የ AI ስርዓትን በጊዜ ሂደት የበለጠ ትክክለኛ ማድረግ

የጠርዝ ጉዳዮችን በማስፋት፣ አልፎ አልፎ ግን ወሳኝ የሆኑ ሁኔታዎችን በማመጣጠን እና እውነተኛ የተጠቃሚን ህመም የሚያንፀባርቅ “ወርቃማ ስብስብ” በመጠበቅ ውሂብን እና ሙከራዎችን ያሻሽሉ። ለእውነታ ተግባራት፣ ሞዴሉ እንዲሠራ ተስፋ ከማድረግ ይልቅ መሠረት እና ማረጋገጫ ይጨምሩ። በእያንዳንዱ ትርጉም ባለው ለውጥ ላይ ግምገማ ያሂዱ፣ የሪግሬሽን ለውጦችን ይጠብቁ እና በምርት ውስጥ ለመንሸራተት ይከታተሉ። እንዲሁም “አላውቅም” በራስ መተማመን ግምት ውስጥ እንዳይገባ መታቀብን ይገምግሙ።.

ማጣቀሻዎች

[1] NIST AI RMF 1.0 (NIST AI 100-1): በጠቅላላው የህይወት ዑደት ውስጥ የAI አደጋዎችን ለመለየት፣ ለመገምገም እና ለማስተዳደር ተግባራዊ ማዕቀፍ። ተጨማሪ ያንብቡ
[2] NIST ጀነሬቲቭ AI መገለጫ (NIST AI 600-1): ለኤአይ RMF ተጓዳኝ መገለጫ ለጄኔሬቲቭ AI ስርዓቶች የተወሰኑ የአደጋ ግምትዎችን ያተኩራል። ተጨማሪ ያንብቡ
[3] ጉዎ እና ሌሎች (2017) - የዘመናዊ የነርቭ አውታረ መረቦች መለካት፡ ዘመናዊ የነርቭ መረቦች እንዴት ሊስተካከሉ እንደሚችሉ እና መለኪያው እንዴት ሊሻሻል እንደሚችል የሚያሳይ መሰረታዊ ጽሑፍ። ተጨማሪ ያንብቡ
[4] Koh እና ሌሎች (2021) - WILDS መለኪያ፡ በእውነተኛው ዓለም የስርጭት ፈረቃዎች ስር የሞዴል አፈጻጸምን ለመፈተሽ የተነደፈ የመለኪያ ስብስብ። ተጨማሪ ያንብቡ
[5] ሊያንግ እና ሌሎች (2023) - HELM (የቋንቋ ሞዴሎች አጠቃላይ ግምገማ)፡ እውነተኛ ልዩነቶችን ለማሳየት በተለያዩ ሁኔታዎች እና መለኪያዎች ላይ የቋንቋ ሞዴሎችን ለመገምገም የሚያስችል ማዕቀፍ። ተጨማሪ ያንብቡ

የቅርብ ጊዜውን የ AI ኦፊሴላዊ የ AI ረዳት መደብር ያግኙ

ስለ እኛ