IACOB USTINOV — IAKY JOCKER-JOLLY
Un scor perfect poate impresiona. Un eșec bine păstrat poate învăța sistemul ceva ce scorul perfect nu arată.
De ce păstrăm eșecurile
În testarea NOD ZERO SEARCH, unele versiuni au trecut benchmarkul cunoscut și au eșuat pe întrebări noi. Aceste rezultate nu au fost ascunse. Au rămas în istoric pentru a arăta diferența dintre memorarea unui set de teste și generalizarea reală.
Supraînvățarea poate arăta ca succes
Dacă optimizezi numai pentru întrebările pe care le-ai văzut deja, poți obține rezultate perfecte fără să construiești un mecanism robust. De aceea apar seturi nevăzute, parafraze, negații, conflicte de entități și cereri multi-sursă.
Regula sănătoasă
Benchmarkul rămâne înghețat. Dacă testul eșuează, se corectează mecanismul, nu adevărul așteptat. Apoi aceeași versiune este testată din nou și pe întrebări noi.
Un eșec trasabil este progres. Un PASS obținut prin mutarea porții este doar decor.
În NODUL ZERO, evoluția înseamnă să păstrezi atât reușitele, cât și defectele care au dus la o versiune mai bună.
