IACOB USTINOV — IAKY JOCKER-JOLLY
Un sistem nu este bun fiindcă răspunsul „sună bine”. Calitatea trebuie testată prin criterii pe care le poți verifica din nou.
Relevanța nu este suficientă
Un rezultat util trebuie să apară înaintea unuia doar asemănător lexical. Dar mai trebuie ceva: afirmațiile factuale trebuie să poată fi urmărite până la sursă, versiunile vechi nu trebuie să bată sursa canonică, iar conținutul privat nu trebuie să ajungă în răspunsuri publice.
Ce măsori
- cât de bune sunt primele rezultate;
- cât de repede apare prima sursă relevantă;
- cât de corect este ordinea;
- câte duplicate concurează între ele;
- câte afirmații au citări corecte;
- câte afirmații sunt nesusținute;
- dacă versiunea cea mai nouă și verificată are prioritate;
- dacă există scurgeri din privat în public.
Testele nu trebuie rescrise ca să iasă bine
Dacă un benchmark eșuează, răspunsul corect nu este să modifici întrebarea până când sistemul trece. Eșecul trebuie păstrat ca defect real, apoi mecanismul este îmbunătățit și testat din nou.
Performanța verificată începe acolo unde impresia nu mai este suficientă.
