Prečo dva detektory ukážu pri rovnakom texte iné číslo
Každý detektor počíta niečo trochu iné a učil sa na iných textoch, takže dve rôzne čísla pri jednom texte nie sú chyba — sú to dva rôzne pohľady. Skóre nehovorí, koľko percent textu napísal model; hovorí, nakoľko sa text podobá tomu, čo daný nástroj pozná ako strojové písanie. Keď sa nástroje výrazne rozchádzajú, je to samo osebe informácia: text je na hrane a podľa percent sa rozhodnúť nedá. DetekceGPT preto ukazuje sedem detektorov vedľa seba a do jedného čísla ich nezlučuje.
Každý meria inú vlastnosť textu
Jeden nástroj počíta, aké predvídateľné je ďalšie slovo, druhý sleduje rozptyl dĺžky viet, tretí hľadá obraty typické pre modely a štvrtý porovnáva text s vašimi staršími prácami. Toto nie sú rôzne presné odpovede na jednu otázku, ale odpovede na štyri rôzne otázky.
Preto sa stáva, že text vyjde vysoko pri jednom detektore a nízko pri druhom: má strojový rytmus, ale žiadne typické frázy, alebo naopak. V DetekceGPT to vidíte priamo — Frázy AI, Strojový dojem a Odchýlka štýlu sú tri samostatné čísla a každé sa číta zvlášť.
Rovnaký signál, iná stupnica
Aj keď dva nástroje sledujú podobnú vec, výsledok prevádzajú na percentá po svojom. Každý má vlastnú hranicu, od ktorej vetu označí, a vlastnú sadu textov, na ktorých sa kalibroval. Šesťdesiat percent v jednom nástroji tak neznamená to isté ako šesťdesiat v druhom.
Rolu hrá aj jazyk. Väčšina detektorov vznikla na angličtine a na slovenčine sa správa inak, takže rozdiel medzi nástrojmi býva pri slovenskom texte väčší než pri anglickom.
Čo s rozporom urobiť
Nepriemerujte. Priemer dvoch čísel, ktoré merajú inú vec, nedáva zmysel a hlavne zakryje to najzaujímavejšie — že sa nástroje nezhodli. Namiesto toho si prečítajte vety, ktoré jednotlivé detektory označili, a porovnajte, či ukazujú na rovnaké miesta.
Keď sa zhodnú na rovnakých pasážach, máte silnejší podklad. Keď každý ukazuje inam, berte to ako signál, že text je hraničný, a rozhodnutie oprite o niečo ďalšie — o odchýlku od skorších textov autora alebo o rozhovor nad obsahom.
Časté otázky
Ktorý detektor je ten správny?
Žiadny. Zvonku sa presnosť overiť nedá, lebo nepoznáte texty, na ktorých sa nástroj učil. Oplatí sa vyskúšať ho na piatich textoch, pri ktorých viete, kto ich písal.
Má zmysel pustiť text viacerými nástrojmi?
Ako sonda áno, ako dôkaz nie. Viac čísel neznamená väčšiu istotu, len viac pohľadov — a tie sa môžu rozchádzať.
Prečo DetekceGPT nedá jedno výsledné číslo?
Pretože by muselo zlúčiť veličiny, ktoré merajú inú vlastnosť textu. Jedno číslo vyzerá istejšie, ale schovalo by rozpor medzi detektormi, teda tú najužitočnejšiu informáciu.
Skúste to na vlastnom texte
Vložte text alebo nahrajte súbor a pozrite sa na skóre aj na konkrétne vety, ktoré vyšli podozrivo.
Spustiť detekciu