Non proprio affidabile, è comunque un inizio per cercare di fare chiarezza.
OpenAI prova a difendersi da accuse e polemiche per aver dato a tutti la possibilità di utilizzare la sua Intelligenza artificiale applicata a ChatGPT mettendo online il suo classificatore AI che la lo scopo di scoprire testi scritti da umani o da Intelligenza artificiale.
La stessa azienda dichiara che lo strumento non ha ancora un grado elevato di affidabilità. Nelle lingue diverse dall'inglese (lo abbiamo testato per l'italiano), l'errore è abbastanza frequente e il classificatore sbaglia spesso e volentieri, indicando come opere umane testi scritti da chatbot e viceversa.
Abbiamo addestrato un classificatore per distinguere tra testo scritto da un essere umano e testo scritto da IA di una varietà di fornitori. Sebbene sia impossibile rilevare in modo affidabile tutto il testo scritto dall'intelligenza artificiale, riteniamo che i buoni classificatori possano informare le mitigazioni per false affermazioni secondo cui il testo generato dall'intelligenza artificiale è stato scritto da un essere umano: ad esempio, l'esecuzione di campagne di disinformazione automatizzate, l'utilizzo di strumenti di intelligenza artificiale per la disonestà accademica e posizionare un chatbot AI come un essere umano.
Il nostro classificatore non è completamente affidabile. Nelle nostre valutazioni su un "insieme di sfide" di testi in inglese, il nostro classificatore identifica correttamente il 26% del testo scritto dall'IA (veri positivi) come "probabilmente scritto dall'IA", mentre etichetta erroneamente il testo scritto dall'uomo come il 9% scritto dall'IA il tempo (falsi positivi). L'affidabilità del nostro classificatore in genere migliora con l'aumentare della lunghezza del testo di input. Rispetto al nostro classificatore rilasciato in precedenza , questo nuovo classificatore è significativamente più affidabile sul testo dei sistemi IA più recenti.
Stiamo rendendo questo classificatore pubblicamente disponibile per ottenere feedback sull'utilità di strumenti imperfetti come questo. Il nostro lavoro sul rilevamento del testo generato dall'intelligenza artificiale continuerà e speriamo di condividere metodi migliorati in futuro.
Se siete interessati, potete provare la prima versione del classificatore di OpenAI a questo indirizzo.
