A empresa afirma que o método teve desempenho semelhante ou superior ao de alternativas testadas. “Em nossas avaliações, o textGrain igualou ou superou o desempenho de outras abordagens que testamos, incluindo o SynthID para texto”, disse a OpenAI no mesmo documento.
A OpenAI reconhece que a detecção não é infalível e pode falhar no uso cotidiano. “Ainda assim, um bom desempenho em condições ideais não garante detecção confiável no uso do dia a dia”, afirmou.
O detector pode errar para mais ou para menos, segundo a empresa. “Detectores podem cometer dois tipos de erro: apontar uma marca d’água onde ela não existe — um falso positivo — ou deixar passar uma marca d’água que está presente — um falso negativo”, completou.
API terá opção de adesão e detector ficará restrito
Para clientes de API (Interface de Programação de Aplicação), a OpenAI diz que a marcação será opcional e ficará desativada por padrão. Segundo a empresa, a ideia é permitir que cada cliente decida como a marca d’água se encaixa em obrigações de transparência e na experiência oferecida a usuários.
A ferramenta de detecção não será aberta ao público no lançamento. O acesso inicial será liberado caso a caso para pesquisadores aprovados e organizações especializadas, e o relatório indicará apenas se há marca d’água da OpenAI, sem identificar usuários ou revelar prompts e conversas.