Cómo detectar referencias inventadas por IA antes de enviar tu artículo: la sanción de arXiv y un verificador de .bib
Para detectar referencias inventadas por IA antes de enviar un artículo, trabaja en tres pasadas: lista solo las entradas que tu texto cita realmente, comprueba sus DOI y títulos en Crossref de forma masiva y, después, abre cada entrada señalada y verifícala a mano. Que el documento compile sin errores no demuestra nada. Una entrada .bib inventada se compone en la lista de referencias como cualquier otra, y el log no dice nada. También conviene buscar en el código fuente frases que haya dejado un modelo de lenguaje, como "aquí tienes un resumen" o "rellena con los números reales". Este artículo incluye un script de Python listo para copiar y comandos de búsqueda; todos los ejemplos se ejecutaron antes de publicarlo.
Qué hace ahora arXiv con las referencias inventadas
En mayo de 2026, Thomas Dietterich, presidente de la sección de informática de arXiv, explicó la sanción en X y después la confirmó a Nature: si un envío contiene "pruebas irrefutables de que los autores no revisaron los resultados generados por un LLM", todos los autores reciben un veto de un año. Una vez cumplido, cualquier nuevo envío a arXiv debe haber sido aceptado antes en una publicación con revisión por pares de prestigio.
Puso dos tipos de pruebas como ejemplo:
- Referencias alucinadas.
- Metacomentarios del LLM, como "here is a 200 word summary; would you like me to make any changes?" o "the data in this table is illustrative, fill it in with the real numbers from your experiments".
Según 404 Media, antes de imponer un veto un moderador debe documentar el problema y el presidente de la sección debe confirmarlo, y los autores pueden recurrir. La norma se anunció en redes sociales y entrevistas con la prensa. En la página de moderación de arXiv, la base correspondiente es que los autores asumen la plena responsabilidad de todo el contenido, incluidas las "referencias incorrectas" producidas por IA generativa, y que "se exige escrupulosidad y cuidado en la preparación".
Para hacerse una idea de la escala, Zhao et al. (entre cuyos autores figura el fundador de arXiv, Paul Ginsparg) auditaron 111 millones de referencias en 2,5 millones de artículos de arXiv, bioRxiv, SSRN y PubMed Central. Estiman, de forma conservadora, 146.932 citas alucinadas en esos cuatro corpus en 2025. También calculan que alrededor del 78,8 % de las citas inexistentes superaron la moderación de arXiv y que el 85,3 % de esas citas en preprints de bioRxiv llegaron a las versiones publicadas. El estudio es un preprint y su método solo detecta referencias con títulos inexistentes. Los artículos reales citados para afirmar algo que no dicen son más difíciles de encontrar automáticamente.
Cómo son las referencias inventadas
| Tipo | Señales | ¿Lo detecta una comprobación automática? |
|---|---|---|
| Inventada | Título y autores verosímiles, pero el trabajo no aparece; el DOI no resuelve | Sí: el DOI devuelve 404 o el título no tiene coincidencias |
| Combinada | Un DOI real que apunta a otro artículo, a menudo con autores reales conocidos | Sí: el título del DOI no coincide con la entrada |
| Mal atribuida | El trabajo existe, pero el año, la publicación o el volumen son incorrectos | En parte: compara el año y otros campos |
| Afirmación sin respaldo | El trabajo es real, pero no dice lo que le atribuyes | No: tienes que leer la fuente |
Un año erróneo aislado suele ser un problema de metadatos, no una invención. Las versiones fusionadas en Google Scholar y la extracción defectuosa desde PDF producen ese tipo de diferencias.
Paso 1: lista solo las entradas que citas realmente
Un archivo .bib suele arrastrar entradas de proyectos antiguos que nunca aparecen en el PDF. Compila una vez y extrae las claves citadas del archivo .aux:
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -uEsto funciona con BibTeX clásico (\bibliography{refs}). Con biblatex y Biber, el archivo .aux no contiene estos registros; revisa el .bib completo o mira las entradas que Biber escribió en el archivo .bbl. Las claves citadas que faltan en el .bib aparecen como Citation undefined en el log; consulta cómo revisar las citas de un artículo en LaTeX.
Paso 2: comprueba las entradas en Crossref de forma masiva
Crossref ofrece una API REST pública y gratuita. El script siguiente usa solo la biblioteca estándar de Python y hace dos comprobaciones por entrada:
- Con DOI: consulta
api.crossref.org/works/{DOI}. Un DOI desconocido devuelve 404; uno conocido se compara por título con tu entrada.bib. - Sin DOI: hace una búsqueda bibliográfica por título, autores y año, y compara el resultado más cercano.
- Cuando la similitud del título alcanza 0.9, también se compara el año.
Guárdalo como checkbib.py y sustituye MAILTO por tu dirección de correo. Crossref pide a los clientes que incluyan datos de contacto, lo que dirige las peticiones a su pool "polite", más fiable.
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.requestMAILTO = "you@example.org" # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"def entries(text): for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S): if m.group(1).lower() in ("comment", "string", "preamble"): continue f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip()) for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M)) yield m.group(2), fdef get(url): req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"}) with urllib.request.urlopen(req, timeout=30) as r: return json.load(r)["message"]def sim(a, b): norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower()) return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2: # only check keys that BibTeX actually used aux = open(sys.argv[2], encoding="utf-8").read() cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}for key, f in entries(bib): if cited is not None and key not in cited and "*" not in cited: continue title, doi = f.get("title", ""), f.get("doi", "") try: if doi: w = get(f"{API}/{urllib.parse.quote(doi)}") s = sim(title, (w.get("title") or [""])[0]) status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs" else: q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1}) items = get(f"{API}?{q}")["items"] w = items[0] if items else {} s = sim(title, (w.get("title") or [""])[0]) status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match" except urllib.error.HTTPError as e: w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}" year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0] if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]: status = "CHECK: year differs" print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}") time.sleep(1)Ejecútalo así:
python3 checkbib.py refs.bib main.aux # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib # every entry in the .bibEl script envía una petición por segundo, así que unas pocas decenas de referencias tardan uno o dos minutos. Analiza el .bib con expresiones regulares y admite el formato habitual field = {value},. Si un valor tiene llaves muy anidadas o una disposición de líneas poco habitual, puede que el título no se lea y la entrada quede señalada para revisión.
Cómo es la salida
Creamos un .bib de prueba con cinco entradas: tres artículos reales, uno inventado (autores Smith y Chen, con un DOI en el formato de Nature Machine Intelligence) y una entrada combinada que toma el DOI de la revisión de LeCun et al. publicada en Nature en 2015 y lo une a un título que no existe. Al compilar con pdfLaTeX y BibTeX, las cinco aparecieron en la lista de referencias y el log no mostró advertencias. Salida del script el 17 de noviembre de 2026:
CHECK: year differs vaswani2017 sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK he2016 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK lecun2015 sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found smith2023fake sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs mixed2015 sim=0.32 crossref_year=2015 doi=10.1038/nature14539Se detectaron las dos entradas inventadas. La primera línea merece atención: Attention Is All You Need es un artículo real, pero las actas de NeurIPS no tienen DOI en Crossref, así que la búsqueda por título encontró otro registro de 2025 y saltó la comprobación del año. Es habitual con artículos de congresos, preprints de arXiv y capítulos de libro. Usa la salida para decidir qué revisar primero. Una señal no implica invención, y OK solo significa que el título, el DOI y el año coinciden.
Paso 3: verifica a mano las entradas señaladas
Para cada entrada CHECK:
- Abre
https://doi.org/seguido del DOI y compara el título y los autores de la página de destino con tu entrada. - Si no hay DOI, busca el título exacto entre comillas en Google Scholar, Semantic Scholar, DBLP (informática), PubMed (biomedicina) o arXiv. Para artículos de congresos, fíate de la web del congreso o de DBLP.
- Si lo encuentras, corrige la entrada: añade el DOI, el año y la publicación correctos. Exporta el BibTeX desde la página de la editorial en lugar de editarlo a mano.
- Si no lo encuentras, elimínala o sustitúyela. No conserves una referencia que "probablemente existe". Si respalda una afirmación clave, vuelve a fuentes que hayas leído de verdad.
- Comprueba la afirmación. Abre el artículo y confirma que respalda la frase que escribiste. Ningún script puede hacerlo; la hoja de registro de cómo verificar un artículo científico te ayudará.
Pasa por estos cinco pasos todas las entradas de tu .bib que haya sugerido o escrito una herramienta de IA, diga lo que diga el script.
Paso 4: elimina las frases que dejó el modelo
El segundo tipo de prueba que menciona arXiv son los metacomentarios. Suelen estar al principio o al final de párrafos pegados de vuelta en LaTeX, en notas de tablas y en pies de figura. Desde la raíz del proyecto, ejecuta:
grep -rniE --include='*.tex' \ 'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .En un archivo de prueba, este comando encontró "Here is a 200-word summary… Would you like me to make any changes?", "The data in this table is illustrative; fill it in with the real numbers.", el marcador de posición XX.X\%, [citation needed] y un comentario % TODO, sin señalar la frase normal. Para manuscritos en otros idiomas, añade las expresiones equivalentes.
Revisa cada coincidencia: palabras como illustrative o placeholder pueden ser legítimas. Los comentarios que empiezan por % no aparecen en el PDF, pero arXiv publica tu código fuente, así que elimínalos antes de enviarlo.
Por último, comprueba que cada número de tus tablas y figuras procede de tus registros experimentales. Un modelo que rellena una tabla puede insertar valores de ejemplo verosímiles. grep no puede detectarlo; solo la comparación con los datos originales.
Cómo hacerlo en EasyLaTeX
- El panel de IA a la derecha del editor (modo Chat) puede leer los archivos
.texy.bibde tu proyecto. Pídele que liste las claves citadas, que señale las entradas sin DOI o con campos incompletos y que encuentre frases con aspecto de metacomentario. El panel no tiene acceso a la web, así que no puede saber si un artículo existe. - Para verificar si una referencia existe, usa el Academic Agent de la página de inicio de la plataforma. Puede buscar en la web y consultar bibliografía, lo que lo hace adecuado para revisar una a una las entradas señaladas.
- Cuando dejas que el modo Agent edite el
.bib, puedes aceptar o rechazar cada cambio. Antes de añadir un DOI o cambiar un año, abre tú mismo la página de la editorial.
El script de Python se ejecuta en local; descarga el código fuente de tu proyecto desde EasyLaTeX y ejecútalo allí. Uses las herramientas que uses, todos los autores siguen siendo responsables de las referencias.
Lista de comprobación antes del envío
- El proyecto compila y el log no contiene
Citation undefined. - Todas las referencias citadas se han comprobado en Crossref y cada entrada
CHECKse ha verificado a mano. - Todas las referencias sugeridas o escritas por IA se han abierto y confirmado.
- Has leído los pasajes que respaldan tus afirmaciones clave.
- El código fuente no contiene metacomentarios, números de relleno ni
TODO. - El uso de IA se declara según lo que exija la publicación; consulta declaraciones de uso de IA en artículos científicos.
Referencias
- Nature. Researchers who use hallucinated references to face arXiv ban (19 de mayo de 2026).
- The Verge. ArXiv will ban researchers who upload papers full of AI slop (15 de mayo de 2026; cita la publicación de Dietterich).
- arXiv. Content Moderation (incluye la política sobre IA generativa).
- Zhao Z. et al. LLM hallucinations in the wild: Large-scale evidence from non-existent citations (arXiv:2605.07723, preprint).
- Times Higher Education. How can research platforms deal with the ‘AI slop’ deluge? (3 de noviembre de 2026, actualizado el 12 de noviembre).
- Crossref. REST API documentation.