Lagopoulos, A. ; Tsoumakas, G; Papadopoulos, G  «Web Robot Detection in Academic Publishing». ArXiv, 2017

Texto completo

Informes recientes de la industria aseguran el surgimiento de robots web  constituyen más de la mitad del tráfico web total. No solo amenazan la seguridad, la privacidad y la eficiencia de la web, sino que también distorsionan los análisis y las métricas, y ponen en duda la veracidad de la información que promocionan. En el dominio de la publicación académica, esto puede hacer que artículos erróneos se presenten como prominentes e influyentes. En este documento, se presenta un enfoque sobre la detección de robots web en sitios web de publicaciones académicas. Para ello los autores Utilizaron diferentes algoritmos de aprendizaje supervisado con una variedad de características derivadas tanto de los archivos de registro del servidor como del contenido servido por el sitio web. El análisis llevado a cabo se basa en la suposición de que los usuarios humanos estarán interesados ​​en dominios o artículos específicos, mientras que los robots web rastrean una biblioteca web incoherentemente.  El estudio muestra resultados prometedores, identificando la importancia de las características semánticas en el problema de detección de robots web.