Tesi sulla realizzazione di un Web Crawler open source

Il Centro NEXA per Internet & Società nell’ambito delle sue attività sulla WebGeography cerca studenti laureandi interessati a collaborare alla realizzazione di un Web Crawler in grado di attraversare in modo efficiente ampie porzioni della rete raccogliendo informazioni sulle pagine visitate.

Tali informazioni verranno in seguito analizzate per l’estrazione di statistiche riguardanti aspetti di varia natura (quali ad es. l’adozione di licenze libere come Creative Commons o la classificazione automatica delle risorse web con la nazione di provenienza).

Requisiti :

Buona conoscenza dell’architettura di Internet e delle tecnologie alla base del World Wide Web (in particolar modo HTML)

Buona conoscenza del linguaggio di programmazione C

[Opzionale] Conoscenza del linguaggio Python

E’ gradita una buona conoscenza di GNU/Linux.

Contatto : davide dot bardone at polito dot it