Navigazione – Mappa del sito

HomeNumeri49la società contemporanea / Diritt...Appendice. Che cos’è e come funzi...

la società contemporanea / Diritti di comunicazione e azione collettiva

Appendice. Che cos’è e come funziona Issue Crawler

Claudia Padovani, Elena Pavan e Matteo Cernison
p. 81-88

Abstract

Questa Appendice riprende contributi precedentemente sviluppati nell’ambito del progetto «Diritti di comunicazione tra locale e globale: reti di movimento e trasformazione dei processi di governance» (PRIN 2006) da Claudia Padovani, Elena Pavan e Matteo Cernison.

Torna su

Testo integrale

1Issue Crawler (IC)1 è uno degli strumenti software sviluppati dalla fondazione olandese Govcom.org per analizzare il mondo digitale2. IC consente di localizzare e visualizzare reti tematiche online. Il software lavora su server basati ad Amsterdam e può essere interrogato da remoto attraverso un’interfaccia raggiungibile da Web all’indirizzo http://www.issuecrawler.net. Lo sviluppo di questo software nasce dal riconoscimento che i collegamenti fra siti e blog non sono casuali, ma tendono a favorire relazioni tra attori interessati a tematiche specifiche. Di conseguenza è possibile individuare nel Web aree più dense di collegamenti, proprio sulla base di comuni interessi tematici. Queste sono considerate come veri e propri reticoli di relazioni: configurazioni tematiche che possiamo pensare come sistemi di attori/nodi che trattano questioni di comune interesse, si riconoscono reciprocamente e si interconnettono attraverso diversi percorsi.

2Le reti tematiche online sono formate da due ordini di elementi: un insieme di nodi costituiti da risorse elettroniche di varia natura (pagine Web, documenti online, post di blog ecc.) relativi ad una determinata area tematica (nel caso degli articoli presentati in questo numero: diritti di comunicazione, media-attivismo, governance di Internet) e i legami che esistono tra queste risorse. In generale, l’attività di costruzione dei link tra siti e più in generale tra risorse Web, può essere considerata come un’attività politicamente rilevante in quanto è proprio attraverso la consapevole costruzione di legami che gli attori sul Web dichiarano pubblicamente di ri-conoscere altri attori e specifici temi come rilevanti. All’interno di queste reti si svolge inoltre un’attività di condivisione e circolazione di informazioni, si consolidano prospettive e rappresentazioni relative agli avvenimenti del mondo «offline», possono nascere o rafforzarsi campagne di mobilitazione, possono articolarsi visioni alternative a quelle dominanti diffuse offline. In sintesi: queste reti sono luoghi attraverso cui è possibile monitorare dibattiti e seguire il formarsi di discorsi pubblici.

3Le analisi vengono dunque condotte a livello micro, sulla natura dei link e dei singoli siti Web ponendo specifica attenzione alle strategie di creazione di legami tra attori. Le connessioni tra risorse elettroniche vengono rappresentate graficamente dal software che individua legami non necessariamente reciproci sottolineando in questo modo non solo quali attori/nodi si relazionano fra loro sulla base di interessi tematici, ma anche il modo (selettivo) in cui lo fanno. Infine, Issue Crawler permette di individuare attori rilevanti all’interno delle reti tematiche, come pure i legami più significativi in funzione della (ri)costruzione di spazi di dialogo pubblico.

4Nei paragrafi che seguono viene anzitutto presentata la fase preliminare alla mappatura delle reti, cioè la definizione dei punti di partenza (starting points); in secondo luogo, si descrivono le fasi denominate di crawl e di analisi dei co-link (co-link analysis): infine, si introduce una serie di strumenti complementari che permettono di esaminare più nel dettaglio le mappe elaborate dal software.

1. Individuazione dei punti di partenza

5Per utilizzare IC per la ricostruzione e visualizzazione delle reti online, è necessario individuare una serie di «punti di partenza» (starting points), cioè una serie di indirizzi URL che identificano risorse online e dai quali partirà per condurre le analisi. È il ricercatore a decidere quali saranno i punti dai quali la ricerca dovrà partire, generalmente sulla base della propria conoscenza dell’area tematica, degli attori coinvolti, delle domande di ricerca, ma non solo. Questa operazione preliminare può essere infatti svolta in diversi modi e richiede, in ogni caso, un’attenzione particolare, in quanto condiziona lo svolgimento del crawl e i risultati resi dallo strumento.

6Il modo più semplice, ma anche meno preciso, per individuare i punti di partenza delle analisi è effettuare una ricerca con un qualsiasi motore di ricerca, inserendo uno specifico oggetto di indagine (ad esempio, «diritti di comunicazione»+ Italia). Dalla lista che il motore di ricerca restituisce come risultato, il ricercatore può selezionare i primi 10 o 20 risultati e considerarli come i suoi punti di partenza. Molto spesso, il motore di ricerca restituirà indirizzi URL che fanno riferimento alle pagine iniziali di siti Web. Dal momento che il software va alla ricerca dei legami esistenti tra le risorse elettroniche, le pagine iniziali possono non essere le più indicate a funzionare come starting point; si può allora decidere di esplorare i diversi siti e individuare le rispettive «pagine dei link» (spesso sono identificate anche come «Risorse») per poi utilizzare l’URL corrispondente come un punto di partenza. Va sottolineato come questa procedura di identificazione degli starting point sia condizionata dalla specifica logica di funzionamento e degli algoritmi che regolano l’operatività di ciascun motore di ricerca (Rogers 2006 e 2008). La lista di punti di partenza deve dunque essere considerata nella sua parzialità e contingenza. Un modo per ridimensionare questo problema consiste nella realizzazione di varie liste realizzate attraverso l’interrogazione di diversi motori. L’incrocio dei risultati o la realizzazione di reti separate a partire dalle diverse liste possono contribuire a limitare le distorsioni provocate dagli specifici meccanismi di reperimento delle informazioni iniziali.

7Un secondo metodo per individuare gli starting point si basa sulle competenze di «esperti» della tematica: individui o organizzazioni particolarmente attivi o competenti nell’area presa in esame possono fornire indicazioni su quali attori essi considerano particolarmente rilevanti all’interno del campo. Da queste indicazioni il ricercatore potrà ricavare una lista degli URL corrispondenti – qualora siano disponibili – attraverso la quale svolgere la propria ricerca. I rischi connessi a questo metodo per l’identificazione della lista iniziale sono, piuttosto intuitivamente, collegati alla parzialità delle visioni degli intervistati. Una possibile soluzione per evitare che la rete finale tracciata dal software sia eccessivamente influenzata dalle percezioni individuali consiste nell’intervistare più di un esperto e incrociare i risultati ottenuti.

8Una terza procedura per l’identificazione dei punti di partenza si basa sulle conoscenze specifiche del ricercatore e sulle ipotesi di ricerca che stanno alla base dell’indagine. Ad esempio, nel caso della governance di Internet qui considerato, le Dynamic Coalitions che operano nel contesto dell’Internet Governance Forum sono state considerate come proxy attraverso i quali mappare il contesto di discussione tematica più ampio, ma difficilmente esaminabile attraverso le reti. La lista dei punti di partenza è stata, in questo caso, realizzata collezionando gli URL delle organizzazioni aderenti a ciascuno di questi gruppi in quel contesto specifico. Anche in questo caso la parzialità della visione o delle ipotesi avanzate dal ricercatore possono costituire limiti oggettivi e una possibile soluzione consiste nell’integrazione delle liste stilate dal ricercatore con risultati ottenuti attraverso l’impiego di uno o entrambi i metodi precedenti.

2. Il crawling e l’analisi dei co-link

9Le reti tematiche tracciate da IC sono costituite da un insieme di risorse elettroniche di varia natura e tematicamente pertinenti, come pure dai legami tra loro esistenti nello spazio virtuale. La selezione dei punti di partenza costituisce il primo passo per tracciare le reti online ma il risultato finale non sarà semplicemente dato dall’insieme di questi nodi e dai legami esistenti tra essi. Infatti, partendo dalla lista degli starting point il software esegue due operazioni in successione. In primo luogo, viene svolta un’operazione detta crawling, attraverso la quale vengono identificati, per ciascuno degli URL iniziali, tutti i link in uscita cioè tutti quei link che quella specifica risorsa indirizza verso altre nello spazio virtuale. Successivamente, il software passa ad un’operazione definita di «analisi dei co-link»: vengono esaminati tutti i link identificati attraverso il crawl e trattenute come informazioni rilevanti soltanto quelle riguardanti link in uscita che siano comuni ad almeno due dei punti di partenza, ovvero che puntano nella medesima direzione, collegandosi ad un medesimo nodo.

10Il ricercatore può decidere quante volte le operazioni di crawl e analisi dei co-link devono essere ripetute, da un minimo di uno ad un massimo di tre «iterazioni». Nel caso il ricercatore non voglia «perdere di vista» i punti dai quali è partito, può decidere di continuare ad includerli anche nelle iterazioni (e dunque nelle visualizzazioni) successive, attraverso l’opzione denominata privilege starting point. È bene sottolineare come, per la natura e le caratteristiche dello spazio del Web, le reti ricostruite con iterazioni diverse rappresentano «realtà» diverse e rispondono quindi a domande differenti da parte di chi osserva. Adottando una sola iterazione si otterrà, ad esempio, una rete delle «relazioni immediate», cioè una rete che rappresenta i collegamenti più diretti fra i punti di partenza e che spesso riflette o si avvicina a relazioni anche nello spazio offline. Questa modalità è interessante se applicata, ad esempio, ad eventi: partendo dagli URL dei partecipanti ad un evento è possibile ricostruire la rete tematica di «chi c’è qui oggi». Allo stesso modo, è possibile rilevare reti di «vicinato», cioè quelle che meglio rendono le prossimità tematiche stabilite dagli attori sul Web. Infatti, impostando il software sul parametro di iterazione 1 vi saranno poche aggiunte rispetto alla lista iniziale di risorse e la situazione rappresentata corrisponderà all’ambiente di relazioni più «immediato» presente sul Web. Chiedendo al software di effettuare due iterazioni si otterrà una rete tematica vera e propria, cioè che racchiude con maggiore precisione le aree connesse alla tematica in esame, meno vincolata alla lista di URL da cui si è partiti e non segnata dalle distorsioni che spesso intervengono con iterazioni successive. Infine, chiedendo al software di effettuare tre iterazioni, si ottengono spesso reti «istituzionali», in cui sono più evidenti i legami con istituzioni, organizzazioni internazionali, fondazioni finanziatrici, identificati come attori di riferimento. Questi infatti, figurano sempre come interlocutori privilegiati nel momento in cui la rete di discussione tematica si allontana dai soggetti immediatamente interessati e si allarga alla sfera ampia del Web.

11Inoltre, il ricercatore può decidere fino a che «profondità» spingersi nella ricerca dei link all’interno dei siti indagati, attraverso l’impostazione del crawl depth. I link in uscita presenti nelle pagine iniziali degli URL di partenza corrispondono ad una profondità pari a 0, quelli presenti nelle pagine collegate alle pagine di partenza, all’interno dello stesso sito o blog, avranno «profondità» pari ad 1 e così via: impostando il crawl depth su un determinato valore N (da 1 a 3), si andranno a ricercare link fino a livello N-1. Più l’analisi sarà approfondita (maggiori livelli di profondità nella ricerca al’interno di ciascun URL) e più tempo ed elaborazione saranno richiesti dal software. In questo caso però, si avrà una visione complessiva assai più precisa di come i diversi attori/nodi si rapportano nella rete tematica.

  • 3 Un host ha un URL del tipo http://www.esempio.it [sito non raggiungibile 28/11/2016] mentre una pag (...)

12Infine, le analisi possono essere effettuate a partire dalle singole pagine (crawl by page) oppure soltanto a partire dagli host (crawl by site)3. Nel primo caso, IC manterrà nella propria memoria pagine specifiche all’interno di un sito qualora fossero queste a ricevere i link e le riprodurrà nella rete visualizzata alla fine; nel secondo caso, invece, i risultati verrebbero «raggruppati» per sito e solamente i siti di riferimento troveranno spazio nella rete finale.

13Una volta specificate tutte queste opzioni, Issue Crawler svolge la sua ricerca che termina una volta raggiunto il numero di iterazioni specificate. All’utente viene segnalata la conclusione dell’elaborazione attraverso una e-mail: a quel punto questi potrà accedere all’archivio di IC e visualizzare il risultato finale in modi diversi: come una mappa con cluster di nodi (si veda la figura 1), come una mappa circolare nella quale i nodi sono disposti lungo una corona, oppure come una mappa geografica sulla quale sono segnati alcuni punti in corrispondenza del luogo di registrazione degli URL nella rete (attraverso lo strumento denominato Issue Geographer).

3. Analisi complementari delle reti tematiche

14IC permette di visualizzare le reti tematiche rilevate a partire dai punti di partenza forniti e in base alle opzioni specificate, secondo diverse modalità. Inoltre, il software è accompagnato da una serie di altri strumenti che possono contribuire alla lettura delle mappe realizzate, e all’approfondimento delle analisi in direzioni specifiche. Infine, l’organizzazione che ha sviluppato IC e gli strumenti di accompagnamento continua a perfezionare e ad integrare gli strumenti disponibili, consentendo così di approfondire la conoscenza e la comprensione del contesto digitale.

15Questa sezione conclusiva offre una rassegna sintetica delle possibili direzioni di indagine che possono essere adottate una volta che le reti tematiche sono state individuate dal software4.

  1. È possibile interrogare le reti tematiche elaborate sulla base di «parole chiave» attraverso lo strumento denominato scrapeGoogle. A questo scopo, sarà sufficiente ricavare tutti gli URL dalla rete (copiandoli dall’apposito file .xml nel quale sono raccolti) e inserirli nello spazio predisposto nello strumento di scrape specificando le chiavi di ricerca. Il software andrà a verificare se nei siti indicati sono presenti le parole chiave e, in seguito, li classificherà in base alla loro maggiore o minore rilevanza. Questo strumento è particolarmente utile per mettere in evidenza sotto-temi specifici all’interno della tematica presa in esame, come pure per individuare l’esistenza di gruppi contrapposti all’interno della rete per (il mancato) uso di determinate espressioni.

  2. Al fine di controllare quali siti acquisiscono nel tempo maggiore importanza all’interno della rete e quali, invece, occupano posizioni meno rilevanti, è possibile avvalersi di uno strumento (scheduler) per tracciare automaticamente le reti nel tempo cogliendo così i cambiamenti nelle strutture dei link presenti.

  3. Le reti tematiche possono essere anche esaminate anche in base all’uso delle rappresentazioni visive associate ai contenuti. GoogleImages permette di esaminare le immagini contenute nei siti/nodi che compongono una rete tematica identificando così le principali rappresentazioni associate ad un tema. Il software permette sia di isolare i siti che usano determinate immagini sia di estrarre tutte le immagini da un singolo URL.

  4. Per confrontare reti diverse in base alla presenza/assenza degli attori/nodi, sarà sufficiente individuare tutti gli URL delle reti da confrontare (copiandoli dall’apposito file .xml nel quale sono raccolti). Il software provvederà poi a mostrare quali attori sono presenti in entrambe le reti e quali sono presenti esclusivamente in una o nell’altra.

  5. È possibile individuare se uno o più siti nella rete sono sottoposti o meno a censura utilizzando i proxy distribuiti nel mondo per accedere ai contenuti attraverso lo strumenti Proxy.

  6. Infine, alcuni siti o parte di essi bloccano i robot di indicizzazione dei motori di ricerca impedendo così che queste informazioni siano rese accessibili al pubblico. Attraverso robot.txt stripper è possibile verificare la presenza e la rilevanza di tali politiche all’interno della rete tematica in esame.

 

16In conclusione, ricordiamo che per utilizzare Issue Crawler e gli strumenti di accompagnamento si deve chiedere di essere registrati nel sito, ricevendo così una username e una password. Inoltre, tutti i risultati delle indagini vengono conservati nell’archivio di IC, che è pubblicamente consultabile dagli iscritti e riporta il titolo dei crawl realizzati, la data di realizzazione e il nome dell’autore.

Torna su

Bibliografia

Rogers R. (2006), Mapping Web Space with the Issue Crawler, accesso 9.06.2007 da http://www.govcom.org/full_list.html.

Rogers R. (2008), The Politics of the Web Space, accesso 14.10.2008 da http://www.govcom.org/full_list.html.

Torna su

Note

1 http://www.govcom.org, www.issuecrawler.net.

2 Issue Crawler non è l’unico strumento disponibile per la mappatura dello spazio virtuale. Vi sono una molteplicità di strumenti che mirano a fornire rappresentazioni delle strutture presenti online. Si vedano, a questo proposito, i siti: http://www.visualcomplexity.org [sito non raggiungibile 28/11/2016], http://www.demoscience.org, http://www.digitalmethods.net/Digitalmethods/WebHome.

3 Un host ha un URL del tipo http://www.esempio.it [sito non raggiungibile 28/11/2016] mentre una pagina con una determinata profondità ha una struttura su più livelli come nel caso http://www.esempio.it/e/sem/pio.it [sito non raggiungibile 28/11/2016].

4 Ulteriori informazioni sono disponibili al sito http://www.issuecrawler.net.

Torna su

Indice delle illustrazioni

URL http://journals.openedition.org/qds/docannexe/image/807/img-1.jpg
File image/jpeg, 49k
Torna su

Per citare questo articolo

Notizia bibliografica

Claudia Padovani, Elena Pavan e Matteo Cernison, «Appendice. Che cos’è e come funziona Issue Crawler»Quaderni di Sociologia, 49 | 2009, 81-88.

Notizia bibliografica digitale

Claudia Padovani, Elena Pavan e Matteo Cernison, «Appendice. Che cos’è e come funziona Issue Crawler»Quaderni di Sociologia [Online], 49 | 2009, online dal 30 novembre 2015, consultato il 26 juillet 2021. URL: http://journals.openedition.org/qds/807; DOI: https://doi.org/10.4000/qds.807

Torna su

Autori

Claudia Padovani

Articoli dello stesso autore

Elena Pavan

Articoli dello stesso autore

Matteo Cernison

Torna su

Diritti d'autore

Licenza Creative Commons
Quaderni di Sociologia è distribuita con Licenza Creative Commons Attribuzione - Non commerciale - Non opere derivate 4.0 Internazionale.

Torna su
  • Logo Rosenberg & Sellier
  • DOAJ - Directory of Open Access Journals
  • OpenEdition Journals
Cerca su OpenEdition Search

Sarai reindirizzato su OpenEdition Search