Molti fornitori di servizi Internet, e molti altri siti Internet, gestiscono server di notizie a cui i loro utenti possono accedere. Gli ISP che non gestiscono direttamente i propri server spesso offrono ai loro utenti un account di un altro provider che gestisce specificamente i newsfeed. Nelle prime implementazioni delle notizie, il server e il newsreader erano una singola suite di programmi che girava sullo stesso sistema. Oggi, si usa un software client newsreader separato, un programma che assomiglia a un client di posta elettronica ma che invece accede ai server Usenet.
Non tutti gli ISP gestiscono news server. Un news server è uno dei servizi Internet più difficili da amministrare a causa della grande quantità di dati coinvolti, della piccola base di clienti (rispetto al servizio Internet tradizionale) e di un volume sproporzionatamente alto di incidenti di supporto ai clienti (che spesso si lamentano di articoli di notizie mancanti). Alcuni ISP esternalizzano le operazioni di notizie a siti specializzati, che di solito appaiono all’utente come se l’ISP stesso gestisse il server. Molti di questi siti hanno un newsfeed ristretto, con un numero limitato di newsgroup. Comunemente omessi da un tale newsfeed sono i newsgroup in lingua straniera e la gerarchia alt.binaries che in gran parte trasporta software, musica, video e immagini, e rappresenta oltre il 99% dei dati degli articoli.
Ci sono anche provider Usenet che offrono un servizio completo senza restrizioni agli utenti i cui ISP non trasportano notizie, o che trasportano un feed limitato.
NewsreadersEdit
I newsgroups sono tipicamente accessibili con newsreaders: applicazioni che permettono agli utenti di leggere e rispondere ai messaggi nei newsgroups. Queste applicazioni agiscono come client di uno o più news server. Storicamente, Usenet era associato al sistema operativo Unix sviluppato presso AT&T, ma i newsreader sono ora disponibili per tutti i principali sistemi operativi. I moderni client di posta o “suite di comunicazione” hanno comunemente anche un newsreader integrato. Spesso, tuttavia, questi client integrati sono di bassa qualità, rispetto ai newsreader indipendenti, e implementano in modo errato i protocolli, gli standard e le convenzioni di Usenet. Molti di questi client integrati, per esempio quello in Outlook Express di Microsoft, non piacciono ai puristi a causa del loro comportamento scorretto.
Con l’ascesa del World Wide Web (WWW), i front-end web (web2news) sono diventati più comuni. I front-end web hanno abbassato i requisiti tecnici della barriera d’ingresso a quelli di un’applicazione e nessun account sul server Usenet NNTP. Ci sono numerosi siti web che offrono gateway basati sul web per i gruppi Usenet, anche se alcune persone hanno iniziato a filtrare i messaggi fatti da alcune delle interfacce web per una ragione o l’altra. Google Groups è uno di questi front end basati sul web e alcuni browser web possono accedere a Google Groups tramite news: protocol link direttamente.
NewsgroupsEdit moderati e non moderati
Una minoranza di newsgroups sono moderati, il che significa che i messaggi inviati dai lettori non sono distribuiti direttamente a Usenet, ma invece sono inviati per email ai moderatori del newsgroup per l’approvazione. Il moderatore deve ricevere gli articoli inviati, rivederli e inserire gli articoli approvati in modo che possano essere adeguatamente propagati in tutto il mondo. Gli articoli approvati da un moderatore devono riportare la linea di intestazione Approved:. I moderatori assicurano che i messaggi che i lettori vedono nel newsgroup siano conformi allo statuto del newsgroup, sebbene non siano tenuti a seguire alcuna regola o linea guida. Tipicamente, i moderatori sono nominati nella proposta per il newsgroup, e i cambiamenti dei moderatori seguono un piano di successione.
Storicamente, una gerarchia mod.* esisteva prima della riorganizzazione di Usenet. Ora, i newsgroup moderati possono apparire in qualsiasi gerarchia, tipicamente con .moderated aggiunto al nome del gruppo.
I newsgroups Usenet nella gerarchia Big-8 sono creati da proposte chiamate Request for Discussion, o RFD. La RFD deve avere le seguenti informazioni: nome del newsgroup, voce del file checkgroups, e stato moderato o non moderato. Se il gruppo deve essere moderato, allora deve essere fornito almeno un moderatore con un indirizzo email valido. Altre informazioni utili ma non necessarie includono: uno statuto, una motivazione, e una politica di moderazione se il gruppo deve essere moderato. La discussione della proposta del nuovo newsgroup segue, e termina con i membri del consiglio di amministrazione del Big-8 che prendono la decisione, tramite votazione, di approvare o disapprovare il nuovo newsgroup.
I newsgroup non moderati formano la maggioranza dei newsgroup Usenet, e i messaggi inviati dai lettori per i newsgroup non moderati sono immediatamente propagati per essere visti da tutti. Il filtraggio minimo del contenuto editoriale e la velocità di propagazione costituiscono uno dei punti cruciali della comunità Usenet. Una difesa poco citata della propagazione è la cancellazione di un messaggio propagato, ma pochi utenti Usenet usano questo comando e alcuni lettori di notizie non offrono comandi di cancellazione, in parte perché la memoria degli articoli scade comunque in tempi relativamente brevi. Quasi tutti i gruppi Usenet non moderati sono diventati collezioni di spam.
Dettagli tecniciModifica
Usenet è un insieme di protocolli per generare, immagazzinare e recuperare “articoli” di notizie (che assomigliano a messaggi di posta Internet) e per scambiarli tra un pubblico di lettori che è potenzialmente ampiamente distribuito. Questi protocolli usano più comunemente un algoritmo di flooding che propaga copie in una rete di server partecipanti. Ogni volta che un messaggio raggiunge un server, quel server inoltra il messaggio a tutti i suoi vicini di rete che non hanno ancora visto l’articolo. Solo una copia di un messaggio è memorizzata per server, e ogni server lo rende disponibile su richiesta ai lettori (tipicamente locali) in grado di accedere a quel server. L’insieme dei server Usenet ha quindi un certo carattere peer-to-peer in quanto condividono risorse scambiandole, la granularità dello scambio però è su una scala diversa da un moderno sistema peer-to-peer e questa caratteristica esclude gli utenti effettivi del sistema che si connettono ai server di notizie con una tipica applicazione client-server, come un lettore di posta elettronica.
RFC 850 fu la prima specifica formale dei messaggi scambiati dai server Usenet. È stata sostituita da RFC 1036 e successivamente da RFC 5536 e RFC 5537.
Nei casi in cui è stato pubblicato un contenuto inadatto, Usenet ha il supporto per la rimozione automatica di un messaggio dall’intera rete creando un messaggio di cancellazione, anche se a causa di una mancanza di autenticazione e del conseguente abuso, questa capacità è spesso disabilitata. I detentori di copyright possono ancora richiedere la cancellazione manuale di materiale in violazione utilizzando le disposizioni delle implementazioni del trattato dell’Organizzazione Mondiale della Proprietà Intellettuale, come l’Online Copyright Infringement Liability Limitation Act degli Stati Uniti, ma questo richiederebbe la notifica ad ogni singolo amministratore del news server.
Su Internet, Usenet è trasportato tramite il Network News Transfer Protocol (NNTP) sulla porta TCP 119 per connessioni standard, non protette e sulla porta TCP 563 per connessioni criptate SSL.
OrganizationEdit
L’insieme principale dei newsgroup mondiali è contenuto in nove gerarchie, otto delle quali sono gestite sotto linee guida consensuali che governano la loro amministrazione e denominazione. Gli attuali Big Eight sono:
- comp.* – discussioni relative ai computer (comp.software, comp.sys.amiga)
- humanities.* – belle arti, letteratura e filosofia (humanities.classics, humanities.design.misc)
- misc.* – argomenti vari (misc.education, misc.forsale, misc.kids)
- news.* – discussioni e annunci su notizie (intendendo Usenet, non eventi attuali) (news.groups, news.admin)
- rec.* – ricreazione e intrattenimento (rec.musica, rec.arts.movies)
- sci.* – discussioni relative alla scienza (sci.psychology, sci.research)
- soc.* – discussioni sociali (soc.college.org, soc.culture.african)
- talk.* – discussioni su vari argomenti controversi (talk.religione, talk.politics, talk.origins)
Vedi anche la Grande Rinominazione.
La gerarchia di alt.* non è soggetta alle procedure che controllano i gruppi del Big Eight, ed è di conseguenza meno organizzata. I gruppi nella gerarchia alt.* tendono ad essere più specializzati o specifici-per esempio, ci potrebbe essere un newsgroup sotto il Big Eight che contiene discussioni sui libri per bambini, ma un gruppo nella gerarchia alt potrebbe essere dedicato ad uno specifico autore di libri per bambini. I binari sono postati in alt.binaries.*, rendendolo il più grande di tutte le gerarchie.
Molte altre gerarchie di newsgroup sono distribuite accanto a queste. Gerarchie regionali e specifiche per la lingua come japan.*, malta.* e ne.* servono paesi e regioni specifiche come il Giappone, Malta e il New England. Aziende e progetti amministrano le proprie gerarchie per discutere i loro prodotti e offrire supporto tecnico alla comunità, come la storica gerarchia gnu.* della Free Software Foundation. Microsoft ha chiuso il suo newsserver nel giugno 2010, fornendo ora supporto per i suoi prodotti attraverso i forum. Alcuni utenti preferiscono usare il termine “Usenet” per riferirsi solo alle gerarchie Big Eight; altri includono anche alt.*. Il termine più generale “netnews” incorpora l’intero mezzo, compresi i sistemi di notizie organizzativi privati.
Esistono anche convenzioni informali di sotto-gerarchia. *.answers sono tipicamente gruppi cross-post moderati per le FAQ. Una FAQ potrebbe essere postata all’interno di un gruppo e un post incrociato al gruppo *.answers a capo della gerarchia, visto da alcuni come una raffinazione delle informazioni in quel gruppo di notizie. Alcuni sottogruppi sono ricorsivi fino al punto di una certa stupidità in alt.*.
Binary contentEdit
Usenet è stato originariamente creato per distribuire contenuti testuali codificati nel set di caratteri ASCII a 7 bit. Con l’aiuto di programmi che codificano valori a 8 bit in ASCII, divenne pratico distribuire file binari come contenuto. I messaggi binari, a causa della loro dimensione e del loro spesso dubbio status di copyright, sono stati limitati nel tempo a specifici newsgroup, rendendo più facile per gli amministratori permettere o impedire il traffico.
Il più vecchio metodo di codifica ampiamente usato per il contenuto binario è uuencode, dal pacchetto Unix UUCP. Alla fine degli anni ’80, gli articoli Usenet erano spesso limitati a 60.000 caratteri, e oggi esistono limiti più grandi. I file sono quindi comunemente divisi in sezioni che richiedono il riassemblaggio da parte del lettore.
Con le estensioni dell’intestazione e le codifiche MIME Base64 e Quoted-Printable, ci fu una nuova generazione di trasporto binario. In pratica, MIME ha visto una maggiore adozione nei messaggi di testo, ma viene evitato per la maggior parte degli allegati binari. Alcuni sistemi operativi con metadati allegati ai file usano formati di codifica specializzati. Per Mac OS, vengono utilizzati sia BinHex che tipi MIME speciali. Altri sistemi di codifica meno conosciuti che possono essere stati usati un tempo erano BTOA, XX encoding, BOO, e USR encoding.
In un tentativo di ridurre i tempi di trasferimento dei file, una codifica informale conosciuta come yEnc è stata introdotta nel 2001. Raggiunge circa il 30% di riduzione dei dati trasferiti assumendo che la maggior parte dei caratteri a 8 bit può essere trasferita in modo sicuro attraverso la rete senza prima codificare nello spazio ASCII a 7 bit. Il metodo più comune per caricare grandi messaggi binari su Usenet è quello di convertire i file in archivi RAR e creare file Parchive per essi. I file di parità sono usati per ricreare i dati mancanti quando non tutte le parti dei file raggiungono un server.
Tempo di ritenzione binariaModifica
Ogni news server assegna una certa quantità di spazio di archiviazione per i contenuti di ogni newsgroup. Quando questo spazio è stato riempito, ogni volta che arriva un nuovo messaggio, i vecchi messaggi vengono cancellati per fare spazio al nuovo contenuto. Se la larghezza di banda di rete disponibile per un server è alta ma l’allocazione di memoria è piccola, è possibile che un enorme flusso di contenuto in arrivo faccia traboccare l’allocazione e spinga fuori tutto ciò che era nel gruppo prima di esso. La durata media del tempo in cui i messaggi possono rimanere sul server prima di essere cancellati è comunemente chiamata tempo di ritenzione.
I newsgroup binari sono in grado di funzionare in modo affidabile solo se c’è abbastanza memoria allocata per gestire la quantità di articoli che vengono aggiunti. Senza un tempo di ritenzione sufficiente, un lettore non sarà in grado di scaricare tutte le parti del binario prima che sia cancellato dall’allocazione di memoria del gruppo. Un tempo questo era il modo in cui si contrastava la pubblicazione di contenuti indesiderati; il newsgroup sarebbe stato inondato da messaggi di dati spazzatura casuali, di quantità sufficiente a spingere fuori tutto il contenuto da sopprimere. Questo è stato compensato dai fornitori di servizi che allocano abbastanza memoria per conservare tutto ciò che viene postato ogni giorno, compresi i flood di spam, senza cancellare nulla.
I moderni server di news Usenet hanno abbastanza capacità per archiviare anni di contenuti binari anche quando vengono inondati di nuovi dati alla massima velocità giornaliera disponibile.
In parte a causa di questi lunghi tempi di conservazione, così come per le crescenti velocità di upload su Internet, Usenet è anche usato dai singoli utenti per archiviare dati di backup. Mentre i fornitori commerciali offrono servizi di backup online più facili da usare, la memorizzazione dei dati su Usenet è gratuita (anche se l’accesso a Usenet stesso può non esserlo). Il metodo richiede che l’uploader ceda il controllo sulla distribuzione dei dati; i file sono automaticamente diffusi a tutti i provider Usenet che scambiano dati per il gruppo di notizie in cui sono pubblicati. In generale l’utente deve selezionare, preparare e caricare manualmente i dati. I dati sono tipicamente criptati perché sono disponibili a chiunque per scaricare i file di backup. Dopo che i file sono stati caricati, avere più copie sparse in diverse regioni geografiche del mondo su diversi server di notizie diminuisce le possibilità di perdita di dati.
I maggiori fornitori di servizi Usenet hanno un tempo di conservazione di più di 12 anni, il che si traduce in più di 60 petabyte (60000 terabyte) di memoria (vedi immagine). Quando si usa Usenet per l’archiviazione dei dati, i provider che offrono un tempo di conservazione più lungo sono preferiti per garantire che i dati sopravvivano per periodi di tempo più lunghi rispetto ai servizi con un tempo di conservazione inferiore.
Questioni legaliModifica
Mentre i newsgroup binari possono essere usati per distribuire lavori creati dall’utente completamente legali, software open-source e materiale di dominio pubblico, alcuni gruppi binari sono usati per distribuire illegalmente software commerciale, media protetti da copyright e materiale pornografico.
I server Usenet gestiti dagli ISP spesso bloccano l’accesso a tutti i gruppi alt.binaries.* sia per ridurre il traffico di rete che per evitare problemi legali correlati. I fornitori di servizi Usenet commerciali affermano di operare come un servizio di telecomunicazione, e affermano di non essere responsabili del contenuto binario postato dagli utenti e trasferito attraverso le loro apparecchiature. Negli Stati Uniti, i provider Usenet possono qualificarsi per la protezione sotto i regolamenti DMCA Safe Harbor, a condizione che stabiliscano un meccanismo per conformarsi e rispondere alle notifiche di takedown dei detentori di copyright.
La rimozione di contenuti protetti da copyright dall’intera rete Usenet è un compito quasi impossibile, a causa della rapida propagazione tra i server e la ritenzione fatta da ogni server. Presentare una petizione di rimozione a un provider Usenet lo rimuove solo dalla cache di conservazione di quel server, ma non dagli altri. È possibile distribuire uno speciale messaggio di cancellazione del post per rimuoverlo da tutti i server, ma molti provider ignorano i messaggi di cancellazione per politica standard, perché possono essere facilmente falsificati e inviati da chiunque. Affinché una petizione di takedown sia più efficace in tutta la rete, dovrebbe essere emessa al server di origine in cui il contenuto è stato postato, prima che sia stato propagato ad altri server. La rimozione del contenuto in questa fase iniziale impedirebbe l’ulteriore propagazione, ma con i moderni collegamenti ad alta velocità, il contenuto può essere propagato con la stessa velocità con cui arriva, senza lasciare tempo per la revisione del contenuto e l’emissione del takedown da parte dei detentori del copyright.
Stabilire l’identità della persona che pubblica contenuti illegali è altrettanto difficile a causa del design basato sulla fiducia della rete. Come per le e-mail SMTP, i server generalmente assumono che le informazioni di intestazione e di origine in un post siano vere e accurate. Tuttavia, come nella posta elettronica SMTP, le intestazioni dei messaggi di Usenet sono facilmente falsificate in modo da oscurare la vera identità e la posizione della fonte del messaggio. In questo modo, Usenet è significativamente diverso dai moderni servizi P2P; la maggior parte degli utenti P2P che distribuiscono contenuti sono in genere immediatamente identificabili a tutti gli altri utenti tramite il loro indirizzo di rete, ma le informazioni sull’origine di un messaggio Usenet possono essere completamente oscurate e irraggiungibili una volta che si è propagato oltre il server originale.
Anche a differenza dei moderni servizi P2P, l’identità di chi scarica è nascosta alla vista. Sui servizi P2P un downloader è identificabile per tutti gli altri attraverso il suo indirizzo di rete. Su Usenet, chi scarica si connette direttamente a un server, e solo il server conosce l’indirizzo di chi si sta connettendo. Alcuni provider Usenet tengono registri di utilizzo, ma non tutti rendono queste informazioni registrate casualmente disponibili a parti esterne come la Recording Industry Association of America. L’esistenza di gateway di anonimizzazione per USENET complica anche la tracciabilità della vera origine di un post.