Muitos fornecedores de serviços Internet, e muitos outros sites da Internet, operam servidores de notícias para os seus utilizadores acederem. Os ISP que não operam directamente os seus próprios servidores oferecerão frequentemente aos seus utilizadores uma conta de outro fornecedor que opera especificamente noticiários. Nas primeiras implementações de notícias, o servidor e o leitor de notícias eram um único conjunto de programas, funcionando no mesmo sistema. Hoje em dia, utiliza-se um software cliente de leitor de notícias separado, um programa que se assemelha a um cliente de e-mail mas que acede aos servidores Usenet.
Nem todos os ISPs executam servidores de notícias. Um servidor de notícias é um dos serviços de Internet mais difíceis de administrar devido à grande quantidade de dados envolvidos, à pequena base de clientes (em comparação com o serviço de Internet tradicional), e a um volume desproporcionalmente elevado de incidentes de apoio ao cliente (queixando-se frequentemente de artigos de notícias em falta). Alguns ISPs subcontratam operações noticiosas a sítios especializados, que normalmente aparecem a um utilizador como se o próprio ISP gerisse o servidor. Muitos destes sítios transportam um fluxo restrito de notícias, com um número limitado de grupos de notícias. Comumente omitidos de um tal newsfeed são os grupos de notícias em língua estrangeira e a hierarquia de alt.binários que, em grande parte, transporta software, música, vídeos e imagens, e é responsável por mais de 99 por cento dos dados dos artigos.
Existem também fornecedores da Usenet que oferecem um serviço completo sem restrições aos utilizadores cujos ISPs não transportam notícias, ou que transportam um feed restrito.
NewsreadersEdit
Newsgroups são tipicamente acedidos com newsreaders: aplicações que permitem aos utilizadores ler e responder a lançamentos em newsgroups. Estas aplicações actuam como clientes para um ou mais servidores de notícias. Historicamente, a Usenet foi associada ao sistema operativo Unix desenvolvido em AT&T, mas os leitores de notícias estão agora disponíveis para todos os principais sistemas operativos. Os clientes de correio moderno ou “conjuntos de comunicação” têm normalmente também um leitor de notícias integrado. No entanto, estes clientes integrados são frequentemente de baixa qualidade, em comparação com os leitores de notícias independentes, e implementam incorrectamente protocolos, normas e convenções da Usenet. Muitos destes clientes integrados, por exemplo o do Outlook Express da Microsoft, não são apreciados pelos puristas devido ao seu mau comportamento.
Com a ascensão da World Wide Web (WWW), os front-ends da Web (web2news) tornaram-se mais comuns. Os front-ends da Web baixaram os requisitos da barreira técnica de entrada para uma aplicação e nenhuma conta de servidor Usenet NNTP. Existem agora numerosos websites que oferecem gateways baseados na web a grupos da Usenet, embora algumas pessoas tenham começado a filtrar mensagens feitas por algumas das interfaces web por uma razão ou outra. Grupos Google é um desses front-end baseados na web e alguns navegadores web podem aceder aos Grupos Google através de notícias: links de protocolo directamente.
Grupos de notícias moderados e não moderadosEditar
Uma minoria de grupos de notícias é moderada, o que significa que as mensagens enviadas pelos leitores não são distribuídas directamente à Usenet, mas sim enviadas por e-mail aos moderadores do grupo de notícias para aprovação. O moderador recebe os artigos submetidos, revê-os, e injecta artigos aprovados para que possam ser devidamente propagados em todo o mundo. Os artigos aprovados por um moderador devem ostentar a linha Aprovado: cabeçalho. Os moderadores asseguram que as mensagens que os leitores vêem no grupo de notícias estão em conformidade com a carta do grupo de notícias, embora não sejam obrigados a seguir quaisquer regras ou directrizes deste tipo. Normalmente, os moderadores são nomeados na proposta para o grupo de notícias, e as alterações dos moderadores seguem um plano de sucessão.
Histórico, existia uma hierarquia mod.* antes da reorganização da Usenet. Agora, os grupos de notícias moderados podem aparecer em qualquer hierarquia, normalmente com .moderado adicionado ao nome do grupo.
Os grupos de notícias da Usenet na hierarquia Big-8 são criados por propostas chamadas Request for Discussion, ou RFD. A RFD deve ter as seguintes informações: nome do grupo de notícias, entrada de ficheiro de grupos de verificação, e estado moderado ou não moderado. Se o grupo tiver de ser moderado, então deve ser fornecido pelo menos um moderador com um endereço electrónico válido. Outras informações que são benéficas mas não necessárias incluem: uma carta, uma justificação, e uma política de moderação se o grupo tiver de ser moderado. Segue-se a discussão da nova proposta de grupo de notícias, e termina com os membros do Conselho de Administração do Big-8 a tomar a decisão, por votação, de aprovar ou reprovar o novo grupo de notícias.
Grupos de notícias não moderados formam a maioria dos grupos de notícias da Usenet, e as mensagens enviadas pelos leitores para os grupos de notícias não moderados são imediatamente propagadas para que todos possam ver. A filtragem mínima do conteúdo editorial vs. velocidade de propagação formam um ponto crucial da comunidade Usenet. Uma defesa pouco citada da propagação é o cancelamento de uma mensagem propagada, mas poucos utilizadores da Usenet usam este comando e alguns leitores de notícias não oferecem comandos de cancelamento, em parte porque o armazenamento de artigos expira de qualquer forma em ordem relativamente curta. Quase todos os grupos não moderados da Usenet tornaram-se colecções de spam.
Detalhes técnicosEditar
Usenet é um conjunto de protocolos para gerar, armazenar e recuperar “artigos” de notícias (que se assemelham a mensagens de correio electrónico da Internet) e para a sua troca entre um público leitor que é potencialmente amplamente distribuído. Estes protocolos utilizam mais frequentemente um algoritmo de inundação que propaga cópias através de uma rede de servidores participantes. Sempre que uma mensagem chega a um servidor, esse servidor encaminha a mensagem para todos os vizinhos da sua rede que ainda não tenham visto o artigo. Apenas uma cópia de uma mensagem é armazenada por servidor, e cada servidor torna-a disponível a pedido aos leitores (tipicamente locais) capazes de aceder a esse servidor. A colecção de servidores Usenet tem assim um certo carácter peer-to-peer na medida em que partilham recursos através da sua troca, a granularidade da troca é no entanto numa escala diferente de um sistema peer-to-peer moderno e esta característica exclui os utilizadores reais do sistema que se ligam aos servidores de notícias com uma aplicação cliente-servidor típica, muito semelhante a um leitor de e-mail.
RFC 850 foi a primeira especificação formal das mensagens trocadas pelos servidores Usenet. Foi substituída pelo RFC 1036 e subsequentemente pelo RFC 5536 e RFC 5537.
Nos casos em que foi colocado conteúdo inadequado, a Usenet tem suporte para a remoção automática de uma publicação de toda a rede através da criação de uma mensagem de cancelamento, embora devido a uma falta de autenticação e consequente abuso, esta capacidade seja frequentemente desactivada. Os detentores de direitos de autor podem ainda solicitar a eliminação manual de material infractor utilizando as disposições do tratado da Organização Mundial da Propriedade Intelectual, tais como o United States Online Copyright Infringement Liability Limitation Act, mas isto exigiria um aviso a cada administrador do servidor de notícias.
Na Internet, a Usenet é transportada através do Network News Transfer Protocol (NNTP) na porta TCP 119 para ligações padrão não protegidas e na porta TCP 563 para ligações encriptadas SSL.
OrganizationEdit
O maior conjunto de grupos de notícias a nível mundial está contido dentro de nove hierarquias, oito das quais funcionam sob directrizes consensuais que regem a sua administração e nomeação. Os actuais Big Eight são:
- comp.* – discussões relacionadas com computadores (comp.software, comp.sys.amiga)
- humanidades.* – belas artes, literatura, e filosofia (humanidades.clássicas, humanidades.design.misc)
- misc.* – temas.diversos (diversos.educação, diversos.venda, diversos.miúdos)
- notícias.* – discussões e anúncios sobre notícias (significando Usenet, não eventos.actualizados) (news.groups, news.admin)
- rec.* – recreação e entretenimento (rec.música, rec.arts.movies)
- sci.* – discussões relacionadas com a ciência (sci.psychology, sci.research)
- soc.* – discussões sociais (soc.college.org, soc.culture.african)
- talk.* – falar sobre vários tópicos controversos (falar.religion, talk.politics, talk.origins)
/li>
Veja também a Grande Renomeação.
A hierarquia alt.* não está sujeita aos procedimentos que controlam os grupos dos Oito Grandes, e é como resultado menos organizada. Os grupos na hierarquia alt.* tendem a ser mais especializados ou específicos – por exemplo, pode haver um grupo de notícias sob os Oito Grandes que contenha discussões sobre livros infantis, mas um grupo na hierarquia alt pode ser dedicado a um autor específico de livros infantis. Os binários são afixados em alt.binários.*, tornando-o o maior de todas as hierarquias.
Muitas outras hierarquias de grupos de notícias são distribuídas a par destas. Hierarquias regionais e linguísticas específicas, tais como japão.*, malta.* e ne.* servem países e regiões específicas, tais como Japão, Malta e Nova Inglaterra. Empresas e projectos administram as suas próprias hierarquias para discutir os seus produtos e oferecer apoio técnico comunitário, como a histórica hierarquia gnu.* da Free Software Foundation. A Microsoft fechou o seu servidor de notícias em Junho de 2010, prestando agora apoio aos seus produtos em fóruns. Alguns utilizadores preferem usar o termo “Usenet” para se referirem apenas às grandes oito hierarquias; outros incluem também alt.*. O termo mais geral “netnews” incorpora todo o meio, incluindo sistemas de notícias organizacionais privados.
Convenções de sub-hierarquia informal também existem. *.respostas são tipicamente grupos de correio cruzado moderados para FAQs. Uma FAQ seria afixada dentro de um grupo e uma mensagem cruzada ao grupo *.answers à cabeça da hierarquia, vista por alguns como um refinamento de informação nesse grupo de notícias. Alguns subgrupos são recorrentes – ao ponto de algumas tolices em alt.*.
Conteúdo BinárioEdit
Usenet foi originalmente criada para distribuir conteúdo de texto codificado no conjunto de caracteres ASCII de 7 bits. Com a ajuda de programas que codificam valores de 8 bits em ASCII, tornou-se prático distribuir ficheiros binários como conteúdo. Os posts binários, devido ao seu tamanho e estado muitas vezes duvidoso dos direitos de autor, foram restritos no tempo a grupos de notícias específicos, tornando mais fácil para os administradores permitir ou não o tráfego.
O método de codificação mais antigo amplamente utilizado para conteúdo binário é o uuencode, a partir do pacote Unix UUCP. No final da década de 1980, os artigos da Usenet limitavam-se frequentemente a 60.000 caracteres, e hoje em dia existem limites rígidos maiores. Assim, os ficheiros são normalmente divididos em secções que requerem remontagem pelo leitor.
Com as extensões de cabeçalho e as codificações MIME Base64 e Quoted-Printable, houve uma nova geração de transporte binário. Na prática, MIME tem visto uma adopção crescente em mensagens de texto, mas é evitada para a maioria dos anexos binários. Alguns sistemas operativos com metadados anexados a ficheiros utilizam formatos de codificação especializados. Para Mac OS, são utilizados tanto BinHex como tipos especiais MIME. Outros sistemas de codificação menos conhecidos que podem ter sido usados em tempos foram BTOA, XX codificação, BOO, e USR codificação.
Numa tentativa de reduzir os tempos de transferência de ficheiros, foi introduzida em 2001 uma codificação informal de ficheiros conhecida como yEnc. Atinge uma redução de cerca de 30% nos dados transferidos, assumindo que a maioria dos caracteres de 8 bits podem ser transferidos com segurança através da rede sem codificação prévia para o espaço ASCII de 7 bits. O método mais comum de carregar grandes mensagens binárias para a Usenet é converter os ficheiros em arquivos RAR e criar ficheiros Parchive para eles. Os ficheiros Parity são utilizados para recriar dados em falta quando nem todas as partes dos ficheiros chegam a um servidor.
Tempo de retenção binárioEdit
Cada servidor de notícias atribui uma certa quantidade de espaço de armazenamento para conteúdo em cada grupo de notícias. Quando este espaço de armazenamento é preenchido, cada vez que uma nova mensagem chega, as mensagens antigas são apagadas para dar espaço para o novo conteúdo. Se a largura de banda da rede disponível para um servidor for alta mas a alocação de armazenamento for pequena, é possível que uma enorme inundação de conteúdo recebido transborde a alocação e empurre para fora tudo o que estava no grupo antes dele. A duração média de tempo que as mensagens são capazes de permanecer no servidor antes de serem eliminadas é normalmente chamada de tempo de retenção.
Os grupos de notícias binários só são capazes de funcionar de forma fiável se houver armazenamento suficiente alocado para lidar com a quantidade de artigos que estão a ser adicionados. Sem tempo de retenção suficiente, um leitor não poderá descarregar todas as partes do binário antes de este ser expulso da alocação de armazenamento do grupo. Isto foi, em certa altura, como a publicação de conteúdos indesejados era contrariada; o grupo de notícias seria inundado com publicações aleatórias de dados de lixo, de quantidade suficiente para expulsar todo o conteúdo a ser suprimido. Isto foi compensado pelos fornecedores de serviços que atribuíam armazenamento suficiente para reter tudo o que era publicado todos os dias, incluindo as cheias de spam, sem eliminar nada.
Servidores de notícias da Usenet Moderna têm capacidade suficiente para arquivar anos de conteúdo binário, mesmo quando inundados com novos dados à velocidade máxima diária disponível.
Em parte devido a tempos de retenção tão longos, bem como à crescente velocidade de carregamento da Internet, a Usenet é também utilizada por utilizadores individuais para armazenar dados de backup. Enquanto os fornecedores comerciais oferecem serviços de backup online mais fáceis de utilizar, o armazenamento de dados na Usenet é gratuito (embora o acesso à própria Usenet possa não ser). O método exige que o carregador ceda o controlo sobre a distribuição dos dados; os ficheiros são automaticamente divulgados a todos os fornecedores da Usenet que trocam dados para o grupo de notícias para o qual são publicados. Em geral, o utilizador deve seleccionar, preparar e carregar manualmente os dados. Os dados são tipicamente encriptados porque estão à disposição de qualquer pessoa para descarregar os ficheiros de cópia de segurança. Depois de os ficheiros serem carregados, ter múltiplas cópias espalhadas por diferentes regiões geográficas do mundo em diferentes servidores de notícias diminui as hipóteses de perda de dados.
Principais fornecedores de serviços Usenet têm um tempo de retenção de mais de 12 anos, o que resulta em mais de 60 petabytes (60000 terabytes) de armazenamento (ver imagem). Ao utilizar a Usenet para armazenamento de dados, os fornecedores que oferecem um tempo de retenção mais longo são preferidos para assegurar que os dados sobreviverão por períodos de tempo mais longos em comparação com os serviços com menor tempo de retenção.
Questões legaisEditar
Enquanto os grupos de notícias binários podem ser usados para distribuir trabalhos completamente legais criados pelo utilizador, software de código aberto, e material de domínio público, alguns grupos binários são usados para distribuir ilegalmente software comercial, meios de comunicação com direitos de autor, e material pornográfico.
Servidores Usenet operados pela ISP frequentemente bloqueiam o acesso a todos os grupos alt.binários.* tanto para reduzir o tráfego de rede como para evitar questões legais relacionadas. Os fornecedores de serviços comerciais da Usenet afirmam operar como um serviço de telecomunicações, e afirmam que não são responsáveis pelo conteúdo binário colocado pelo utilizador, transferido através do seu equipamento. Nos Estados Unidos, os fornecedores da Usenet podem qualificar-se para protecção ao abrigo da regulamentação DMCA Safe Harbor, desde que estabeleçam um mecanismo para cumprir e responder a avisos de recepção dos detentores de direitos de autor.
Remover o conteúdo protegido por direitos de autor de toda a rede Usenet é uma tarefa quase impossível, devido à rápida propagação entre servidores e à retenção feita por cada servidor. Pedir a um fornecedor Usenet para remoção apenas o remove da cache de retenção desse servidor, mas não de qualquer outro. É possível que uma mensagem especial de cancelamento posterior seja distribuída para a remover de todos os servidores, mas muitos provedores ignoram as mensagens de cancelamento pela política padrão, porque elas podem ser facilmente falsificadas e submetidas por qualquer pessoa. Para que uma petição de takedown seja mais eficaz em toda a rede, teria de ser emitida para o servidor de origem para o qual o conteúdo foi postado, antes de ter sido propagada para outros servidores. A remoção do conteúdo nesta fase inicial impediria uma maior propagação, mas com ligações modernas de alta velocidade, o conteúdo pode ser propagado tão rapidamente quanto chegar, não dando tempo para a revisão do conteúdo e emissão de takedown pelos detentores dos direitos de autor.
Estabelecer a identidade da pessoa que publica o conteúdo ilegal é igualmente difícil devido à concepção da rede baseada na confiança. Tal como o e-mail SMTP, os servidores assumem geralmente que a informação do cabeçalho e da origem de uma mensagem é verdadeira e precisa. Contudo, tal como no correio electrónico SMTP, os cabeçalhos das mensagens Usenet são facilmente falsificados de modo a ocultar a verdadeira identidade e localização da fonte da mensagem. Desta forma, a Usenet é significativamente diferente dos serviços P2P modernos; a maioria dos utilizadores P2P que distribuem conteúdos são tipicamente identificáveis imediatamente a todos os outros utilizadores pelo seu endereço de rede, mas a informação de origem de uma mensagem Usenet pode ser completamente obscurecida e inatingível uma vez que se tenha propagado para além do servidor original.
Tanto ao contrário dos serviços P2P modernos, a identidade dos descarregadores é ocultada da vista. Nos serviços P2P, um descarregador é identificável a todos os outros pelo seu endereço de rede. Na Usenet, o descarregador liga-se directamente a um servidor, e só o servidor sabe o endereço de quem se está a ligar a ele. Alguns fornecedores da Usenet mantêm registos de utilização, mas nem todos tornam esta informação registada casualmente disponível a partes externas, tais como a Associação da Indústria de Gravação da América. A existência de gateways anónimas para a USENET também complica o rastreio de uma verdadeira origem dos lançamentos.