Como pesquisar na Amazon por milhões de documentos públicos, imagens e muito mais

Assim como qualquer outra plataforma de nuvem maciça, a AWS hospeda uma variedade de dados publicamente acessíveis - a diferença é que você pode pesquisar todos os arquivos e localizar arquivos pertinentes a você.

Assim como qualquer outra plataforma de nuvem maciça, a AWS hospeda uma variedade de dados publicamente acessíveis - a diferença é que você pode pesquisar todos os arquivos e localizar arquivos pertinentes a você.
Propaganda

A Amazon Web Services (AWS) é a baleia azul da computação em nuvem. Você pode não perceber, mas a maioria dos sites e serviços da Web são executados nessa plataforma. E, de fato, a nuvem pública da AWS é maior que a Microsoft, o Google e a IBM combinados.

Assim como qualquer outra plataforma de nuvem massiva, a AWS hospeda uma variedade de dados acessíveis publicamente. Por exemplo, você pode encontrar enormes conjuntos de dados de 100 milhões de imagens e vídeos do Creative Commons do Flickr. Acesse-o com a ajuda do Navegador YFCC100m.

Tente uma pesquisa com o Google. Você ficará surpreso com a enorme quantidade de documentos públicos que você pode encontrar na AWS. Uma das maneiras mais rápidas de pesquisar arquivos em PDF da AWS é usar o bom e velho Google e um de seus operadores de pesquisa avançada.

[Keyword] filetype:PDF site:amazonaws.com 

É claro que os arquivos estão abertos ao público e podem estar disponíveis nos portais de pesquisa dos sites que os hospedam na AWS. Mas essa abordagem de palavras-chave é uma “pesquisa experimental” que ajuda você a cavar o enorme palheiro de uma só vez, em vez de ir a cada site.

Você também pode usar a página Pesquisa avançada do Google para criar sua consulta com mais precisão e, em seguida, executá-la para pesquisar na nuvem da Amazon. Eu prefiro uma pequena ferramenta de pesquisa chamada Advangle Como aumentar instantaneamente a precisão dos resultados da pesquisa no Google e no Bing Como aumentar instantaneamente a precisão dos resultados da pesquisa no Google e no Bing É por isso que a melhor maneira de pesquisar ainda requer o uso de operadores de pesquisa booleanos. Mas quem quer memorizar todos os diferentes operadores de pesquisa? Felizmente, há uma solução! Leia mais, que ajuda você a criar consultas de pesquisa de maneira visual.

Um lugar “invisível” para pesquisas na Web

Um mecanismo de pesquisa é uma porta da frente para a web. Mas há muitas maneiras de pesquisar dados aprofundados. Jornada na Web Oculto: Um Guia Para Novos Pesquisadores Jornada na Web Oculto: Um Guia Para Novos Pesquisadores Este manual o levará a um tour pelos diversos níveis da deep web: bancos de dados e informações disponíveis em periódicos acadêmicos. Finalmente, chegaremos aos portões do Tor. Leia mais e adicione suas habilidades de pesquisa. Claro, não use as informações (especialmente imagens) às cegas. Encontre o site que possui as informações e verifique suas restrições de direitos autorais.

Acho que os operadores de pesquisa avançada do Google devem fazer parte de nossos hábitos de pesquisa. O que você acha? Mencione alguns diretórios abertos onde você gostaria de fazer sua pesquisa on-line.

In this article