O que você diria se eu lhe dissesse que você tem as ferramentas à sua disposição para fazer uma pesquisa inovadora e revolucionária? Bem, você faz, e eu vou te mostrar como.
Governos, instituições acadêmicas e organizações de pesquisa sem fins lucrativos publicam tabelas cheias de dados para o domínio público. Sem ninguém usar essa informação, seu verdadeiro valor nunca será conhecido. Infelizmente, poucas pessoas têm a percepção, as habilidades ou as ferramentas para pegar os dados e fazer correlações interessantes entre informações aparentemente desconexas.
fundo
Muitas das pesquisas que faço para o meu próprio blog envolvem pesquisar o que é conhecido como a Web invisível. 10 Mecanismos de pesquisa para explorar a Web invisível 10 Mecanismos de pesquisa para explorar a Web invisível Estamos familiarizados com a Web. Mas você sabia que existe um vasto cache de informações que os mecanismos de pesquisa, como o Google, não têm acesso direto? Esta é a teia invisível. Leia mais, para descobrir dados que foram liberados para o público, mas ocultos dos mecanismos de pesquisa Os 5 mecanismos de pesquisa mais avançados da Web Os 5 mecanismos de pesquisa mais avançados da Web Leia mais dentro de um banco de dados on-line. Esta é a deep web TorSearch pretende ser o Google para o Deep Web TorSearch é o Google para o Deep Web Tor é um serviço oculto e parte da Deep Web. TorSearch é um novo motor de busca anónimo que o seu fundador Chris MacNaughton quer fazer o “Google of Tor”. Leia mais e está repleto de dados valiosos. Muitas vezes, deparo-me com páginas Web repletas de alguns dos dados mais valiosos sobre tópicos que vão desde dados de recenseamento a estudos epidemiológicos sobre doenças raras. Eu constantemente tenho novas idéias sobre como tentar correlacionar essas fontes de dados diferentes usando várias ferramentas - e uma das ferramentas mais valiosas que eu encontrei é a Web Query dentro do Microsoft Excel.
Encontrando Correlações de Dados Interessantes
O que vou mostrar hoje é um exemplo de como você pode usar as consultas da Web do Excel para extrair dados de sites diferentes e compará-los uns com os outros para procurar possíveis correlações entre os dados.
A maneira de começar um exercício como esse é apresentar uma hipótese interessante. Por exemplo - para manter as coisas interessantes aqui - vou postular aleatoriamente que o aumento vertiginoso das taxas de autismo nos Estados Unidos é causado por vacinas inoculadas ou pela crescente presença de campos eletromagnéticos dentro e ao redor das crianças, como telefones celulares. É uma hipótese louca, como a que você encontrará na maioria dos sites de teorias da conspiração, mas é isso que torna isso divertido. Então vamos começar, vamos?
Primeiro, abra o Excel, vá até o item de menu de dados e encontre o ícone "From Web" na faixa de menu.
Isso é o que você usará para importar as diferentes tabelas de dados dos muitos sites que as publicaram.
Importando dados da Web para o Excel
Portanto, antigamente, você teria que tentar copiar os dados dessa tabela em uma página da Web, colá-la no Excel e lidar com todos os problemas de formatação malucos envolvidos em fazer isso. Total aborrecimento, e muitas vezes isso não vale a dor de cabeça. Bem, com o Excel Web Queries, esses dias acabaram. É claro que, antes de importar os dados, você precisará pesquisar o Google na Web para encontrar os dados de que precisa no formato de tabela. No meu caso, encontrei um site que publicou as estatísticas do Departamento de Educação para o número de estudantes de escolas públicas dos EUA que foram identificados como portadores de autismo. Uma boa mesa lá forneceu números desde 1994 até 2006.
Então, basta clicar em "Da Web", colar o URL da página no campo de endereço da consulta e, em seguida, rolar a página até ver a seta amarela ao lado da tabela com os dados que você deseja importar.
Clique na seta para que ela se torne uma marca de seleção verde.
Por fim, informe ao Excel em qual campo você deseja colar os dados da tabela em sua nova planilha.
Então - Voila! Os dados fluem automaticamente para a sua planilha.
Assim, com uma tendência de taxas de autismo na escola pública de 1996 a 2006, é hora de sair em busca de tendências de vacinação e uso de telefone celular também.
Felizmente, eu rapidamente encontrei tendências para assinantes de telefones celulares nos EUA de 1985 a 2012. Dados excelentes para este estudo em particular. Mais uma vez, usei a ferramenta Excel Web Query para importar essa tabela.
Eu importei essa tabela para uma nova folha limpa. Então, descobri as tendências de vacinação para a porcentagem de crianças em idade escolar vacinadas para diferentes doenças. Eu importei essa tabela usando a ferramenta Web Query em uma terceira folha. Então, finalmente, eu tinha três folhas com as três tabelas preenchidas com os dados aparentemente desconexos que eu havia descoberto na web.
A próxima etapa é usar o Excel para analisar os dados e tentar identificar as correlações. É aí que uma das minhas ferramentas favoritas de análise de dados entra em cena - a Tabela Dinâmica.
Analisando dados no Excel com a tabela dinâmica
É melhor criar sua tabela dinâmica em uma nova folha vazia. Você quer usar o assistente para o que você está prestes a fazer. Para habilitar o assistente de tabela dinâmica no Excel, você precisa pressionar Alt-D ao mesmo tempo até que uma janela de notificação seja exibida. Em seguida, solte esses botões e pressione a tecla "P". Então, você verá o assistente aparecer.
Na primeira janela do assistente, você deseja selecionar “Vários intervalos de consolidação”, que permite selecionar os dados de todas as planilhas que você importou. Ao fazer isso, você pode consolidar todos esses dados aparentemente não relacionados em um único e poderoso pivotável. Em alguns casos, você pode precisar massagear alguns dos dados. Por exemplo, eu tive que consertar o campo “Ano” na tabela de autismo de modo que mostrasse “1994” em vez de “1994-95” - fazendo com que ele se alinhasse melhor com as tabelas nas outras folhas, que também tiveram o ano primário campo.
Esse campo comum entre os dados é o que você precisa para tentar correlacionar as informações, portanto, lembre-se disso quando estiver procurando dados na web.
Depois que a tabela dinâmica é feita e você tem todos os valores de dados diferentes exibidos em uma tabela, é hora de fazer uma análise visual para ver se há alguma conexão óbvia que salta para você.
Visualizar dados é chave
Ter um monte de números em uma tabela é ótimo se você é um economista, mas a maneira mais rápida e fácil de ter esse momento "aha!" Quando você está tentando encontrar conexões como uma agulha em um palheiro, é através de gráficos e gráficos. Depois de ter o seu gráfico dinâmico no lugar com todos os conjuntos de dados que você coletou, é hora de criar seu gráfico. Normalmente, um gráfico de linha é o melhor, mas depende dos dados. Há momentos em que um gráfico de barras funciona muito melhor. Tente entender que tipo de dados você está vendo e quais comparações de formulários funcionam melhor.
Nesse caso, estou analisando dados ao longo do tempo, portanto, um gráfico de linhas é realmente a melhor maneira de ver as tendências ao longo dos anos. Gráfico taxas de autismo (verde) contra as taxas de vacinação reduzida (azul escuro), vacinas de catapora (azul claro) e uso de telefone celular (roxo), uma correlação estranha apareceu de repente neste conjunto de amostra de dados que eu estava jogando.
Curiosamente, a tendência no uso de telefones celulares de 1994 a 2006 quase igualou a escalada das taxas de autismo no mesmo período de tempo. Embora o padrão tenha sido completamente inesperado, é um exemplo perfeito de como unir dados interessantes pode revelar pistas fascinantes - proporcionando a você maior percepção e motivação para continuar avançando e buscando mais dados que possam reforçar ainda mais sua hipótese.
Uma correlação como essa acima não prova nada. Há muitas tendências que aumentam com o tempo - o padrão pode ser coincidência, mas também pode ser uma pista importante em sua busca contínua por mais dados na Internet. Felizmente, você tem uma ferramenta poderosa chamada Excel Web Queries, que torna a busca um pouco mais fácil.
Crédito da foto: Kevin Dooley via photopin cc