O Excel é excelente em tantas tarefas do dia-a-dia. Mas de vez em quando, você encontra uma de suas deficiências: o tamanho de uma planilha. Se você precisa saber como tornar uma planilha do Excel menor ou como dividir um CSV grande, nós o abordamos.
Atingir o limite de linhas da planilha é uma tarefa bastante séria por si só. O limite atual da linha da planilha do Excel é 1.048.576. É isso mesmo - mais de 1 milhão de linhas e a mesma quantidade de colunas também.
Mas atingir esse limite de linha é realmente incrivelmente fácil, durante certas tarefas. Se você está comercializando via e-mail, você pode importar um arquivo CSV Como importar dados para suas planilhas do Excel de maneira simples e fácil Como importar dados para suas planilhas do Excel da maneira simples e fácil Você já teve dificuldade em importar ou exportar dados para uma planilha? Este tutorial ajudará você a dominar a arte de mover dados entre o Microsoft Excel, CSV, HTML e outros formatos de arquivo. Leia mais contendo milhões de endereços de e-mail. O único problema é como você realmente gerencia uma planilha com tantos endereços? Além disso, e se alguém lhe enviar um CSV que já esteja acima do limite (de outro programa)?
Bem, vou mostrar a você como dividir esse enorme CSV em partes facilmente gerenciáveis.
(Não há um CSV grande à mão? Existem alguns conjuntos de dados CSV bastante grandes disponíveis 15 Bancos de dados on-line massivos que você deve conhecer 15 Bancos de dados on-line massivos que você deve conhecer A Internet documenta tudo. enciclopédias on-line ou bancos de dados - a questão é, você sabe sobre os melhores? Leia mais sobre a data.gov.Eu vou usar a lista de 260.000 filas Hospital Compare, assim você pode usar o mesmo arquivo.)
1. Use um programa
Há vários programas úteis de splitter de CSV por aí. Eu vou te mostrar dois dos melhores.
CSV Chunker
O CSV Chunker é um divisor CSV de código aberto. Ele pode lidar com arquivos enormes, dividindo-os rapidamente em partes de sua escolha. Demorou cerca de 3 segundos para dividir o nosso Hospital Comparar CSV em 106 pedaços, contendo 2.500 linhas cada.
Divisor CSV
O CSV Splitter é a nossa segunda ferramenta. Oferece a mesma funcionalidade do CSV Chunker, embora com um design ligeiramente mais elegante. O CSV Splitter levou cerca de 4 segundos para dividir o nosso Hospital Compare CSV em 106, contendo novamente 2.500 linhas cada.
2. Use um arquivo em lote
Em seguida, um arquivo de lote programável Como escrever um arquivo de lote simples (BAT) Como escrever um arquivo de lote simples (BAT) Os arquivos em lote podem automatizar as tarefas diárias do computador. Mostraremos como os arquivos em lote funcionam e ensinamos o básico. No final deste artigo, você terá escrito seu primeiro arquivo de lote. Consulte Mais informação . Podemos usar um arquivo em lotes para processar o CSV em partes menores, personalizando o arquivo para fornecer pedaços diferentes.
Abra um novo documento de texto. Copie e cole o seguinte:
@echo off setlocal ENABLEDELAYEDEXPANSION REM Edite esse valor para alterar o nome do arquivo que precisa ser dividido. Inclua a extensão. SET BFN = HCAHPSHospital.csv REM Edite esse valor para alterar o número de linhas por arquivo. SET LPF = 2500 REM Edite esse valor para alterar o nome de cada arquivo curto. Será seguido por um número indicando onde está na lista. SET SFN = HosptialSplitFile REM Não mude para além desta linha. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 Para / F "delims ==" %% l em (% BFN%) Do (SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% se! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) pausa finallocal
Você precisará configurar o arquivo em lote antes de executar. Eu vou te dizer o que cada comando faz, e você pode alterá-lo para se adequar ao tamanho do seu arquivo de lote, bem como a saída necessária.
- "SET BFN =" deve apontar para o CSV que você precisa dividir
- " SET LPF =" é o número de linhas que você gostaria de limitar seu novo arquivo para
- “SET SFN =” é o novo esquema de nomenclatura para seus arquivos divididos
Depois de inserir suas variáveis, vá para Arquivo> Salvar como. Escolha o nome do arquivo e selecione Salvar. Em seguida, selecione o arquivo de texto recém-salvo e pressione F2 para renomeá-lo. Substitua a extensão TXT por BAT e pressione OK quando o aviso aparecer. Agora você pode dividir seu grande CSV!
Eu avisei, porém, esse método leva algum tempo. Você provavelmente está melhor usando um dos divisores acima mencionados.
O script original e o encadeamento podem ser encontrados aqui.
3. Use um script do PowerShell
Arquivos em lote são úteis. Você pode usá-los para uma ampla gama de tarefas do dia a dia. Mas os scripts do PowerShell são, em geral, mais rápidos, especialmente para esse tipo de processamento e divisão.
O script a seguir irá rapidamente cortar seu arquivo CSV grande em arquivos menores. Mais uma vez, eu usei o Hospital Compare CSV para o meu exemplo. Demorou cerca de 3 segundos para o comando ser executado. Abra o Windows PowerShell ISE. Se não tiver certeza de como fazer isso, digite powershell ise na sua pesquisa do menu Iniciar e selecione a opção correspondente. Quando o PowerShell ISE estiver aberto, selecione a seta Show Script, localizada no canto superior direito (destacada em vermelho na imagem abaixo).
Copie e cole o seguinte comando no painel de script, na parte superior da tela.
$ i = 0; Get-Content C: \ Usuários \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % {$ i ++; $ _ | Out-File C: \ Usuários \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv} Primeiro, você precisa alterar o local do arquivo de entrada. Segundo, você precisa especificar quantas linhas seus arquivos de saída devem conter. Por fim, especifique o local do seu arquivo de saída. Deixei meus caminhos de arquivo para ilustrar a situação. Além disso, seu nome de arquivo de saída deve ter o sufixo “_ $ i.csv” correspondente ao meu. Caso contrário, seus arquivos de saída não serão numerados corretamente.
Depois de editar o arquivo com seus próprios dados, pressione CTRL + S para salvar seu script.
O script original pode ser encontrado aqui.
4. Carregue-o em um modelo de dados
Nossa solução final não está dividindo o grande CSV em partes menores. Você vê, José Barreto, um membro da equipe do OneDrive, recentemente ilustrou exatamente como você pode carregar um arquivo CSV grande no Excel. Nesse caso, grande significa acima do limite de 1.048.567 linhas. Ele explica em um tutorial que, em vez de realmente carregar o arquivo, o Excel 2016 pode criar um link de dados para o arquivo CSV.
Os dados do CSV original estarão disponíveis para o usuário em um modelo de dados. Barreto criou uma Tabela Dinâmica usando “até 8, 5 milhões de linhas sem nenhum problema”. A imagem acima foi tirada da postagem do blog de Barreto (link abaixo), mostrando um total de 2 milhões de linhas dentro do Excel. (Aprenda a usar uma tabela dinâmica para análise de dados Como usar uma tabela dinâmica do Excel para análise de dados Como usar uma tabela dinâmica do Excel para análise de dados A tabela dinâmica é uma das ferramentas mais poderosas do repertório do Excel 2013. É freqüentemente usado para análise de dados grandes. Siga nossa demonstração passo-a-passo para aprender tudo sobre ele.
Se esta é a solução que mais lhe convém, siga o tutorial detalhado de José Barreto aqui mesmo. Lembre-se, isso não está dividindo o CSV, mas significa que você pode manipular seus dados dentro de certas ferramentas do Excel Como visualizar sua análise de dados com as ferramentas avançadas do Excel Como visualizar sua análise de dados com as ferramentas avançadas do Excel O Excel está acabando com seu avançado recursos de gerenciamento de dados. Depois de usar uma das novas ferramentas, você desejará todas elas. Torne-se um mestre em sua análise de dados com ferramentas elétricas! Consulte Mais informação . Se você acessar seus dados para interagir diretamente com eles, isso pode valer a pena.
Quebre isso!
Listamos quatro soluções para dividir seus arquivos CSV em massa, incluindo duas ferramentas diferentes.
Das quatro soluções, o arquivo de lote é provavelmente o mais lento 5 Razões que você deve usar o PowerShell em vez de usar o Batch Scripting 5 motivos pelos quais você deve usar o PowerShell em vez de usar o Batch Scripting em alguns recursos extras, e chutou tudo em vários entalhes. Aqui estão várias razões pelas quais você deve tentar. Consulte Mais informação . O script do PowerShell é rápido e facilmente personalizável, enquanto os dois aplicativos são simples de usar imediatamente. Finalmente, você tem a opção de importar diretamente seus dados para o Excel, pelos milhões de linhas.
Qual método você escolhe? E você tem alguma outra dica? Por favor, compartilhe conosco nos comentários!
Crédito da Imagem: lucadp / Depositphotos