- Qual é a diferença entre arquivos CSV e Excel?
- Arquivos CSV (Valores Separados por Vírgula) são arquivos de texto simples que armazenam dados tabulares com valores separados por vírgulas (ou outros delimitadores). Arquivos Excel (.xlsx/.xls) são formatos binários que podem armazenar múltiplas planilhas, formatação, fórmulas, gráficos e outros recursos avançados. Vantagens CSV: 1) Tamanho de arquivo menor, 2) Compatibilidade universal entre plataformas e aplicações, 3) Fácil de editar com qualquer editor de texto, 4) Mais rápido para ler/escrever programaticamente, 5) Amigável ao controle de versão (baseado em texto). Vantagens Excel: 1) Preserva formatação, cores, fontes, 2) Suporta fórmulas e cálculos, 3) Múltiplas planilhas em um arquivo, 4) Gráficos e visualizações, 5) Regras de validação de dados. Use CSV para troca e processamento de dados; use Excel para apresentação e análise complexa.
- Como lidar com arquivos CSV com diferentes delimitadores?
- Arquivos CSV podem usar vários delimitadores além de vírgulas: ponto e vírgula (comum em locais europeus), tabulações (formato TSV), pipes (|) ou caracteres personalizados. Estratégias de tratamento: 1) **Detecção automática**: Analisar as primeiras linhas para identificar o delimitador mais comum. Contar ocorrências de delimitadores potenciais e verificar consistência entre linhas. 2) **Configuração explícita**: Permitir que usuários especifiquem manualmente o delimitador se a detecção automática falhar. 3) **Conformidade RFC 4180**: CSV padrão usa vírgulas, finais de linha CRLF e aspas duplas para escape. 4) **Suporte de biblioteca**: Usar bibliotecas de análise robustas (PapaParse para JavaScript, módulo csv para Python, Apache Commons CSV para Java) que lidam com múltiplos delimitadores e casos extremos. 5) **Consciência de codificação**: Verificar BOM (Byte Order Mark) para detectar UTF-8, UTF-16, etc. Testar com dados de amostra antes de processar arquivos grandes.
- Como otimizar o processamento CSV para arquivos grandes?
- Arquivos CSV grandes (>100MB) requerem tratamento especial para evitar problemas de memória e garantir desempenho: 1) **Streaming**: Processar arquivo linha por linha ou em blocos em vez de carregar o arquivo inteiro na memória. JavaScript: usar modo streaming PapaParse; Python: usar pandas com parâmetro chunksize ou csv.reader; Node.js: usar API stream com readline. 2) **Processamento paralelo**: Dividir arquivos grandes em blocos menores e processar em paralelo usando threads de trabalho ou múltiplos processos. 3) **Formatos colunares**: Para análise repetida, conversor CSV para formato Parquet ou Arrow para leituras mais rápidas. 4) **Importação para banco de dados**: Carregar CSV em SQLite, PostgreSQL ou MySQL para consultas indexadas. 5) **Paginação**: Para exibição web, carregar e mostrar dados por páginas (ex. 1000 linhas por vez). 6) **Gerenciamento de memória**: Usar geradores/iteradores em vez de carregar todos os dados de uma vez. Monitorar uso de memória e implementar limpeza. 7) **Comprimirão**: Usar comprimirão gzip para armazenamento e transmissão (CSV comprime muito bem). Benchmarks: Processar 1GB CSV tipicamente leva 10-60 segundos dependendo da complexidade das operações.
- Quais são erros comuns de análise CSV e como corrigi-los?
- Erros comuns de análise CSV e soluções: 1) **Colunas inconsistentes**: Algumas linhas têm mais/menos colunas do que o esperado. Correção: Validar contagem de colunas por linha, preencher colunas faltantes com valores vazios ou rejeitar linhas malformadas. 2) **Aspas não escapadas**: Aspas dentro de campos entre aspas não escapadas corretamente (\"\"). Correção: Usar analisador compatível com RFC 4180 que lida com escape de aspas duplas. Pré-processar dados para escapar aspas. 3) **Finais de linha mistos**: Arquivo contém mistura de CRLF (\\r\\n), LF (\\n), CR (\\r). Correção: Normalizar finais de linha durante pré-processamento. Usar analisador que lida com múltiplos finais. 4) **Problemas de codificação**: Arquivo usa codificação não UTF-8 (Windows-1252, ISO-8859-1). Correção: Detectar codificação com biblioteca chardet ou tentar múltiplas codificações. Conversor para UTF-8 antes de processar. 5) **Delimitadores embutidos**: Vírgula dentro de campo sem aspas. Correção: Colocar aspas em todos os campos que contêm delimitador. Usar delimitador diferente (tabulação, pipe). 6) **Valores de campo grandes**: Campos de texto muito longos causam problemas de memória. Correção: Processamento por streaming, truncar campos ou usar banco de dados para armazenamento. 7) **Caracteres BOM**: Byte Order Mark no início do arquivo. Correção: Remover BOM durante leitura. Usar encoding='utf-8-sig' em Python. Sempre validar dados com amostra antes do processamento completo.