- ¿Cuál es la diferencia entre archivos CSV y Excel?
- Los archivos CSV (Valores Separados por Comas) son archivos de texto plano que almacenan datos tabulares con valores separados por comas (u otros delimitadores). Los archivos Excel (.xlsx/.xls) son formatos binarios que pueden almacenar múltiples hojas de cálculo, formato, fórmulas, gráficos y otras características avanzadas. Ventajas CSV: 1) Tamaño de archivo más pequeño, 2) Compatibilidad universal entre plataformas y aplicaciones, 3) Fácil de editar con cualquier editor de texto, 4) Más rápido de leer/escribir programáticamente, 5) Amigable con control de versiones (basado en texto). Ventajas Excel: 1) Preserva formato, colores, fuentes, 2) Soporta fórmulas y cálculos, 3) Múltiples hojas en un archivo, 4) Gráficos y visualizaciones, 5) Reglas de validación de datos. Use CSV para intercambio y procesamiento de datos; use Excel para presentación y análisis complejo.
- ¿Cómo manejar archivos CSV con diferentes delimitadores?
- Los archivos CSV pueden usar varios delimitadores más Toutá de las comas: punto y coma (común en configuraciones regionales europeas), tabulaciones (formato TSV), tuberías (|) o caracteres personalizados. Estrategias de manejo: 1) **Detección automática**: Analizar las primeras líneas para identificar el delimitador más común. Contar ocurrencias de delimitadores potenciales y verificar consistencia entre líneas. 2) **Configuración explícita**: Permitir a los usuarios especificar manualmente el delimitador si la detección automática falla. 3) **Cumplimiento RFC 4180**: El CSV estándar usa comas, finales de línea CRLF y comillas dobles para escape. 4) **Soporte de biblioteca**: Usar bibliotecas de análisis robustas (PapaParse para JavaScript, módulo csv para Python, Apache Commons CSV para Java) que manejen múltiples delimitadores y casos extremos. 5) **Conciencia de codificación**: Verificar BOM (Byte Order Mark) para detectar UTF-8, UTF-16, etc. Probar con datos de muestra antes de procesar archivos grandes.
- ¿Cómo optimizar el procesamiento CSV para archivos grandes?
- Los archivos CSV grandes (>100MB) requieren manejo especial para evitar problemas de memoria y asegurar rendimiento: 1) **Streaming**: Procesar archivo línea por línea o en fragmentos en lugar de cargar el archivo completo en memoria. JavaScript: usar modo streaming PapaParse; Python: usar pandas con parámetro chunksize o csv.reader; Node.js: usar API stream con readline. 2) **Procesamiento paralelo**: Dividir archivos grandes en fragmentos más pequeños y procesar en paralelo usando hilos de trabajo o múltiples procesos. 3) **Formatos columnares**: Para análisis repetido, convertir CSV a formato Parquet o Arrow para lecturas más rápidas. 4) **Importación a base de datos**: Cargar CSV en SQLite, PostgreSQL o MySQL para consultas indexadas. 5) **Paginación**: Para visualización web, cargar y mostrar datos por páginas (ej. 1000 filas a la vez). 6) **Gestión de memoria**: Usar generadores/iteradores en lugar de cargar todos los datos a la vez. Monitorear uso de memoria e implementar limpieza. 7) **Compresión**: Usar compresión gzip para almacenamiento y transmisión (CSV se comprime muy bien). Benchmarks: Procesar 1GB CSV típicamente toma 10-60 segundos dependiendo de la complejidad de operaciones.
- ¿Cuáles son errores comunes de análisis CSV y cómo corregirlos?
- Errores comunes de análisis CSV y soluciones: 1) **Columnas inconsistentes**: Algunas filas tienen más/menos columnas de lo esperado. Corrección: Validar cantidad de columnas por fila, rellenar columnas faltantes con valores vacíos o rechazar filas malformadas. 2) **Comillas sin escapar**: Comillas dentro de campos entre comillas Non escapadas correctamente (\"\"). Corrección: Usar analizador Compatible RFC 4180 que maneje escape de comillas dobles. Preprocesar datos para escapar comillas. 3) **Finales de línea mixtos**: Archivo contiene mezcla de CRLF (\\r\\n), LF (\\n), CR (\\r). Corrección: Normalizar finales de línea durante preprocesamiento. Usar analizador que maneje múltiples finales. 4) **Problemas de codificación**: Archivo usa codificación Non UTF-8 (Windows-1252, ISO-8859-1). Corrección: Detectar codificación con biblioteca chardet o probar múltiples codificaciones. Convertir a UTF-8 antes de procesar. 5) **Delimitadores incrustados**: Coma dentro de campo sin comillas. Corrección: Poner entre comillas todos los campos que contengan delimitador. Usar delimitador diferente (tabulación, tubería). 6) **Valores de campo grandes**: Campos de texto muy largos causan problemas de memoria. Corrección: Procesamiento por streaming, truncar campos o usar base de datos para almacenamiento. 7) **Caracteres BOM**: Byte Order Mark al inicio del archivo. Corrección: Eliminar BOM durante lectura. Usar encoding='utf-8-sig' en Python. Siempre validar datos con muestra antes del procesamiento completo.