- Khác biệt giữa tệp CSV và Excel là gì?
- CSV (Comma-Separated Values) là tệp văn bản lưu dữ liệu bảng bằng ký tự phân tách (thường là dấu phẩy). Excel (.xlsx/.xls) là định dạng nhị phân hỗ trợ nhiều sheet, định dạng, công thức, biểu đồ. Ưu điểm CSV: 1) Dung lượng nhỏ, 2) Tương thích trên mọi nền tảng, 3) Chỉnh sửa bằng bất kỳ trình soạn thảo văn bản nào, 4) Dễ đọc/ghi bằng code, 5) Thân thiện với hệ thống kiểm soát phiên bản. Ưu điểm Excel: 1) Giữ nguyên định dạng, màu sắc, font, 2) Hỗ trợ công thức và tính toán, 3) Nhiều sheet trong một Tệp, 4) Có biểu đồ và trực quan hóa, 5) Có quy tắc kiểm tra dữ liệu. Hãy dùng CSV cho trao đổi và xử lý dữ liệu, dùng Excel cho trình bày và phân tích phức tạp.
- Xử lý CSV có delimiter khác nhau như thế nào?
- CSV không chỉ dùng dấu phẩy mà còn có chấm phẩy (phổ biến ở châu Âu), tab (TSV), pipe (|) hoặc ký tự tùy chỉnh. Cách xử lý: 1) **Tự động phát hiện**: phân tích một vài dòng đầu để đếm tần suất delimiter và kiểm tra sự đồng nhất. 2) **Cho phép cấu hình**: cho phép người dùng chọn delimiter nếu tự động thất bại. 3) **Tuân thủ RFC 4180**: chuẩn quy định dấu phẩy, xuống dòng CRLF và trích dẫn bằng dấu nháy. 4) **Dùng thư viện đáng tin cậy**: PapaParse (JS), csv (Python), Apache Commons CSV (Java) hỗ trợ nhiều delimiter và tình huống đặc biệt. 5) **Lưu ý mã hóa**: kiểm tra BOM để nhận diện UTF-8/UTF-16... Luôn thử với mẫu nhỏ trước khi xử lý tệp lớn.
- Làm sao tối ưu xử lý CSV dung lượng lớn?
- Tệp CSV lớn (>100MB) cần xử lý đặc biệt để tránh thiếu bộ nhớ và chậm: 1) **Streaming**: xử lý từng dòng hoặc từng khối thay vì nạp toàn bộ. JS: PapaParse streaming; Python: pandas với chunksize hoặc csv.reader; Node.js: stream + readline. 2) **Xử lý song song**: chia tệp thành nhiều phần và xử lý bằng worker thread/process. 3) **Định dạng cột**: cho phân tích lặp lại, chuyển sang Parquet/Arrow để đọc nhanh hơn. 4) **Nhập vào DB**: nạp vào SQLite/PostgreSQL/MySQL để truy vấn có chỉ mục. 5) **Phân trang**: khi hiển thị web, chỉ nạp 1000 dòng/lần. 6) **Quản lý bộ nhớ**: dùng generator/iterator, dọn dẹp sau khi xử lý. 7) **Nén**: lưu và truyền bằng gzip (CSV nén rất tốt). Ví dụ: xử lý CSV 1GB mất 10-60 giây tùy độ phức tạp thao tác.
- Lỗi phân tích CSV thường gặp và cách khắc phục?
- Một số lỗi phổ biến: 1) **Số cột không đồng nhất**: dòng thiếu/thừa cột → kiểm tra số cột, bổ sung giá trị trống hoặc loại dòng sai. 2) **Dấu nháy không escape**: dấu nháy trong trường trích dẫn không được nhân đôi → dùng parser tuân thủ RFC 4180 hoặc tiền xử lý để escape. 3) **Ký tự xuống dòng hỗn hợp**: CRLF/LF/CR lẫn lộn → chuẩn hóa line ending. 4) **Sai mã hóa**: Tệp không phải UTF-8 → phát hiện bằng chardet hoặc thử nhiều encoding, chuyển sang UTF-8 trước khi xử lý. 5) **Delimiter trong trường**: dấu phẩy trong trường không trích dẫn → yêu cầu bọc trường bằng dấu nháy hoặc chọn delimiter khác (tab/pipe). 6) **Trường quá dài**: gây thiếu bộ nhớ → dùng streaming, cắt ngắn, hoặc lưu vào DB. 7) **BOM**: ký tự BOM đầu Tệp → bỏ BOM khi đọc (Python: encoding='utf-8-sig'). Luôn kiểm tra dữ liệu mẫu trước khi xử lý toàn bộ.