📑

CSV 資料處理器

在本機清理 CSV 資料,支援引號欄位解析、列篩選、排序、去重、欄位選擇、預覽及 CSV 匯出。

實用指南

CSV 輸入

逗號

❓什麼是 CSV 資料處理

CSV(逗號分隔值)資料處理涉及清理、轉換和分析儲存在純文字格式中的表格資料。常見操作包括刪除重複項、根據條件過濾列、按欄排序、處理缺失值、規範化資料格式以及在不同結構之間轉換。CSV 檔案由於簡單性和跨工具(Excel、資料庫、程式語言)的廣泛相容性而在資料交換中無處不在。處理挑戰包括處理不同的分隔符號、帶嵌入逗號/換列的引號欄位、字元編碼和大檔案大小。有效的 CSV 處理需要理解資料類型、驗證規則和轉換管線。

✨功能特點

🧹

資料清理

刪除重複項(基於列或欄)、刪除空列/欄、修剪空格、修復編碼問題、使用填充/插值/刪除策略處理缺失值
🔍

進階過濾

使用條件過濾列(等於、包含、大於、正規)、使用 AND/OR 邏輯組合多個過濾器、支援數字/日期/文字比較、儲存過濾器預設
📊

資料轉換

按單欄或多欄排序(升序/降序)、選擇/重新排序/重新命名欄、使用自訂分隔符號合併欄、按分隔符號或模式拆分欄、套用轉換(大小寫、修剪、格式)
💾

多格式匯出

將處理後的資料匯出為 CSV(自訂分隔符號)、JSON(陣列/物件)、Excel(帶格式的 XLSX)、SQL INSERT 語句或 HTML 表格,支援大檔案批次處理

📚實用指南

CSV 格式規範

RFC 4180 定義 CSV 標準:欄位由逗號分隔,列由換列符號(CRLF 或 LF)分隔。包含分隔符號、引號或換列符號的欄位必須用雙引號括起來。引號欄位內的雙引號透過加倍跳脫 ("")。可選的表頭列識別欄。許多實作擴充了規範:不同的分隔符號(分號、Tab、管道符號)、不同的引號字元、註解列、跳脫字元。編碼通常是 UTF-8,但舊檔案可能使用 Latin-1、Windows-1252 或特定於區域的編碼。BOM(位元組順序標記)偵測有助於識別編碼。

資料清理技術

去重使用精確比對或選定欄鍵比較識別重複列。基於雜湊 (O(n)) vs. 基於排序 (O(n log n)) 演算法在記憶體和速度之間權衡。缺失值處理:刪除(列表式、成對式)、插補(平均值、中位數、眾數、向前/向後填充、插值)或標記。空格修剪刪除前導/尾隨空格,折疊多個空格,規範化列尾。資料類型推斷檢查欄值以分類為數字、日期、布林、字串,啟用特定於類型的驗證和格式化。

過濾和排序

列過濾使用謂詞函式測試每列是否符合條件。運算子:相等 (==, !=)、比較 (<, >, <=, >=)、字串比對(包含、開始於、結束於、正規)、空值檢查(為空、不為空)。複雜過濾器使用 AND/OR/不 邏輯組合條件,支援巢狀群組。欄過濾按名稱或索引選擇欄子集。排序使用比較函式:數字排序將字串解析為數字,日期排序處理各種格式,字串排序尊重區域設定和大小寫敏感性。多欄排序具有優先順序,實現階層組織。

格式轉換

CSV 到 JSON:物件陣列(每列一個物件,欄標題作為鍵)或陣列的陣列。透過欄命名約定處理巢狀結構 (parent.child)。CSV 到 Excel:使用函式庫(SheetJS、ExcelJS)建立帶儲存格格式、公式、多個工作表、樣式的 XLSX。保留資料類型。CSV 到 SQL:產生帶表/欄名跳脫、值引用、批次插入以提高效能的 INSERT 語句。支援不同的 SQL 方言(MySQL、PostgreSQL、SQLite)。大檔案處理使用串流以避免將整個檔案載入記憶體中。

💬Frequently Asked Questions

❓CSV 檔案和 Excel 檔案有什麼區別?
CSV(逗號分隔值)檔案是用逗號(或其他分隔符號)分隔值的純文字檔案。Excel 檔案(.xlsx/.xls)是二進位格式,可以儲存多個工作表、格式、公式、圖表和其他豐富功能。CSV 優勢:1)檔案大小更小,2)跨平台和應用程式的通用相容性,3)可以使用任何文字編輯器編輯,4)程式設計讀寫更快,5)版本控制友好(基於文字)。Excel 優勢:1)保留格式、顏色、字型,2)支援公式和計算,3)一個檔案中包含多個工作表,4)圖表和視覺化,5)資料驗證規則。使用 CSV 進行資料交換和處理;使用 Excel 進行展示和複雜分析。
💬如何處理具有不同分隔符號的 CSV 檔案?
CSV 檔案可以使用逗號以外的各種分隔符號:分號(在歐洲地區常見)、Tab(TSV 格式)、管道符號(|)或自訂字元。處理策略:1)**自動偵測**:分析前幾列以識別最常見的分隔符號。計算潛在分隔符號的出現次數並檢查列間的一致性。2)**顯式配置**:如果自動偵測失敗,允許使用者手動指定分隔符號。3)**RFC 4180 合規性**:標準 CSV 使用逗號、CRLF 列結束和雙引號進行跳脫。4)**函式庫支援**:使用強大的解析函式庫(JavaScript 的 PapaParse、Python 的 csv 模組、Java 的 Apache Commons CSV),這些函式庫處理多個分隔符號和邊緣情況。5)**編碼感知**:檢查 BOM(位元組順序標記)以偵測 UTF-8、UTF-16 等。在處理大檔案之前使用樣本資料進行測試。
🔍如何優化大檔案的 CSV 處理?
大型 CSV 檔案(>100MB)需要特殊處理以避免記憶體問題並確保效能:1)**串流處理**:逐列或分塊處理檔案,而不是將整個檔案載入記憶體中。JavaScript:使用 PapaParse 串流模式;Python:使用帶 chunksize 參數的 pandas 或 csv.reader;節點.js:使用帶 readline 的串流 API。2)**並行處理**:將大檔案拆分為較小的塊並使用工作執行緒或多個處理程序並行處理。3)**列格式**:對於重複分析,將 CSV 轉換為 Parquet 或 Arrow 格式以實現更快的讀取。4)**資料庫匯入**:將 CSV 載入到 SQLite、PostgreSQL 或 MySQL 中以進行索引查詢。5)**分頁**:對於 Web 顯示,分頁載入和顯示資料(例如,一次 1000 列)。6)**記憶體管理**:使用產生器/迭代器而不是一次載入所有資料。監控記憶體使用情況並實施清理。7)**壓縮**:使用 gzip 壓縮進行儲存和傳輸(CSV 壓縮效果很好)。基準測試:處理 1GB CSV 通常需要 10-60 秒,具體取決於操作複雜性。
💡常見的 CSV 解析錯誤有哪些,如何修復?
常見的 CSV 解析錯誤和解決方案:1)**欄不一致**:某些列的欄數比預期多/少。修復:驗證每列的欄數,用空值填充缺失的欄,或拒絕格式錯誤的列。2)**未跳脫的引號**:引號欄位內的引號未正確跳脫(\"\")。修復:使用處理雙引號跳脫的 RFC 4180 相容解析器。預處理資料以跳脫引號。3)**混合列結束**:檔案包含 CRLF(\\r\\n)、LF(\\n)、CR(\\r)的混合。修復:在預處理期間規範化列結束。使用處理多個結束的解析器。4)**編碼問題**:檔案使用非 UTF-8 編碼(Windows-1252、ISO-8859-1)。修復:使用 chardet 函式庫偵測編碼或嘗試多種編碼。在處理之前轉換為 UTF-8。5)**嵌入分隔符號**:未加引號的欄位內的逗號。修復:引用所有包含分隔符號的欄位。使用不同的分隔符號(Tab、管道符號)。6)**大欄位值**:非常長的文字欄位導致記憶體問題。修復:串流處理、截斷欄位或使用資料庫進行儲存。7)**BOM 字元**:檔案開頭的位元組順序標記。修復:在讀取期間刪除 BOM。在 Python 中使用 encoding='utf-8-sig'。在完全處理之前始終使用樣本驗證資料。

📝更新記錄

📌v1.1.261016
v1.1.261016

改善含引號欄位的 CSV 解析,新增篩選、排序與 CSV 匯出。

User Comments

0 / 2000
Loading...