Panduan Praktis

Detektor Pengkodean Teks — Panduan Penggunaan dan Prinsip Teknis

Deteksi berbasis peramban untuk pengkodean teks yang tidak diketahui dengan pemuat sampel built, tips konversi, dan dokumentasi terlokalisasi.

Buka alat

Ringkasan

Pengkodean karakter adalah sistem yang memetakan karakter ke nilai biner untuk penyimpanan dan transmisi komputer. Pengkodean yang berbeda menggunakan pemetaan yang berbeda: ASCII menggunakan 7 bit (128 karakter, hanya bahasa Inggris), ISO-8859-1 (Latin-1) diperluas hingga 8 bit (256 karakter, Eropa Barat), GB2312/GBK untuk bahasa Mandarin yang disederhanakan, Big5 untuk bahasa Mandarin tradisional, Shift-JIS untuk bahasa Jepang, UTF-8 (1-4 byte, universal, kompatibel dengan ASCII), UTF-16 (2 atau 4 byte). Mojibake (teks kacau seperti �) terjadi ketika teks yang dikodekan dalam satu rangkaian karakter didekodekan dengan rangkaian karakter lainnya. BOM (Byte Order Mark) adalah tanda tangan opsional pada pengkodean pengidentifikasi awal file. Deteksi pengkodean yang tepat mencegah kerusakan data dan memastikan tampilan teks yang benar di seluruh sistem dan bahasa.

Konsep utama

Standars Pengkodean

Pengkodean karakter berevolusi untuk mendukung berbagai bahasa: ASCII (1963, 7-bit, 128 karakter, Inggris). Seri ISO-8859 (8-bit, 256 karakter, regional: -1 Latin, -2 Eropa Tengah, -5 Sirilik, -6 Arab). DBCS (Double-Byte) untuk bahasa Asia: GB2312 (1980, 6763 bahasa Mandarin sederhana), GBK (21886 karakter, ekstensi GB2312), Big5 (13060 bahasa Mandarin tradisional), Shift-JIS (bahasa Jepang, aturan byte kompleks). Konsorsium Unicode membuat pengkodean universal: UTF-8 (variabel 1-4 byte, kompatibel dengan ASCII, standar web), UTF-16 (2 atau 4 byte, default Windows/Java, diperlukan BOM), UTF-32 (tetap 4 byte, boros tapi sederhana). Sistem modern lebih memilih UTF-8 untuk penyimpanan, UTF-16 untuk pemrosesan dalam memori.

Algoritma Deteksi

Deteksi pengkodean menggunakan beberapa teknik: 1) Deteksi BOM: UTF-8 (EF BB BF), UTF-16 LE (FF FE), UTF-16 BE (FE FF), UTF-32 LE (FF FE 00 00). 2) Analisis statistik: distribusi frekuensi karakter, pola byte, urutan byte yang valid. Perpustakaan seperti chardet (Python), ICU (C++), jschardet (JavaScript) menggunakan karakter n-gram dan model bahasa yang dilatih pada teks sampel. 3) Validasi: periksa apakah byte membentuk urutan yang valid untuk pengkodean (UTF-8 memiliki aturan byte lanjutan yang spesifik, GB2312 telah menentukan rentang kode). 4) Heuristik: ekstensi file (.txt), header HTTP (charset), deklarasi XML (<?xml encoding="">). Skor kepercayaan menggabungkan beberapa sinyal. Positif palsu terjadi pada teks pendek atau karakter langka.

Pengkodean Konversi

Konversi antar pengkodean memerlukan: 1) Mendekode byte sumber ke titik kode Unicode menggunakan pengkodean sumber. 2) Menyandikan titik kode ke pengkodean target. Tantangan: Karakter yang tidak dapat dipetakan (tidak semua karakter Unicode ada dalam pengkodean lama) - ditangani dengan karakter pengganti (�), entitas HTML, atau kesalahan. Normalisasi: Unicode memiliki beberapa representasi untuk karakter yang sama (é dapat berupa titik kode tunggal U+00E9 atau aksen gabungan e +), NFC dinormalisasi menjadi tersusun, NFD menjadi terurai. Penanganan BOM: tambahkan untuk UTF-16/32, opsional untuk UTF-8 (biasanya dihilangkan). Akhir baris: CRLF (Windows) vs LF (Unix) memerlukan penanganan terpisah. Konversi streaming untuk file besar memproses potongan dengan decoder stateful yang menjaga konteks antar potongan.

Mojibake dan Fixes

Mojibake (文字化け, teks kacau) terjadi karena ketidakcocokan pengkodean: teks UTF-8 yang ditafsirkan sebagai Latin-1 menunjukkan à alih-alih é, bahasa Mandarin menunjukkan � atau 䏿–‡. Penyebab umum: server mengirimkan UTF-8 tanpa header charset, editor menyimpan dengan pengkodean yang salah, database menyimpan UTF-8 di kolom Latin-1. Perbaikan: 1) Dekode ulang dengan pengkodean yang benar: jika teks adalah UTF-8 tetapi didekodekan sebagai Latin-1, enkode ulang ke byte Latin-1 lalu dekode sebagai UTF-8. 2) Gunakan perpustakaan deteksi pengkodean. 3) Periksa header HTTP, tag meta HTML, deklarasi XML. Pencegahan: Selalu gunakan UTF-8 di mana pun, deklarasikan pengkodean secara eksplisit, validasi data pada batasan. Pustaka Ftfy (Python) secara otomatis memperbaiki mojibake menggunakan pola statistik.

Fitur

Deteksi Cerdas

Otomatis mendeteksi pengkodean teks menggunakan analisis statistik, BOM deteksi, pengenalan pola karakter. Dukung UTF-8 / 16 / 32, GBK, GB2312, Bi75, Shift- JIS, ISO-859 seri, Windows-1252 dengan skor kepercayaan

Konversi Charset

Ubah teks antara pengkodean yang didukung: UTF-8 GBK = Big5, perbaiki isu mojimake, tambahkan atau hapus penanda BOM, tangani pasangan pengganti dan gabungkan karakter dengan benar

Pengkodean Diagnosis

Identifikasi masalah pengkodean: urutan byte tidak valid, pengkodean campuran dalam berkas yang sama, kesalahan BOM, kesalahan pasangan pengganti dengan saran untuk memperbaiki dan laporan kesalahan terinci

Batch Processing

Proses beberapa berkas secara simultan dengan deteksi pengkodean, mengubah seluruh direktori, melestarikan struktur berkas, menghasilkan laporan konversi dengan statistik dan log kesalahan

Skenario Aplikasi

Migrasi sistem legacy

Ubah arsip GBK / Big5 ke UTF-8 saat memodernisasi keuangan, ERP atau sistem dokumen pemerintah.

QA isi global

Konten dan SEO tim memverifikasi bahwa situs multibahasa, feed dan email menyatakan charset yang benar dan menghindari mojibake.

Jaringan pipa yang menelan data

Validasi pengkodean dari log mitra, ekspor CSV dan masukan ETL sebelum mendorong mereka ke gudang atau pekerjaan Spark.

Debugging pengembang

Cepat tentukan konflik BOM atau pengkodean campuran saat meninjau perbedaan Git atau ekspor basis data.

Pertanyaan umum

Seberapa akurat deteksi pengkodean?

Detektor menggabungkan deteksi BOM, analisis statistik, dan validasi pola untuk memperkirakan set karakter yang paling mungkin. Setiap kali dijalankan juga menampilkan skor kepercayaan diri sehingga Anda tahu kapan ulasan manual tambahan disarankan.

Dapatkah saya mengubah teks setelah deteksi?

Ya. Setelah sebuah pengkodean diidentifikasi Anda dapat memilih set karakter target apapun, mengubah teks sepenuhnya di peramban, dan mengunduh atau menyalin keluaran yang diubah tanpa mengunggah berkas.

Apa yang bisa dilakukan oleh Pilihan Tambah atau Hapus BOM?

Suatu tanda perintah BOM (Byte) adalah tanda tangan opsional di awal berkas UTF. Menambahkan suatu BOM membantu beberapa alat Windows mendeteksi pengkodean, sambil menghapusnya menjaga berkas tetap ramping untuk lingkungan UNIX. Ubah opsi berdasarkan dimana teks akan digunakan.

Mengapa aku masih melihat karakter kacau setelah konversi?

Jika teks sebelumnya didekode dengan charset salah mungkin telah disimpan. Coba memuat ulang berkas asli, pastikan sumber pengkodean yang benar dipilih, dan konversi lagi. Mencampur pengkodean dalam satu berkas dapat juga menghasilkan mojibaking.

Apakah ada dari SMS-ku yang diunggah atau disimpan?

Deteksi dan konversi terjadi seluruhnya dalam peramban Anda. Berkas tidak pernah meninggalkan perangkat Anda sehingga dokumen rahasia tetap pribadi.

Dokumen Terkait

Detektor Pengkodean Teks

Buka alat untuk mencoba fitur ini.

Buka alat