🔤

Detektor Pengkodean Teks

Deteksi berbasis peramban untuk pengkodean teks yang tidak diketahui dengan pemuat sampel built, tips konversi, dan dokumentasi terlokalisasi.

Panduan Praktis

Masukan Teks

❓Apa itu Pengkodean Karakter

Pengkodean karakter adalah sistem yang memetakan karakter ke nilai biner untuk penyimpanan dan transmisi komputer. Pengkodean yang berbeda menggunakan pemetaan yang berbeda: ASCII menggunakan 7 bit (128 karakter, hanya bahasa Inggris), ISO-8859-1 (Latin-1) diperluas hingga 8 bit (256 karakter, Eropa Barat), GB2312/GBK untuk bahasa Mandarin yang disederhanakan, Big5 untuk bahasa Mandarin tradisional, Shift-JIS untuk bahasa Jepang, UTF-8 (1-4 byte, universal, kompatibel dengan ASCII), UTF-16 (2 atau 4 byte). Mojibake (teks kacau seperti �) terjadi ketika teks yang dikodekan dalam satu rangkaian karakter didekodekan dengan rangkaian karakter lainnya. BOM (Byte Order Mark) adalah tanda tangan opsional pada pengkodean pengidentifikasi awal file. Deteksi pengkodean yang tepat mencegah kerusakan data dan memastikan tampilan teks yang benar di seluruh sistem dan bahasa.

✨Fitur

🔍

Deteksi Cerdas

Otomatis mendeteksi pengkodean teks menggunakan analisis statistik, BOM deteksi, pengenalan pola karakter. Dukung UTF-8 / 16 / 32, GBK, GB2312, Bi75, Shift- JIS, ISO-859 seri, Windows-1252 dengan skor kepercayaan
🔄

Konversi Charset

Ubah teks antara pengkodean yang didukung: UTF-8 GBK = Big5, perbaiki isu mojimake, tambahkan atau hapus penanda BOM, tangani pasangan pengganti dan gabungkan karakter dengan benar
🩺

Pengkodean Diagnosis

Identifikasi masalah pengkodean: urutan byte tidak valid, pengkodean campuran dalam berkas yang sama, kesalahan BOM, kesalahan pasangan pengganti dengan saran untuk memperbaiki dan laporan kesalahan terinci
📦

Batch Processing

Proses beberapa berkas secara simultan dengan deteksi pengkodean, mengubah seluruh direktori, melestarikan struktur berkas, menghasilkan laporan konversi dengan statistik dan log kesalahan

🎯Skenario Aplikasi

Migrasi sistem legacy

Ubah arsip GBK / Big5 ke UTF-8 saat memodernisasi keuangan, ERP atau sistem dokumen pemerintah.

QA isi global

Konten dan SEO tim memverifikasi bahwa situs multibahasa, feed dan email menyatakan charset yang benar dan menghindari mojibake.

Jaringan pipa yang menelan data

Validasi pengkodean dari log mitra, ekspor CSV dan masukan ETL sebelum mendorong mereka ke gudang atau pekerjaan Spark.

Debugging pengembang

Cepat tentukan konflik BOM atau pengkodean campuran saat meninjau perbedaan Git atau ekspor basis data.

📚Panduan Praktis

Standars Pengkodean

Pengkodean karakter berevolusi untuk mendukung berbagai bahasa: ASCII (1963, 7-bit, 128 karakter, Inggris). Seri ISO-8859 (8-bit, 256 karakter, regional: -1 Latin, -2 Eropa Tengah, -5 Sirilik, -6 Arab). DBCS (Double-Byte) untuk bahasa Asia: GB2312 (1980, 6763 bahasa Mandarin sederhana), GBK (21886 karakter, ekstensi GB2312), Big5 (13060 bahasa Mandarin tradisional), Shift-JIS (bahasa Jepang, aturan byte kompleks). Konsorsium Unicode membuat pengkodean universal: UTF-8 (variabel 1-4 byte, kompatibel dengan ASCII, standar web), UTF-16 (2 atau 4 byte, default Windows/Java, diperlukan BOM), UTF-32 (tetap 4 byte, boros tapi sederhana). Sistem modern lebih memilih UTF-8 untuk penyimpanan, UTF-16 untuk pemrosesan dalam memori.

Algoritma Deteksi

Deteksi pengkodean menggunakan beberapa teknik: 1) Deteksi BOM: UTF-8 (EF BB BF), UTF-16 LE (FF FE), UTF-16 BE (FE FF), UTF-32 LE (FF FE 00 00). 2) Analisis statistik: distribusi frekuensi karakter, pola byte, urutan byte yang valid. Perpustakaan seperti chardet (Python), ICU (C++), jschardet (JavaScript) menggunakan karakter n-gram dan model bahasa yang dilatih pada teks sampel. 3) Validasi: periksa apakah byte membentuk urutan yang valid untuk pengkodean (UTF-8 memiliki aturan byte lanjutan yang spesifik, GB2312 telah menentukan rentang kode). 4) Heuristik: ekstensi file (.txt), header HTTP (charset), deklarasi XML (<?xml encoding="">). Skor kepercayaan menggabungkan beberapa sinyal. Positif palsu terjadi pada teks pendek atau karakter langka.

Pengkodean Konversi

Konversi antar pengkodean memerlukan: 1) Mendekode byte sumber ke titik kode Unicode menggunakan pengkodean sumber. 2) Menyandikan titik kode ke pengkodean target. Tantangan: Karakter yang tidak dapat dipetakan (tidak semua karakter Unicode ada dalam pengkodean lama) - ditangani dengan karakter pengganti (�), entitas HTML, atau kesalahan. Normalisasi: Unicode memiliki beberapa representasi untuk karakter yang sama (é dapat berupa titik kode tunggal U+00E9 atau aksen gabungan e +), NFC dinormalisasi menjadi tersusun, NFD menjadi terurai. Penanganan BOM: tambahkan untuk UTF-16/32, opsional untuk UTF-8 (biasanya dihilangkan). Akhir baris: CRLF (Windows) vs LF (Unix) memerlukan penanganan terpisah. Konversi streaming untuk file besar memproses potongan dengan decoder stateful yang menjaga konteks antar potongan.

Mojibake dan Fixes

Mojibake (文字化け, teks kacau) terjadi karena ketidakcocokan pengkodean: teks UTF-8 yang ditafsirkan sebagai Latin-1 menunjukkan à alih-alih é, bahasa Mandarin menunjukkan � atau 䏿–‡. Penyebab umum: server mengirimkan UTF-8 tanpa header charset, editor menyimpan dengan pengkodean yang salah, database menyimpan UTF-8 di kolom Latin-1. Perbaikan: 1) Dekode ulang dengan pengkodean yang benar: jika teks adalah UTF-8 tetapi didekodekan sebagai Latin-1, enkode ulang ke byte Latin-1 lalu dekode sebagai UTF-8. 2) Gunakan perpustakaan deteksi pengkodean. 3) Periksa header HTTP, tag meta HTML, deklarasi XML. Pencegahan: Selalu gunakan UTF-8 di mana pun, deklarasikan pengkodean secara eksplisit, validasi data pada batasan. Pustaka Ftfy (Python) secara otomatis memperbaiki mojibake menggunakan pola statistik.

💬Frequently Asked Questions

❓Seberapa akurat deteksi pengkodean?
Detektor menggabungkan deteksi BOM, analisis statistik, dan validasi pola untuk memperkirakan set karakter yang paling mungkin. Setiap kali dijalankan juga menampilkan skor kepercayaan diri sehingga Anda tahu kapan ulasan manual tambahan disarankan.
💬Dapatkah saya mengubah teks setelah deteksi?
Ya. Setelah sebuah pengkodean diidentifikasi Anda dapat memilih set karakter target apapun, mengubah teks sepenuhnya di peramban, dan mengunduh atau menyalin keluaran yang diubah tanpa mengunggah berkas.
🔍Apa yang bisa dilakukan oleh Pilihan Tambah atau Hapus BOM?
Suatu tanda perintah BOM (Byte) adalah tanda tangan opsional di awal berkas UTF. Menambahkan suatu BOM membantu beberapa alat Windows mendeteksi pengkodean, sambil menghapusnya menjaga berkas tetap ramping untuk lingkungan UNIX. Ubah opsi berdasarkan dimana teks akan digunakan.
💡Mengapa aku masih melihat karakter kacau setelah konversi?
Jika teks sebelumnya didekode dengan charset salah mungkin telah disimpan. Coba memuat ulang berkas asli, pastikan sumber pengkodean yang benar dipilih, dan konversi lagi. Mencampur pengkodean dalam satu berkas dapat juga menghasilkan mojibaking.
📚Apakah ada dari SMS-ku yang diunggah atau disimpan?
Deteksi dan konversi terjadi seluruhnya dalam peramban Anda. Berkas tidak pernah meninggalkan perangkat Anda sehingga dokumen rahasia tetap pribadi.

💡Terbaik Praktek

💡

Selalu Gunakan UTF-8

Gunakan pengkodean UTF-8 di mana saja secara default - database, file, header HTTP, tag meta HTML. UTF-8 bersifat universal, mendukung semua bahasa, kompatibel dengan ASCII, dan merupakan standar web. Deklarasikan pengkodean secara eksplisit dalam HTML (<meta charset="UTF-8">) dan header HTTP (Tipe Konten: teks/html; charset=utf-8). Hal ini mencegah mojibake dan memastikan tampilan teks yang konsisten di seluruh sistem.
🔍

Deteksi Sebelum Mengkonversi

Selalu deteksi pengkodean sebelum mencoba konversi untuk menghindari kerusakan data. Gunakan skor keyakinan dari perpustakaan deteksi untuk memverifikasi keakuratan. Untuk kasus yang ambigu (keyakinan rendah), periksa contoh teks secara manual atau coba beberapa pengkodean dengan verifikasi visual. Jangan pernah berasumsi pengkodean hanya berdasarkan ekstensi file atau asal - selalu validasi.
📝

Tangani BOM dengan benar.

Periksa BOM (Byte Order Mark) pada awal file untuk identifikasi pengkodean yang pasti. UTF-8 BOM (EF BB BF) bersifat opsional tetapi membantu dalam pendeteksian. UTF-16/32 mengharuskan BOM untuk menentukan urutan byte (LE/BE). Beberapa sistem mengharapkan BOM, yang lain menolaknya - ketahuilah sistem target Anda. Hapus atau tambahkan BOM sesuai kebutuhan selama konversi.
🩺

Uji Kotak-kotak Mojibake

Saat memperbaiki teks yang kacau, identifikasi pengkodean asli dan yang disalahartikan melalui analisis pola. Mojibake yang umum: UTF-8 sebagai Latin-1 (é bukan é), Cina sebagai ? atau karakter acak. Enkode ulang ke pengkodean perantara, lalu dekode dengan yang benar. Uji perbaikan pada data sampel sebelum memproses seluruh file. Beberapa mojibake tidak dapat diubah jika data sudah rusak di database.
⚠️

Validasi di Batas

Validasi pengkodean pada batas sistem - pembacaan file, permintaan HTTP, kueri basis data, panggilan API. Gunakan deklarasi charset di semua transfer data. Sanitasi dan validasi teks masukan untuk mendeteksi urutan byte yang tidak valid sejak dini. Masalah pengkodean log untuk debugging. Menerapkan strategi fallback untuk kegagalan deteksi pengkodean. Jangan pernah mencampur pengkodean dalam satu file atau kolom database.

🔗Dokumen Terkait

🔤RFC 3629 - Spesifikasi UTF- 8Standar format pengkodean UTF-8
🔧Deteksi Penyandian Karakter ICUKomponen Internasional bagi pustaka deteksi Unicode
📚Pengkodean Karakter Terbaik Praktekpedoman W3C untuk penanganan pengkodean karakter

User Comments

0 / 2000
Loading...