인코딩 감지 알고리즘
텍스트 인코딩 감지는 통계 분석, BOM(Byte 순서 Mark) 감지, 문자 패턴 인식을 결합합니다. 도구는 바이트 시퀀스 빈도 분석을 수행하고(UTF-8은 특정 멀티바이트 패턴을 가짐), BOM 서명을 확인하고(UTF-8: EF BB BF, UTF-16 LE: FF FE, UTF-16 BE: FE FF), 언어별 문자 범위를 평가합니다(중국어: GB2312/GBK/Big5, 일본어: Shift-JIS, 한국어: EUC-KR). 각 가능한 인코딩에 대해 신뢰도 점수가 계산되며, chardet, iconv-lite, jschardet과 같은 라이브러리가 머신러닝 기반 감지를 제공합니다.