바로 사용하기 — 한자 정규화
한자 문서에서 ‘찾기’를 했는데 분명히 있는 글자가 안 나온 적 있으신가요?
눈으로는 똑같은 樂 인데 검색이 안 됩니다.
복사해서 붙여넣어 봐도 마찬가지고요.
원인은 같은 모양의 한자에 유니코드가 여러 개 있기 때문입니다.
사람 눈에는 하나지만 컴퓨터에는 서로 다른 글자죠.
이 도구는 그렇게 흩어진 코드를 표준 코드 하나로 통일해 줍니다.
사용법
기본 순서
- 입력 텍스트에 정리할 텍스트를 넣습니다.
- [정규화 실행] 을 누릅니다.
- 결과를 복사하거나 파일로 저장합니다.
원문의 글자 모양은 하나도 바뀌지 않습니다.
겉보기는 그대로인데 속의 코드만 정돈되는 것이라, 결과를 봐도 뭐가 달라졌는지 눈으로는 알 수 없어요.
그래서 아래 통계가 중요합니다.
결과 확인
| 항목 | 뜻 |
|---|---|
| 치환된 글자 수 | 코드가 바뀐 글자가 몇 개인지 |
| 매핑 종류 | 몇 종류의 한자가 바뀌었는지 |
치환된 글자 수가 320인데 매핑 종류가 5라면, 다섯 종류의 한자가 320번 흩어져 있었다는 뜻입니다.
숫자가 0이라면 그 문서는 이미 깨끗한 상태고요.
알아두기
다중코드 한자란
유니코드에는 CJK 호환 한자라는 영역이 따로 있습니다.
원래 한중일 각국의 옛 문자 코드와 호환을 유지하려고 만든 자리인데, 여기 들어간 글자들이 문제의 원인입니다.
| 코드 | 어디에 속하는가 | |
|---|---|---|
표준 車 | U+8ECA | CJK 통합 한자 |
호환 車 | U+F902 | CJK 호환 한자 |
모양은 똑같습니다. 그런데 코드가 다르니 검색도 안 되고, 정렬하면 엉뚱한 자리에 가고, 두 문서를 비교하면 다른 글자로 잡힙니다.
이런 글자가 왜 문서에 섞여 드는지는 대개 이렇습니다.
- 옛 한글 파일이나 다른 인코딩에서 변환해 올 때
- 여러 사람이 각기 다른 입력기로 작업한 원고를 합칠 때
- 웹에서 복사해 온 텍스트를 섞을 때
한 문서 안에서 어떤 車 는 표준이고 어떤 車 는 호환 코드인 상황이 만들어지는 겁니다.
무엇을 기준으로 바꾸나
1,002개의 매핑 데이터를 기준으로 바꿉니다.
호환 영역의 글자를 만나면 대응하는 표준 코드로 옮기는 방식이라, 판단이 개입할 여지가 없습니다.
豈 U+F900 → 豈 U+8C48
更 U+F901 → 更 U+66F4
車 U+F902 → 車 U+8ECA
賈 U+F903 → 賈 U+8CC8
한 글자씩 훑으면서 목록에 있으면 바꾸고 없으면 그대로 둡니다.
목록에 없는 글자는 절대 건드리지 않으니, 원문이 뜻하지 않게 변형될 걱정은 없습니다.
언제 쓰면 좋은가
- 검색이 안 될 때 : 있는데 안 찾아지는 한자가 있다면 십중팔구 이 문제입니다.
- 문서를 합치기 전 : 여러 사람이 작업한 원고를 하나로 모을 때, 미리 정규화해 두면 나중에 생길 혼란을 막습니다.
- 색인 작업 전 : 같은 글자가 두 항목으로 갈라지는 것을 방지합니다.
- DB에 넣기 전 : 저장 후에 발견하면 고치기가 훨씬 번거롭습니다.
다른 도구에도 들어 있습니다
같은 정규화 모듈을 다섯 개 앱이 나눠 쓰고 있습니다.
글자를 맞대어 보는 작업이라면 어디서든 같은 문제가 생기기 때문입니다.
다만 어디에 적용하느냐는 앱마다 다릅니다.
색인어 태그 변환기 — 원고와 변환 테이블 양쪽 모두에 겁니다.
표에는 표준 코드의 說 을 적었는데 원고에는 호환 코드의 說 이 있으면 아무것도 안 걸리죠.
양쪽을 같은 기준으로 맞춰 두면 그런 일이 없습니다.
색인어 추출기 — 원고와 추출 기호에 겁니다.
여기서는 한 가지가 더 있습니다. 정규화하지 않으면 같은 낱말이 목록에서 둘로 갈라집니다.
코드가 다른 說 두 종류가 각각 한 줄씩 차지하는 거죠. 중복 제거가 제 몫을 하려면 먼저 코드가 통일돼야 합니다.
태그 변환기 — 화면에 그릴 때 겁니다.
원고를 고치지는 않고 보여 주는 결과만 정돈합니다. 검수 중에 같은 글자가 달라 보이면 헷갈리니까요.
한글파일 이미지 검출기 — 그림 옆에 붙는 앞뒤 문맥 텍스트에 겁니다.
한글 파일에서 뽑아낸 문장에는 호환 코드가 섞여 있는 경우가 많습니다. 결과를 브라우저에서 검색하려면 정돈돼 있어야죠.
언제만나 — 참석자 이름과 장소·공지에 겁니다.
한자 이름을 쓰는 분이 있을 때, 코드가 달라 같은 사람이 둘로 잡히는 일을 막습니다.
그러니 위 앱들을 쓸 때는 따로 정규화하지 않아도 됩니다.
이 도구는 문서 자체를 정리해서 보관하거나, 다른 프로그램에 넘기기 전에 손볼 때 쓰시면 됩니다.
파일 업로드
각 앱에서 파일 업로드 버튼을 클릭하여 텍스트 파일을 불러올 수 있습니다.
지원 형식: .txt, .md, .html, .xml, .tsv, .csv
파일 저장
변환 결과를 파일 저장 버튼으로 다운로드할 수 있습니다.
복사
복사 버튼으로 결과를 클립보드에 복사할 수 있습니다.
바로 사용하기 — 한자 정규화