이 연재에서 하나만 남긴다면 이 이야기를 남기겠습니다.
목회자에게 각주는 장식이 아닙니다. 누가 그렇게 말했는지가 신학의 절반입니다. 그래서 처음부터 각주를 붙이게 했고, 붙은 각주를 보고 안심했습니다. 그게 첫 번째 실패였습니다.
첫 번째 실패 — 형식이 완벽하면 내용도 맞을 줄 알았습니다
각주는 형식이 정확했습니다. 저자, 책 이름, 출판사, 연도, 쪽수. 사람이 쓴 것과 구별할 수 없었습니다.
눌러 보니 그런 책이 없었습니다.
있는 저자와 있는 출판사를 조합해 없는 책을 만들거나, 있는 책에 없는 쪽수를 붙였습니다. 모델은 각주가 어떻게 생겼는지는 완벽히 알지만 그것이 참인지는 확인할 수 없습니다. 형식은 지식이고 사실은 조회인데, 저는 둘을 같은 것으로 취급했습니다.
두 번째 실패 — "진짜 있는 책만 쓰라"고 시켰습니다
그래서 지시를 강하게 했습니다. 서재에 있는 책만 인용하라고, 없는 것은 쓰지 말라고, 확실하지 않으면 비워 두라고. 문장을 여러 번 고치고 예시도 넣었습니다.
줄기는 했습니다. 사라지지는 않았습니다.
그리고 더 나쁜 것이 나타났습니다. 실재하는 저자에 가짜 책 이름이 붙는 경우입니다. 이건 잡아내기가 훨씬 어렵습니다. 저자를 검색하면 나오니까요.
이때 알았습니다. 지시는 강해질 수 있지만 검증이 되지 않습니다. 아무리 세게 말해도 그건 "그렇게 해 달라"는 부탁입니다.
세 번째 — 방향을 바꿨습니다
모델은 출처를 못 씁니다. 코드가 씁니다.
이 문장이 전환점이었습니다. 각주를 모델의 산출물로 두지 않고, 조회 결과의 기록으로 바꿨습니다.
- 인용할 문장이 실제 그 PDF 안에 있는지 코드가 찾습니다. 찾은 쪽 번호를 그대로 씁니다.
- 저자와 제목을 동시에 대조합니다("실재 저자 + 가짜 책"을 막는 자리입니다).
- 못 찾은 출처는 고치지 않고 공개면에서 빼 버립니다(막지 못하면 통과가 아니라 차단이 기본값입니다).
- 참고문헌은 실제로 인출한 것만 올립니다. 모델이 만든 각주는 무조건 폐기합니다.
- 검증 실패는 조용히 지우지 않고 집필자에게 돌려보내 한 번 더 고치게 합니다.
마지막 구멍은 엉뚱한 곳에 있었습니다
여기까지 하고 안심했는데, 영문판에서 각주가 다시 흔들렸습니다. 한국어 본문은 검증을 통과했지만 번역 단계가 그 검증된 서지를 다시 쓰고 있었습니다. 검증은 앞에서 했고, 번역은 뒤에서 그것을 새로 만들었습니다.
파이프라인이 길어지면 검증 뒤에 오는 단계가 검증을 무효로 만들 수 있습니다. 지금은 번역이 서지를 손대지 못하게 막았습니다.
남은 원칙
검증할 수 없는 것은 자동화하지 않습니다.
그리고 검증은 "지시"가 아니라 대조입니다. 원문을 열어 그 문장이 그 쪽에 있는지 보는 것 — 그것만이 검증입니다. 나머지는 다 기대입니다.
저는 이 문제에 두 달을 썼습니다. 목회자가 쓸 도구라면 여기서 타협할 수 없다고 생각했습니다. 인용이 틀린 설교는 준비를 덜 한 설교가 아니라 틀린 것을 전한 설교입니다.
다음 화는 아무 오류 메시지도 없이 조용히 실패하던 것들의 이야기입니다.
Comments
Post a Comment