[celebinsight] 나무위키 파싱 - 남은 27,739명에 대한 파싱 작업

남은 배치 작업

남아 있던 27,739명을 처리하기 위해 codex-web-gpt-automation과 Oracle 기반 파싱 방식을 연결했다. 그러나 실제 파싱을 시작하기도 전에 Oracle 파일 검증 오류가 발생해 작업이 중단됐다.

먼저 오래된 검증 기준을 갱신하고 Linux 설정이 업데이트 과정에서 사라지지 않도록 수정했다. 추론 강도 선택 오류도 함께 해결했다. 서버 반영 후 Windows, macOS, Linux CI가 모두 통과하는 것까지 확인했다.

도구 오류는 해결했지만 실제 추출 결과는 0명이었다. 연결 코드를 구현하는 과정에서 웹 응답이 끊겼고, 세션을 복구한 뒤에도 실행 상태를 계속 지켜봐야 했다.

기존 DB가 변경되지 않은 점은 확인했다. 다만 준비와 복구에 드는 시간을 고려하면 이 방식으로 27,739명을 처리하는 것은 비효율적이라고 판단했다.

기존 CLI 방식으로 돌아가기로 했다

Oracle 방식은 준비와 장애 복구에 비해 첫 결과를 확인하기까지 너무 오래 걸렸다.
새 도구를 계속 보완하는 것보다 이미 검증된 CLI 파싱을 이어서 실행하는 편이 더 빠르고 안정적이었다.
적당히 차이가 나야하는데 5배 이상 나니까 답이 없었음
토큰 많이 빨리는건 감수하기로 함

다음 실행부터는 전체 대상을 한꺼번에 처리하지 않고 작은 배치로 검증한 뒤 범위를 넓히기로 했다.

1. 소수의 인물을 대상으로 CLI 파싱을 실행한다.
2. 성공·실패 건수와 소요시간을 기록한다.
3. 실행 전후의 DB 건수를 비교한다.
4. 결과와 속도에 문제가 없을 때만 전체 대상으로 확대한다.

회고

새 방식이 대량 처리에 적합한지 확인하려면 도구 전체를 완성하기 전에 작은 샘플로 첫 결과가 나오는 시간부터 측정했어야 했다.

대량 작업에서는 새로운 도구를 완성하는 것보다 다음 항목을 먼저 검증하는 것이 중요하다.

• 첫 결과가 나오는 데 걸리는 시간
• 배치당 처리 속도
• 실패 후 복구 가능 여부
• DB 변경의 안전성
• 전체 작업에 필요한 예상시간

앞으로는 소규모 실행으로 속도와 안정성을 확인한 뒤 대량 처리로 확대한다.