[celebinsight] 나무위키 파싱 - 인물 특성 후보 검수
다시 돌리기 전에 확인해봤다
인물 특성 후보 약 4만 건을 검수해야 한다고 생각했다. 양이 많아서 바로 작업을 다시 시작하려다가, 혹시 예전에 끝낸 작업인지 먼저 확인했다.
확인해보니 이미 검수를 마친 작업이었다. 기존 작업 결과가 남아 있었고 DB에도 반영된 상태였다. 다시 실행하면 같은 후보를 중복으로 처리할 수 있어서 추가 작업은 하지 않았다.
결론
이 작업은 완료 처리한다. 새로 검수할 4만 건이 남아 있었던 것이 아니라, 완료 여부를 기록에서 바로 확인하기 어려웠던 것이 문제였다.
다만 이번 기록에는 최종 반영 건수와 확인에 사용한 조회 결과가 남아 있지 않다. 다음에 비슷한 대량 작업을 끝낼 때는 아래 세 가지를 같이 적어두는 편이 좋겠다.
- 검수 대상 건수와 실제 완료 건수
- 완료 시각 또는 마지막 실행 기록
- DB에서 완료를 확인한 조회 기준
작업량이 클수록 실행 전에 완료 여부부터 확인해야 한다. 이번에는 그 한 번의 확인으로 4만 건을 다시 돌리는 일을 피했다.
댓글
첫 번째 댓글을 남겨보세요.