나무위키 파싱 - 배치 로그 개선

개요

크롤러 상태 확인

• namuwiki-crawler
  • 컨테이너는 정상 실행 중이었음.
  • 최근 30분간 저장 문서가 0건이었던 이유는 정체가 아니라 처리할 큐가 없었기 때문.
  • 로그 및 DB 상태 확인 완료.
  • 크롤러 문제 없음 — 완료.

인물 수집 배치 갱신

collect_names를 이용해 1975~2025년 출생 카테고리를 인터넷에서 다시 수집했다.

• 1975~1979년 우선 갱신

  • 카테고리 고유 인원: 9,425명 → 9,528명
  • 103명 증가
  • 신규 대상 117명 등록 및 전원 처리 완료

• 1980~2025년 전체 갱신

  • 46개 연도 모두 갱신 완료
  • 카테고리 고유 인원: 99,683명 → 100,624명
  • 941명 증가
  • 신규 대상 1,132명 등록
  • 크롤링 성공: 1,129명
  • 문서 없음(404): 3명
  • 미처리 큐: 0건

후속 파생 배치

카테고리 확장 — 완료

• 신규 카테고리 매핑: 439행
• 영향받은 인물의 person_attributes 재계산: 3,068명
• 소요 시간: 약 50초

사주·띠·별자리 생성 — 완료

• 계산 성공: 106,972명
• 파싱 불가: 5,594명
• 출생연도 불일치 제외: 1,222명
• 신규 계산 결과 누락: 0건
• 소요 시간: 약 5분 22초
• 과거 실행에서 남은 saju 파생 행 159개는 별도 정리 필요

추천 인물 갱신 — 자동 실행 대기

• PM2 배치 등록 상태 확인 완료
• 매일 03:30 KST 자동 실행
• 신규 인물 추가로 별칭 목록이 변경되어 다음 실행 시 전체 본문 스캔으로 전환될 수 있음
• 예상 소요 시간: 약 35~45분

AI 인물 특성 생성 — 별도 진행 중

• 전용 특성 생성 큐가 별도로 실행 중
• 신규 인물은 현재 고정 큐에 자동 추가되지 않음
• 기존 큐 완료 후 미분석 대상용 후속 큐 생성 필요

완료 상태

• 출생연도 카테고리 재수집: 완료
• 신규 인물 크롤링 및 프로필 파싱: 완료
• 카테고리 속성 확장: 완료
• 사주·띠·별자리 생성: 완료
• 추천 인물 갱신: 다음 03:30 자동 실행 예정
• 미처리 크롤링 큐: 0건

다음 작업

• 나무위키 파싱 - 배치 시각화