개발자 doo의 개인 지식 아카이브
Tag
5개의 포스트 · DooWiki
5개의 공개 문서가 이 태그를 포함합니다.
개요 현재 여러가지 배치가 존재하는데 이를 관리하기가 어려움 무슨 배치가 있는지도 잘 모르겠음 헷갈림 이를 관리하기 위한 프로그램이나 인터페이스가 필요함 Grafana 및 rundeck으로 해볼려고 했는데, 이게 생각보다 리소스를 많이 쳐먹음 실시간 모니터링까지는 필요없고 로그만 한곳에서 볼 수 있으면 편할 것 같음 내가...
PARA/03_Resources/R001_개발_레퍼런스(참고문서)/트러블슈팅/나무위키 파싱 - 배치 시각화.md
namuwiki crawler 컨테이너는 정상 실행 중이었음. 최근 30분간 저장 문서가 0건이었던 이유는 정체가 아니라 처리할 큐가 없었기 때문. 로그 및 DB 상태 확인 완료. 크롤러 문제 없음 — 완료.
PARA/03_Resources/R001_개발_레퍼런스(참고문서)/트러블슈팅/나무위키 파싱 - 배치 로그 개선.md
개요 대충 cli기반으로 인물 특성 후보 뽑아내는 작업을 계속 진행하고 있다. 대충 1시간에 1~2프로 빨리는 것 같은데 이번주에 초기화권 쓸 기세로 돌려야겠다. 어느정도 정리가 되면 다시 codex automation 을 활용해보자. 우선은 4천건까지 완료했고 이후 작업은 모니터링 하다가 결과 보고 재정리 5천명까지 완...
PARA/03_Resources/R001_개발_레퍼런스(참고문서)/트러블슈팅/나무위키 파싱 - 남은 27,739명에 대한 파싱 작업 2.md
인물 특성 후보 약 4만 건을 검수해야 한다고 생각했다. 양이 많아서 바로 작업을 다시 시작하려다가, 혹시 예전에 끝낸 작업인지 먼저 확인했다.
PARA/03_Resources/R001_개발_레퍼런스(참고문서)/트러블슈팅/나무위키 파싱 - 인물 특성 후보 검수.md
남아 있던 27,739명을 처리하기 위해 codex web gpt automation과 Oracle 기반 파싱 방식을 연결했다. 그러나 실제 파싱을 시작하기도 전에 Oracle 파일 검증 오류가 발생해 작업이 중단됐다.
PARA/03_Resources/R001_개발_레퍼런스(참고문서)/트러블슈팅/나무위키 파싱 - 남은 27,739명에 대한 파싱 작업.md