크롤링 관리
D+14 「크롤링 스크립트 테스트」 체크포인트에서 이 화면을 그대로 시연합니다. 준법 게이트 4종이 전부 켜져야 수집이 시작됩니다 — 대법원 2021도1533은 접근권한을 기술적 보호조치·약관 등 객관적 사정으로 판단합니다.
오늘 수집
20
신규 20 · 중복 스킵 75
다음 자동 실행
36:40
1시간 주기 · 뷰티노트(가상)
본문 원문 보관
0건
발췌 3줄만 저장 — 건당 배상 리스크 차단 (잡코리아 4.5억 판례)
에러 (24h)
7
404×3 · 429×2 · 파싱 1 · 403 1
준법 수집 게이트
수집 로그 — 실시간
에러 유형별 자동 대응
| 유형 | 24h | 자동 대응 |
|---|
SEO 색인 정책 (R4)
회원 작성 글index 검색 유입의 원천
크롤링 카드noindex Google 스팸 정책(scaled content) 대응 — 크롤링 콘텐츠로 SEO를 얻는 전략은 성립하지 않습니다
사이트맵 포함회원 글 128건만
딜레이 계산기 — 1시간 주기가 성립하는가
공고는 1시간 주기 수집과 딜레이 필수를 동시에 요구합니다. 소·중규모 사이트의 정중한 간격(10~15초)이면 회차당 처리량에 상한이 생깁니다 — 슬라이더를 움직이면 실계산됩니다.
10초
1
120건
회차 최대 요청 (60분)
—
목록+상세 2단 요청 기준
처리 가능 신규 글
—
회차당 상한
예상 소요
—
이번 회차 기준
robots.txt에 Crawl-delay가 있으면 간격 하한이 그 값으로 잠깁니다(표준 아님 — Google 미준수·Bing 준수). 429/5xx 수신 시 백오프 ×2와 Retry-After를 준수합니다.
콘텐츠·회원 관리
숨김/삭제는 자유재량이 아니라 절차입니다 — 권리침해 주장 건은 임시조치 30일(정보통신망법 44조의2, 통지·공시 의무)을 탑니다. 원저작 플랫폼의 삭제 요청도 같은 흐름입니다.
신고 처리 큐
회원 관리
| 닉네임 | 가입 | 글/댓글 | 신고 누적 | 상태 | 처리 |
|---|
정책 판정기
기존 분석의 미결 사항을 계산되는 화면으로 닫았습니다.
불법촬영물 사전조치 의무 판정 (2026.7.1 이미지 확대 시행)
2억
1만 명
기준: 매출 10억 이상 또는 일평균 10만 명 이상(약 80개사) · 2026.12.31까지 계도기간. 미만이어도 신고 접수·삭제 체계는 필수(이 화면의 신고 큐).
가입 정책 3안 비교 (R7 — 인권위 의견표명 리스크)
마일스톤 · 운영 매뉴얼
재등록 공고에 새로 들어온 두 블록에 대한 답 — 일정은 체크포인트별 산출물로, 매뉴얼은 별도 PDF가 아니라 화면 안에. 담당자 1인이 화면을 떠나지 않고 운영할 수 있어야 합니다.
마일스톤 (공고 [주요 일정] 그대로)
운영 매뉴얼 — 화면 내장 (공고 [산출물] 대응)
1. 크롤러가 멈췄을 때
- 「크롤링 관리」에서 마지막 로그 확인 — 403이면 대상 정책 변경(협의 필요), 429면 자동 백오프 대기
- 준법 게이트 4종이 전부 켜져 있는지 확인 — 하나라도 꺼지면 수집이 서지 않습니다
- [지금 수집 실행]으로 수동 1회 — 로그에 신규/중복이 찍히면 정상
2. 새 대상 사이트를 추가할 때
- robots.txt를 먼저 확인(자동) — Disallow 경로는 수집에서 제외됩니다
- 딜레이 계산기에서 간격을 정하고 1시간 주기 성립 여부 확인 — 불가면 증분 수집으로
- 첫 회차는 10건 시범 수집 후 파싱 결과 검수
3. 원저작자가 삭제를 요청했을 때
- 신고 큐의 「저작권(제3자)」 유형으로 접수 — 즉시 카드 비공개(임시조치)
- 30일 카운트다운 동안 통지·공시가 자동 발송됩니다
- 만료 시 재게시/영구삭제를 선택 — 처리 이력이 방어 근거로 남습니다
💡 이 매뉴얼은 관리자 화면 안에 있습니다 — 소스 코드와 함께 인수되며, 문구 수정도 관리자가 직접 할 수 있는 구조로 구현합니다.