워드프레스 사이트에 언어를 추가할 때마다 검색 엔진이 발견하고 크롤링하고 다시 크롤링해야 하는 URL이 늘어납니다. 단일 언어 사이트에서는 크게 신경 쓰지 않아도 되는 robots.txt 파일과 크롤링 예산 관리가 사이트 규모가 커지면서 8개 또는 10개 언어로 확장될 때 비로소 중요해집니다. 이 글에서는 robots.txt와 크롤링 예산 관리를 올바르게 설정하는 방법을 설명합니다.
다국어 웹사이트에서 크롤링 예산이란 실제로 무엇을 의미하는가?
크롤링 예산은 검색 엔진이 특정 기간 내에 사이트의 품질과 서버 용량을 고려하여 크롤링할 페이지 수를 의미합니다. 10개 언어를 지원하는 사이트는 소스 콘텐츠의 URL이 10배 더 많기 때문에, 크롤링 예산이 그에 맞춰 조정되지 않으면 일부 언어 버전은 다른 언어 버전보다 훨씬 덜 자주 크롤링되고 재색인될 수 있습니다.
여러 언어를 지원하기 위해 robots.txt 파일 구성하기
- 루트 도메인에 모든 언어 하위 폴더를 포괄하는 단일 robots.txt 파일을 유지하십시오. 서브도메인을 사용하는 경우 각 서브도메인마다 별도의 robots.txt 파일이 필요합니다.
- 참고 자료 언어별 XML 사이트맵 인덱스 이를 통해 크롤러는 모든 지역의 URL을 효율적으로 찾을 수 있습니다.
- 기본 언어 접두사뿐만 아니라 모든 언어 접두사에 걸쳐 관리자, 장바구니 및 계정 경로의 크롤링을 일관되게 금지합니다.
- 구조 마이그레이션 중에 실수로 전체 언어 폴더를 차단하지 않도록 주의하세요. 이는 다국어 트래픽이 갑자기 감소하는 일반적인 원인입니다.
언어별 크롤링 예산 우선순위 지정
| 전략 | 크롤링 예산에 미치는 영향 |
|---|---|
| 언어별로 내용이 부실하거나 자동 생성된 페이지는 색인에서 제외됩니다. | 검색 의도를 실제로 타겟팅하는 페이지에 대한 크롤링 예산을 무료로 제공합니다. |
| 거의 중복되는 번역 페이지를 통합합니다. | 중복 콘텐츠에 대한 불필요한 크롤링을 줄입니다. |
| 대량 번역 실행 후 업데이트된 사이트맵을 제출하세요. | URL이 변경되었음을 알려주어 새로운 콘텐츠를 더 빠르게 재크롤링할 수 있도록 합니다. |
| 리디렉션 체인 및 깨진 링크를 수정합니다. | 크롤링 예산이 활성 페이지 대신 쓸모없는 페이지에 낭비되는 것을 방지합니다. |
AI 번역 워크플로가 크롤링 효율성에 미치는 영향
점진적 번역 매번 실행할 때마다 전체 언어를 다시 생성하는 대신 변경된 페이지만 업데이트하면 사이트맵 변경 신호가 의미 있게 유지됩니다. 크롤러는 나열된 변경 사항이 노이즈가 아닌 실제 콘텐츠임을 신뢰하게 되므로 모든 언어에 걸쳐 크롤링 예산이 더욱 효율적으로 사용됩니다.
자주 묻는 질문
모든 언어마다 robots.txt 파일이 필요한가요?
언어별로 별도의 서브도메인을 사용하는 경우에만 해당됩니다. 하위 폴더 기반 다국어 사이트는 경로 접두사를 기준으로 규칙을 적용하는 단일 루트 robots.txt 파일을 공유합니다.
너무 많은 언어가 메인 사이트의 크롤링 예산에 악영향을 미칠 수 있을까요?
번역 가치가 낮거나 번역 내용이 부실한 페이지가 무분별하게 색인화될 경우 문제가 발생할 수 있습니다. 고품질 번역을 우선시하고 번역 내용이 부실한 페이지는 색인화하지 않도록 하면, 예산을 순위 상승에 가치 있는 페이지에 집중할 수 있습니다.
내 사이트에서 크롤링 예산이 실제로 문제가 되는지 어떻게 알 수 있나요?
Google 검색 콘솔의 크롤링 통계 보고서를 확인하세요. 새로 번역된 콘텐츠의 상당 부분이 색인에 반영되는 데 몇 주가 걸리는 경우, 크롤링 예산 할당이 원인일 가능성이 높습니다.
결론
잘 구성된 robots.txt 파일과 전략적인 크롤링 예산 책정은 검색 엔진이 중요한 다국어 페이지에 집중하도록 도와줍니다. 점진적이고 체계적인 AI 번역은 사이트맵 업데이트가 노이즈가 아닌 실제 콘텐츠 변경 사항을 반영하도록 하여 크롤링 신호의 의미를 더욱 풍부하게 만듭니다.