위키피아 로봇 배제 표준
https://ko.wikipedia.org/wiki/%EB%A1%9C%EB%B4%87_%EB%B0%B0%EC%A0%9C_%ED%91%9C%EC%A4%80
로봇 배제 표준 - 위키백과, 우리 모두의 백과사전
위키백과, 우리 모두의 백과사전. 로봇 배제 표준(robots exclusion standard), 로봇 배제 프로토콜(robots exclusion protocol)은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근
ko.wikipedia.org
웹 크롤링 로봇의 접근 권한에 대해 표준을 확인하고 싶으면 해당사이트 /robots.txt
예) python.org/robots.txt
Allow : 허락
Disallow : 차단
'개발도구(웹) > 기타웹관련' 카테고리의 다른 글
| 크롬확장프로그램 웹사이트에서 기술 식별 프로그램 (0) | 2023.05.07 |
|---|---|
| 크롬브라우저에서 코딩하는 방법 (0) | 2023.04.22 |