로봇 배제 표준 확인하기

Neil_Os 2023. 3. 19. 12:32

위키피아 로봇 배제 표준

로봇 배제 표준 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 로봇 배제 표준(robots exclusion standard), 로봇 배제 프로토콜(robots exclusion protocol)은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근

ko.wikipedia.org

웹 크롤링 로봇의 접근 권한에 대해 표준을 확인하고 싶으면 해당사이트 /robots.txt

예) python.org/robots.txt

Allow : 허락

Disallow : 차단