Wappalyzer 이란 크롬 확장프로그램이 있다.

해당사이트가 어떤 기술스택을 사용했는지 알 수 가 있다.

1. 개발자도구에서 소스->페이지->파일시스템을 클릭합니다.

 

2. 작업공간에 폴더추가를 클릭합니다.

 

3. 프로젝트 폴더를 선택하여 줍니다.

 

4. 프로젝트폴더가 브라우저상에 나타납니다.

위키피아 로봇 배제 표준

https://ko.wikipedia.org/wiki/%EB%A1%9C%EB%B4%87_%EB%B0%B0%EC%A0%9C_%ED%91%9C%EC%A4%80

 

로봇 배제 표준 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 로봇 배제 표준(robots exclusion standard), 로봇 배제 프로토콜(robots exclusion protocol)은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근

ko.wikipedia.org

 

 

웹 크롤링 로봇의 접근 권한에 대해 표준을 확인하고 싶으면 해당사이트 /robots.txt

예) python.org/robots.txt

Allow : 허락

Disallow : 차단

+ Recent posts