크롤링(crawling)_browserless 크롤링

20221014

8일차

 

---

requests는 브라우저 없이 파이썬에서 다이렉트로 서버에 http 요청을 넣는다.

속도나 리소스면에서 훨씬 우월하다.

 

다만, 클릭등이 안되기때문에 특정 페이지 주소에서만 가능하다.

 

http 소스를 가져오면 다음부터는 BeautifulSoup로 진행하는것은 똑같다.

 

 

---

우선 필요한것들을 import 해주고 requests.get으로 주소를 입력한다.

req.text는 selenium의 .text와 문법은 같으나 기능은 다르기에 주의해야한다.

 

주소를 입력하고 req.text로 http 소스코드를 읽어온다.

 

---

* .headers는 요청에 따른 상세정보를 보여준다.

* .status_code는 접속상태를 숫자로 보여준다 (정상 = 200)