CloudScraper로 크롤링 우회하기

최근 사이트 중에서는 단순히 requests만으로 크롤링이 안되는 사이트가 있는데요. CloudScrapercloudscraper는 Cloudflare와 같은 보안 서비스로 보호된 웹사이트를 우회하여 요청을 처리할 수 있는 Python 라이브러리라고 합니다. 사이트에서 단순한 request로 크롤링이 안될때 사용할 수 ㅣㅇㅆ습니다. Cloudflare 보호를 우회하는 데 효과적입니다. 이 코드를 실행하면 OpenAI와 같은 사이트에서 필요한 데이터를 크롤링할 수 있습니다 CloudScraper 사용방법먼저 cloudscraper를 설치해줍니다.pip install cloudscraper 기본적인 소스코드 형태는 아래와 같은데요. import cloudscraperfrom bs4 import Beautif..

• format_list_bulleted Programming/Python
• · 2024. 11. 21.
• textsms

python request SSL 에러

파이썬에서 request를 할때 SSL 에러가 발생하는데요. 아래와 같이 certificate verify failed라는 메시지가 발생합니다. Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')])"))) 말 그대로 SSL 인증서가 오류가 있어서 인증이 되지 않는 케이스입니다. 이 경우 크게 2가지 방법으로 처리가 가능한데요. ssl 인증서 예외처리 먼저 SSL에서 인증서를 예외처리하는 방식으로 처리할 수 있습니다. import ssl ssl._create_default_https_context = ssl._create_unverified_context 위의 형태와 아래처럼 에러가 나타났을때 _cre..

• format_list_bulleted Programming/Python
• · 2023. 12. 19.
• textsms