파이썬 크롤링 Response에러 해결하기(Feat. User-Agent)

저번에 파이선 사이트 크롤링에 대해서 알아보았는데요. 먼저 사이트 상태가 정상적인지 Response를 통해서 확인하였습니다. response 에러 하지만 일부 멀쩡하게 표시된 사이트도 에러 메시지를 뿜는경우가 있는데요. 아래 사이트의 경우 저번에 알려준 크롤링 방법으로 크롤링하면 정상 페이지지만 404 에러코드를 보냅니다. 2022.08.22 - [Programming/Python] - 파이썬 웹사이트 크롤링하기- 1. request 파이썬 웹사이트 크롤링하기- 1. request 파이썬의 웹사이트 크롤링의 기초 나도코딩 사이트로 파이썬 웹사이트 크롤링을 공부하고 있는데요. 나도코딩 이 사이트를 통해서 하나씩 배워가고 있습니다. 먼저 requests 패키지를 통해서 사 remake.tistory.com ..