파이썬 크롤링시 Cookie 받아서 하기

웹사이트를 크롤링하다보면 아이디 패스워드를 해야하는 경우가 있습니다.

 

이때 Cookie를 통해서 크롤링할 수 있는데요.

 

파이썬 크롤링 코드에서 사용되는 Cookie 및 User-Agent 포함 Header는 웹 브라우저의 개발자 도구(F12)를 통해 쉽게 확인하고 복사할 수 있습니다.

해당 사이트 로그인/접속 후 아래 절차대로 진행하시면 됩니다.

Chrome 브라우저 기준 수집 방법
사이트 접속 및 로그인
크롤링하려는 웹사이트에 접속하여 로그인(권한이 필요한 경우)을 완료합니다.

개발자 도구 열기
키보드의 F12 키 또는 Ctrl + Shift + I (Mac: Cmd + Option + I)를 누릅니다.

Network(네트워크) 탭 이동
상단 메뉴 중 Network 탭을 클릭합니다.
(목록에 아무것도 안 보인다면 F5를 눌러 페이지를 새로고침합니다.)

요청 항목 선택
네트워크 요청 목록 중 가장 위에 있는 문서 이름(보통 해당 페이지의 URL 이름)을 클릭합니다.

Request Headers(요청 헤더) 확인
우측에 나타난 창에서 Headers 탭을 선택하고, 스크롤을 아래로 내려 Request Headers 항목을 찾습니다.

User-Agent 및 Cookie 복사

User-Agent: 항목 옆의 전체 문자열을 복사합니다.

Cookie: 항목 옆의 전체 쿠키 문자열을 복사하여 코드의 "Cookie" 값에 붙여넣습니다.