웹사이트를 크롤링하다보면 아이디 패스워드를 해야하는 경우가 있습니다. 이때 Cookie를 통해서 크롤링할 수 있는데요. 파이썬 크롤링 코드에서 사용되는 Cookie 및 User-Agent 포함 Header는 웹 브라우저의 개발자 도구(F12)를 통해 쉽게 확인하고 복사할 수 있습니다. 해당 사이트 로그인/접속 후 아래 절차대로 진행하시면 됩니다. Chrome 브라우저 기준 수집 방법 사이트 접속 및 로그인 크롤링하려는 웹사이트에 접속하여 로그인(권한이 필요한 경우)을 완료합니다. 개발자 도구 열기 키보드의 F12 키 또는 Ctrl + Shift + I (Mac: Cmd + Option + I)를 누릅니다. Network(네트워크) 탭 이동 상단 메뉴 중 Network 탭을 클릭합니다. (목록에 아무것도 ..