파이썬 웹사이트 크롤링 하기 - 4. Selenium 사용하기

이번 시간에는 이어서 셀레니움을 통해 크롤링 하는 방법을 알아보겠습니다. 셀레니움 준비하기 먼저 셀레니움을 쓰기 위해서는 크롬 드라이버를 다운받아야 합니다. https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 106, please download ChromeDriver 106.0.5249.21 If you are using Chrome version 105, please download ChromeDriver 105.0.5195.52 If you are using Chrome version 104, plea..

• format_list_bulleted Python
• · 2022. 8. 27.
• textsms

파이썬 웹사이트 크롤링하기 - 3.BeautifulSoup/find함수로 찾기

파이썬을 활용해서 웹사이트 크롤링을 이어서 해보겠습니다. 이제 request로 파일을 찾아오면 Beautifulsoup을 활용해서 크롤링한 파일을 정리하는데요. BeautifulSoup이란? BeautifulSoup는 HTML과 XML 파일로부터 데이터를 뽑아내기 위한 파이썬 라이브러리이다. 여러분이 선호하는 해석기와 함께 사용하여 일반적인 방식으로 해석 트리를 항해, 검색, 변경할 수 있다. 한글 도큐먼트는 링크에서 확인이 가능합니다. 뷰티플수프 문서 — 뷰티플수프 4.0.0 문서 find_all() 메쏘드는 태그의 후손들을 찾아서 지정한 여과기에 부합하면 모두 추출한다. 몇 가지 여과기에서 예제들을 제시했지만, 여기에 몇 가지 더 보여주겠다: 어떤 것은 익숙하지만, 다른 것 www.crummy.com..

• format_list_bulleted Python
• · 2022. 8. 26.
• textsms

파이썬 웹사이트 크롤링하기- 2. 오늘날씨 가져오기

1번편에 이어서 오늘날씨 크롤링을 한번 따라해보겠습니다. 2022.08.22 - [Programming/Python] - 파이썬 웹사이트 크롤링하기- 1. request 나도코딩 홈페이지에 있는 샘플이 네이버 페이지가 개편되면서 일부 맞지 않는 항목이 있어서 수정해보았습니다. 서울 날씨로 검색했을때 아래와 같이 검색 결과가 나옵니다. 프로그램을 실행시키면 처음부터 에러가 나는데요. 이유가 현재 날씨 표시방식이 달라졌습니다. 현재 온도가 태그를 보면 현재온도는 span의 class: blind 태그에서 찾을 수 있구요. 그리고 어제랑 비교는 이렇게 span에 temperature.up과 temperature.down이라는 두개의 함수에 나눠서 있습니다. 즉 이 경우에 둘 케이스에 대해서 예외처리를 해줘야 ..

• format_list_bulleted Python
• · 2022. 8. 23.
• textsms

파이썬 웹사이트 크롤링하기- 1. request

파이썬의 웹사이트 크롤링의 기초 나도코딩 사이트로 파이썬 웹사이트 크롤링을 공부하고 있는데요. 나도코딩 이 사이트를 통해서 하나씩 배워가고 있습니다. 먼저 requests 패키지를 통해서 사이트를 불러오는데요. get을 통해서 해당 주소를 넘겨줍니다. 그리고 res.status_code가 응답인데요. import requests res = requests.get('https://www.naver.com') print('응답코드 =', res.status_code) 200이면 정상입니다. 그리고 status_code가 200 또는 requests.code.ok라면 정상이라고 출력합니다. import requests res = requests.get('https://www.naver.com') print('..

• format_list_bulleted Python
• · 2022. 8. 22.
• textsms

크롬 개발자 도구로 홈페이지 메뉴 xpath 확인하기

크롬 개발자 도구를 활용하면 다양한 기능을 할 수 있는데요. 특히 웹사이트 크롤링 등의 작업을 하신다면, 크롬 개발자 모드가 필수적입니다. 크롬을 실행하고 F12를 누르면 개발자 모드가 실행되는데요. 이후 마우스 버튼을 클릭하여 활성화하면 되는데요. 마우스 버튼이 파란색으로 활성화가 되면, 각각의 항목에 대해서 친절하게 알려줍니다. 그 다음 파이썬 크롤링 등에서 사용한다면 해당 html의 위치에서 copy -> copy xpath를 하게되면 해당 주소를 직접 알 수 있습니다. 이렇게 xpath를 복사하면 아래와 같이 xpath를 바로 알 수 있습니다. //*[@id="account"]/a 그럼 잘 사용하시기 바랍니다.

• format_list_bulleted Python
• · 2022. 8. 22.
• textsms

VS Code 표시언어 설정 한국어로 변경하기

VScode를 사용하다가 영어에서 한글로 변경하거나, 또 강의에서는 주로 영어버전으로 설명하기 때문에 한글에서 영어로 사용해야할 때가 있습니다. 이때 Ctrl+Shift+P키를 통해서 팔레트를 열어줍니다. 그리고 CDL 또는 Configure Display Language를 클릭합니다. 그러면 아래처럼 표시언어를 변경할 수 있는데요 여기에서 한국어를 선택하면 재부팅이 되고 한국어로 사용이 가능합니다. 한국어로 선택하면 프로그램을 재 실행한다는 안내가 나옵니다. 재 실행 후에는 한글로 표현되는 것을 확인할 수 있는데요. 반대로 다시 영어가 필요하다면 동일한 방식으로 한 다음 영어로 변경하시면 됩니다. 한글의 경우 표시 언어 구성이라고 적혀져 있는데요. 동일하게 CDL로 치면 찾을 수 있기 때문에 헷갈리시지..

• format_list_bulleted Programming
• · 2022. 8. 22.
• textsms