다시 시작하는 IT 이야기

이번 시간에는 판다스의 정보를 변경해보는 방법을 알아보겠습니다. import pandas as pd data = {'name': ['kim', 'choi', 'park', 'lee', 'jung'], 'year': [2013, 2014, 2015, 2016, 2015], 'points': [2, 3, 5, 3, 4], 'id': ['0001', '0002', '0003', '0004', 'A0001']} df = pd.DataFrame(data) print(df) df.info() 먼저 기본 데이터를 입력하고 info를 통해서 타입을 확인해 봅니다. 이외에 정보를 확이하는 명령어는 df.describe()를 통해서 간단한 통계치를 확인할 수 있구요. df.shape를 통해서 형태에 대한 값도 불러올 수 ..

파이썬에서 폴더를 확인하는 명령어는 OS 패키지에 포함되어 있는데요. 먼저 테스트라는 폴더가 있는지 확인하는 방법은 아래의 exists 존재하는지와 isdir의 2가지 방법으로 확인이 가능한데요 전체 명령어는 파이썬 자습서에서 확인이 가능합니다. os.path — 일반적인 경로명 조작 — Python 3.10.6 문서 os.path — 일반적인 경로명 조작 Source code: Lib/posixpath.py (for POSIX) and Lib/ntpath.py (for Windows). This module implements some useful functions on pathnames. To read or write files see open(), and for accessing the filesy..

파이썬을 사용하다보면 판다스에서 특정조건을 찾아서 변경해야할 때가 있는데요. 예를 들어 아래와 같이 데이터를 만들어봅니다. import pandas as pd data = {'name':['choi','kim','lee','park'], 'grades':[90,80,70,60], 'result':['N/A','N/A','N/A','N/A']} df = pd.DataFrame(data,columns=['name','grades','result']) 실행을 하면 아래처럼 데이터가 잘 입력된 것을 알 수 있습니다. 이 때 90점이상이면 A를 result에 넣어보도록 하겠습니다. df.loc[조건, 변경할열] = 값의 순서로 넣어주시면 되는데요. 저는 grades열이 90이면 result열을 A가 되도록 짜보았..

저번 시간에 이어서 이번에는 셀레니움의 사용법중 중요한 headless에 대해서 알아보겠습니다. 2022.08.27 - [Programming/Python] - 파이썬 웹사이트 크롤링 하기 - 4. Selenium 사용하기 파이썬 웹사이트 크롤링 하기 - 4. Selenium 사용하기 이번 시간에는 이어서 셀레니움을 통해 크롤링 하는 방법을 알아보겠습니다. 셀레니움 준비하기 먼저 셀레니움을 쓰기 위해서는 크롬 드라이버를 다운받아야 합니다. 이 때 크롬 버전 확인이 remake.tistory.com Headless란? Headless 브라우저는 별도의 GUI 창이 뜨지 않고 사이트에 접속해서 페이지를 받는등의 작업을 실행할 수 있습니다. 즉 request로 접속하는것과 달리 selenium은 실제 크롬창이..

판다스 작업 중에 아래처럼 에러가 나는 경우가 있는데요. Warning (from warnings module): File "C:\python\lib\site-packages\pandas\util\_decorators.py", line 311 return func(*args, **kwargs) SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy 문제 발..

이번 시간에는 이어서 셀레니움을 통해 크롤링 하는 방법을 알아보겠습니다. 셀레니움 준비하기 먼저 셀레니움을 쓰기 위해서는 크롬 드라이버를 다운받아야 합니다. https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 106, please download ChromeDriver 106.0.5249.21 If you are using Chrome version 105, please download ChromeDriver 105.0.5195.52 If you are using Chrome version 104, plea..

파이썬을 활용해서 웹사이트 크롤링을 이어서 해보겠습니다. 이제 request로 파일을 찾아오면 Beautifulsoup을 활용해서 크롤링한 파일을 정리하는데요. BeautifulSoup이란? BeautifulSoup는 HTML과 XML 파일로부터 데이터를 뽑아내기 위한 파이썬 라이브러리이다. 여러분이 선호하는 해석기와 함께 사용하여 일반적인 방식으로 해석 트리를 항해, 검색, 변경할 수 있다. 한글 도큐먼트는 링크에서 확인이 가능합니다. 뷰티플수프 문서 — 뷰티플수프 4.0.0 문서 find_all() 메쏘드는 태그의 후손들을 찾아서 지정한 여과기에 부합하면 모두 추출한다. 몇 가지 여과기에서 예제들을 제시했지만, 여기에 몇 가지 더 보여주겠다: 어떤 것은 익숙하지만, 다른 것 www.crummy.com..

1번편에 이어서 오늘날씨 크롤링을 한번 따라해보겠습니다. 2022.08.22 - [Programming/Python] - 파이썬 웹사이트 크롤링하기- 1. request 나도코딩 홈페이지에 있는 샘플이 네이버 페이지가 개편되면서 일부 맞지 않는 항목이 있어서 수정해보았습니다. 서울 날씨로 검색했을때 아래와 같이 검색 결과가 나옵니다. 프로그램을 실행시키면 처음부터 에러가 나는데요. 이유가 현재 날씨 표시방식이 달라졌습니다. 현재 온도가 태그를 보면 현재온도는 span의 class: blind 태그에서 찾을 수 있구요. 그리고 어제랑 비교는 이렇게 span에 temperature.up과 temperature.down이라는 두개의 함수에 나눠서 있습니다. 즉 이 경우에 둘 케이스에 대해서 예외처리를 해줘야 ..