다시 시작하는 IT 이야기

오늘은 파이썬을 통해서 이미지 인식 시스템을 구축하는 예제를 진행해보겠습니다. 가장 접근성이 좋고 강력한 라이브러리가 많은 Python을 추천합니다. 프로그램 준비물Python (3.9 이상): 메인 언어 OpenCV (cv2): 영상의 프레임을 읽고, 점수판 영역을 이미지로 처리하는 데 필수적입니다. OCR 엔진 (텍스트 인식): 점수판의 숫자를 읽어야 합니다. Tesseract-OCR: 가장 대중적이며 가볍습니다. EasyOCR: 딥러닝 기반으로 정확도가 높지만 리소스를 더 사용합니다. MoviePy: 인식된 시간대를 기준으로 영상을 자르고(Cut) 저장할 때 편리합니다. Pandas: 점수 변화 기록 및 타임라인 데이터를 관리할 때 유용합니다. 패키지 정리pip install opencv-pyth..

마지막 빅데이터 분석기사 3유형입니다. 엄청 많이 바뀌었는데요. 이건 기존에 안풀어봐서 너무 어렵네요.공식 자체를 잘 몰라서 좀 공식을 외워서 가야할것 같네요.import pandas as pdimport numpy as npfrom scipy import statsdf = pd.read_csv("data/bcc.csv")# 사용자 코딩# 해당 화면에서는 제출하지 않으며, 문제 풀이 후 답안제출에서 결괏값 제출df.info()#print(df.head())#로그 변환df['log_resistin'] = np.log(df['Resistin'])group1 = df[df['Classification']==1]['log_resistin']group2 = df[df['Classification']==2]['l..

이번에 6월 예제문제가 변경되었는데요. 2유형도 풀어봤습니다. 빅데이터 분석기사 2유형데이터는 아래 형태인데요. 환불금액에 빵꾸가 있네요. 전처리가 필요합니다. # Column Non-Null Count Dtype --- ------ -------------- ----- 0 회원ID 3500 non-null int64 1 총구매액 3500 non-null int64 2 최대구매액 3500 non-null int64 3 환불금액 1200 non-null float64 4 주구매상품 3500 non-null object 5 주구매지점 3500 non-null object 6 ..

빅데이터분석기사 실기의 체험 문제가 변경되었습니다. (체험) 제1유형 (풀이용) - 빅데이터분석기사 실기 체험 구름EDU - 모두를 위한 맞춤형 IT교육구름EDU는 모두를 위한 맞춤형 IT교육 플랫폼입니다. 개인/학교/기업 및 기관 별 최적화된 IT교육 솔루션을 경험해보세요. 기초부터 실무 프로그래밍 교육, 전국 초중고/대학교 온라인 강의, 기업/edu.goorm.io 체험문제 1번 이번 문제는 직원들의 연봉에 대한 정보인데요. 데이터는 근속연수와 고객만족도에 결측치가 있어서 이를 정리하는 코드입니다.--- ------ -------------- ----- 0 직원ID 1000 non-null object 1 부서 1000 non-null object 2 ..

파이썬으로 exe 파일을 만들면 용량이 생각보다 큰데요. 그래서 오늘은 pyinstaller의 용량을 줄이는 방법을 알아보겠습니다. pyinstaller 용량 줄이기기본적으로 컴퓨터에 설치되어있는 패키지 용량이 합산되기 때문에 용량이 크게 나옵니다. 아무것도 안했는데 100메가가 넘는 용량이 나왔는데요. 용량 줄이기를 통해서 1/3 정도로 줄여봤습니다.먼저 가상환경에서 실행해서 패키지를 최소화 합니다. python -m venv test 가상환경을 만들고 가상환경에서 필요한 패키지만 설치합니다. python sam_audit.py를 통해서 실행하면서 필요한 패키지만 하나씩 설치 해줍니다. 그리고 upx를 이용해서 축소하면 되는데요. 압춘 풀 폴더 위치를 설정해 줍니다. pyinstaller -F --up..

최근 사이트 중에서는 단순히 requests만으로 크롤링이 안되는 사이트가 있는데요. CloudScrapercloudscraper는 Cloudflare와 같은 보안 서비스로 보호된 웹사이트를 우회하여 요청을 처리할 수 있는 Python 라이브러리라고 합니다. 사이트에서 단순한 request로 크롤링이 안될때 사용할 수 ㅣㅇㅆ습니다. Cloudflare 보호를 우회하는 데 효과적입니다. 이 코드를 실행하면 OpenAI와 같은 사이트에서 필요한 데이터를 크롤링할 수 있습니다 CloudScraper 사용방법먼저 cloudscraper를 설치해줍니다.pip install cloudscraper 기본적인 소스코드 형태는 아래와 같은데요. import cloudscraperfrom bs4 import Beautif..

최근 ChatGPT를 활용해서 코딩에 사용해보고 있는데요. ChatGPT 활용 코딩먼저 ChatGPT에게 정확한 요구사항을 주고 코딩을 해달라고 요청하는 것이 중요합니다. 바로 요구조건 명세화가 필요한 것인데요. 프로그램 개발모델중 폭포수 모델을 예로 든 것인데요. 여기에서 요구사항 정의를 명확히 해야 프로그램이 정상적으로 동작합니다.그리고 나서 중요한 점은 패키지 버전입니다. ChatGPT의 경우 패키지 버전을 랜덤(?)으로 알려주는 경우가 있는데요. 이 경우에 바로 직접 에러난 문구를 chatGPT에게 바로 물어보시면 답변을 해줍니다.다만 이경우에 도돌이표(?)로 되는 경우가 있어서 이 때에는 깃허브 등 다른 사이트를 같이 사용하면 좋습니다. ChatGPT 활용해서 코딩을 해보는 느낀점은 정말 개인 ..

오늘은 랭체인을 통해서 엑셀의 유사도를 판단하는 프로그램을 작성해보겠습니다. openAI 템플릿을 사용할 예정이구요. 랭체인이란?랭체인은 LLM과 애플리케이션의 통합을 간소화하도록 설계된 SDK로서 앞서 설명한 대부분의 문제를 해결하도록 만들어진 툴입니다. 랭체인은 ODBC, 또는 표준 SQL 문에 집중하게 함으로써 백엔드 데이터베이스의 구현 세부 정보를 요약하는 JDBC 드라이버와 비슷하다고 할 수 있습니다. 랭체인은 간단하고 통합된 API를 노출하여 기본 LLM의 구현 세부 사항을 요약하는데, 이 API를 통해 개발자들은 코드를 크게 변경하지 않고 모델을 쉽게 교체하거나 대체할 수 있습니다.랭체인은 챗GPT와 거의 같은 시기에 등장했는데요. 개발자인 해리슨 체이스는 2022년 10월 말, LLM 열풍..