빅데이터 분석기사 실기 3유형

마지막 빅데이터 분석기사 3유형입니다. 엄청 많이 바뀌었는데요. 이건 기존에 안풀어봐서 너무 어렵네요.공식 자체를 잘 몰라서 좀 공식을 외워서 가야할것 같네요.import pandas as pdimport numpy as npfrom scipy import statsdf = pd.read_csv("data/bcc.csv")# 사용자 코딩# 해당 화면에서는 제출하지 않으며, 문제 풀이 후 답안제출에서 결괏값 제출df.info()#print(df.head())#로그 변환df['log_resistin'] = np.log(df['Resistin'])group1 = df[df['Classification']==1]['log_resistin']group2 = df[df['Classification']==2]['l..

• format_list_bulleted Programming/Python
• · 2025. 6. 11.
• textsms

빅데이터 분석기사 예제문제 2유형

이번에 6월 예제문제가 변경되었는데요. 2유형도 풀어봤습니다. 빅데이터 분석기사 2유형데이터는 아래 형태인데요. 환불금액에 빵꾸가 있네요. 전처리가 필요합니다. # Column Non-Null Count Dtype --- ------ -------------- ----- 0 회원ID 3500 non-null int64 1 총구매액 3500 non-null int64 2 최대구매액 3500 non-null int64 3 환불금액 1200 non-null float64 4 주구매상품 3500 non-null object 5 주구매지점 3500 non-null object 6 ..

• format_list_bulleted Programming/Python
• · 2025. 6. 11.
• textsms

빅데이터 분석기사 6월 실기 1유형

빅데이터분석기사 실기의 체험 문제가 변경되었습니다. (체험) 제1유형 (풀이용) - 빅데이터분석기사 실기 체험 구름EDU - 모두를 위한 맞춤형 IT교육구름EDU는 모두를 위한 맞춤형 IT교육 플랫폼입니다. 개인/학교/기업 및 기관 별 최적화된 IT교육 솔루션을 경험해보세요. 기초부터 실무 프로그래밍 교육, 전국 초중고/대학교 온라인 강의, 기업/edu.goorm.io 체험문제 1번 이번 문제는 직원들의 연봉에 대한 정보인데요. 데이터는 근속연수와 고객만족도에 결측치가 있어서 이를 정리하는 코드입니다.--- ------ -------------- ----- 0 직원ID 1000 non-null object 1 부서 1000 non-null object 2 ..

• format_list_bulleted Programming/Python
• · 2025. 6. 11.
• textsms

파이썬 pyinstaller 용량 줄이기

파이썬으로 exe 파일을 만들면 용량이 생각보다 큰데요. 그래서 오늘은 pyinstaller의 용량을 줄이는 방법을 알아보겠습니다. pyinstaller 용량 줄이기기본적으로 컴퓨터에 설치되어있는 패키지 용량이 합산되기 때문에 용량이 크게 나옵니다. 아무것도 안했는데 100메가가 넘는 용량이 나왔는데요. 용량 줄이기를 통해서 1/3 정도로 줄여봤습니다.먼저 가상환경에서 실행해서 패키지를 최소화 합니다. python -m venv test 가상환경을 만들고 가상환경에서 필요한 패키지만 설치합니다. python sam_audit.py를 통해서 실행하면서 필요한 패키지만 하나씩 설치 해줍니다. 그리고 upx를 이용해서 축소하면 되는데요. 압춘 풀 폴더 위치를 설정해 줍니다. pyinstaller -F --up..

• format_list_bulleted Programming/Python
• · 2025. 3. 5.
• textsms

CloudScraper로 크롤링 우회하기

최근 사이트 중에서는 단순히 requests만으로 크롤링이 안되는 사이트가 있는데요. CloudScrapercloudscraper는 Cloudflare와 같은 보안 서비스로 보호된 웹사이트를 우회하여 요청을 처리할 수 있는 Python 라이브러리라고 합니다. 사이트에서 단순한 request로 크롤링이 안될때 사용할 수 ㅣㅇㅆ습니다. Cloudflare 보호를 우회하는 데 효과적입니다. 이 코드를 실행하면 OpenAI와 같은 사이트에서 필요한 데이터를 크롤링할 수 있습니다 CloudScraper 사용방법먼저 cloudscraper를 설치해줍니다.pip install cloudscraper 기본적인 소스코드 형태는 아래와 같은데요. import cloudscraperfrom bs4 import Beautif..

• format_list_bulleted Programming/Python
• · 2024. 11. 21.
• textsms

ChatGPT 활용 코딩하기 팁

최근 ChatGPT를 활용해서 코딩에 사용해보고 있는데요. ChatGPT 활용 코딩먼저 ChatGPT에게 정확한 요구사항을 주고 코딩을 해달라고 요청하는 것이 중요합니다. 바로 요구조건 명세화가 필요한 것인데요. 프로그램 개발모델중 폭포수 모델을 예로 든 것인데요. 여기에서 요구사항 정의를 명확히 해야 프로그램이 정상적으로 동작합니다.그리고 나서 중요한 점은 패키지 버전입니다. ChatGPT의 경우 패키지 버전을 랜덤(?)으로 알려주는 경우가 있는데요. 이 경우에 바로 직접 에러난 문구를 chatGPT에게 바로 물어보시면 답변을 해줍니다.다만 이경우에 도돌이표(?)로 되는 경우가 있어서 이 때에는 깃허브 등 다른 사이트를 같이 사용하면 좋습니다. ChatGPT 활용해서 코딩을 해보는 느낀점은 정말 개인 ..

• format_list_bulleted Programming/Python
• · 2024. 6. 25.
• textsms