빅데이터 분석기사 예제문제 2유형

이번에 6월 예제문제가 변경되었는데요. 2유형도 풀어봤습니다. 빅데이터 분석기사 2유형데이터는 아래 형태인데요. 환불금액에 빵꾸가 있네요. 전처리가 필요합니다. # Column Non-Null Count Dtype --- ------ -------------- ----- 0 회원ID 3500 non-null int64 1 총구매액 3500 non-null int64 2 최대구매액 3500 non-null int64 3 환불금액 1200 non-null float64 4 주구매상품 3500 non-null object 5 주구매지점 3500 non-null object 6 ..

• format_list_bulleted Programming/Python
• · 2025. 6. 11.
• textsms

빅데이터 분석기사 6월 실기 1유형

빅데이터분석기사 실기의 체험 문제가 변경되었습니다. (체험) 제1유형 (풀이용) - 빅데이터분석기사 실기 체험 구름EDU - 모두를 위한 맞춤형 IT교육구름EDU는 모두를 위한 맞춤형 IT교육 플랫폼입니다. 개인/학교/기업 및 기관 별 최적화된 IT교육 솔루션을 경험해보세요. 기초부터 실무 프로그래밍 교육, 전국 초중고/대학교 온라인 강의, 기업/edu.goorm.io 체험문제 1번 이번 문제는 직원들의 연봉에 대한 정보인데요. 데이터는 근속연수와 고객만족도에 결측치가 있어서 이를 정리하는 코드입니다.--- ------ -------------- ----- 0 직원ID 1000 non-null object 1 부서 1000 non-null object 2 ..

• format_list_bulleted Programming/Python
• · 2025. 6. 11.
• textsms

빅데이터 분석기사 오답노트

빅데이터 분석기사 오답노트 정리 우선순위 - 전략적 중요도, 비즈니스 성과, 실행 용의성빅데이터 수집기술 - 크롤링, 로그 수집기, Open API, ETL비정형 데이터 품질 기준 - 기능성, 신뢰성, 사용성, 효율성, 이식성정형 데이터 품질 기준 - 완전성, 유일성, 유효성, 일관성, 정확성분석목표정의서 - 원천데이터 조사, 분석 방안 및 적용 가능성 판단, 성과평가기준일치성은 표본 크기가 증가할 수록 좋은 추정값을 제시 사분위 편차평균 96.8 S= 6.72   위상적 공간 데이터 - 공간 객체 간의 관계를 표현하며, 방위, 공간 객체 간의 중첩피어슨 상관계수 선형 상관계수이론적으로 무한번 시행하면 시행하면 수학적 확률로 수렴기각역  임계치 : 유의수준 a에서 귀무가설의 채택과 기각에 관련다중회귀분석..

• format_list_bulleted Programming
• · 2025. 3. 18.
• textsms

파이썬 pyinstaller 용량 줄이기

파이썬으로 exe 파일을 만들면 용량이 생각보다 큰데요. 그래서 오늘은 pyinstaller의 용량을 줄이는 방법을 알아보겠습니다. pyinstaller 용량 줄이기기본적으로 컴퓨터에 설치되어있는 패키지 용량이 합산되기 때문에 용량이 크게 나옵니다. 아무것도 안했는데 100메가가 넘는 용량이 나왔는데요. 용량 줄이기를 통해서 1/3 정도로 줄여봤습니다.먼저 가상환경에서 실행해서 패키지를 최소화 합니다. python -m venv test 가상환경을 만들고 가상환경에서 필요한 패키지만 설치합니다. python sam_audit.py를 통해서 실행하면서 필요한 패키지만 하나씩 설치 해줍니다. 그리고 upx를 이용해서 축소하면 되는데요. 압춘 풀 폴더 위치를 설정해 줍니다. pyinstaller -F --up..

• format_list_bulleted Programming/Python
• · 2025. 3. 5.
• textsms

CloudScraper로 크롤링 우회하기

최근 사이트 중에서는 단순히 requests만으로 크롤링이 안되는 사이트가 있는데요. CloudScrapercloudscraper는 Cloudflare와 같은 보안 서비스로 보호된 웹사이트를 우회하여 요청을 처리할 수 있는 Python 라이브러리라고 합니다. 사이트에서 단순한 request로 크롤링이 안될때 사용할 수 ㅣㅇㅆ습니다. Cloudflare 보호를 우회하는 데 효과적입니다. 이 코드를 실행하면 OpenAI와 같은 사이트에서 필요한 데이터를 크롤링할 수 있습니다 CloudScraper 사용방법먼저 cloudscraper를 설치해줍니다.pip install cloudscraper 기본적인 소스코드 형태는 아래와 같은데요. import cloudscraperfrom bs4 import Beautif..

• format_list_bulleted Programming/Python
• · 2024. 11. 21.
• textsms

ChatGPT 활용 데이터분석하기

최근에 들은 AI 강의가 있었는데요.  바로 ChatGPT를 활용한 데이터 분석하기 강의였습니다. 데이터 분석데이터 분석은 크게 아래의 6단계로 이뤄지게 되는데요.문제정의데이터 수집 및 지표 계획데이터 탐색 및 전처리데이터 분석 및 시각화인사이트 도출데이터 기반 의사결정예전에는 정말 이 데이터 분석을 위해서 전문가가 하나하나 확인하고 단계별로 처리해야 했습니다. 하지만 ChatGPT가 등장하면서 그러한 단계를 ChatGPT에게 일임할 수 있게 되었는데요.실제로 아래처럼 ChatGPT에게 한줄만 쳐도 전체적으로 답을 알려줍니다. 내가 멀 할지만 명확하게 인지하고 ChatGPT에게 프롬프트만 작성하면 되는데요.실제로  앞서 알아본 데이터 처리 과정을 ChatGPT가 알아서 순서대로 알려줍니다. 정말 프로그램..

• format_list_bulleted Programming
• · 2024. 9. 10.
• textsms