빅데이터 분석기사 오답노트

빅데이터 분석기사 오답노트 정리 우선순위 - 전략적 중요도, 비즈니스 성과, 실행 용의성빅데이터 수집기술 - 크롤링, 로그 수집기, Open API, ETL비정형 데이터 품질 기준 - 기능성, 신뢰성, 사용성, 효율성, 이식성정형 데이터 품질 기준 - 완전성, 유일성, 유효성, 일관성, 정확성분석목표정의서 - 원천데이터 조사, 분석 방안 및 적용 가능성 판단, 성과평가기준일치성은 표본 크기가 증가할 수록 좋은 추정값을 제시 사분위 편차평균 96.8 S= 6.72   위상적 공간 데이터 - 공간 객체 간의 관계를 표현하며, 방위, 공간 객체 간의 중첩피어슨 상관계수 선형 상관계수이론적으로 무한번 시행하면 시행하면 수학적 확률로 수렴기각역  임계치 : 유의수준 a에서 귀무가설의 채택과 기각에 관련다중회귀분석..

• format_list_bulleted Programming
• · 2025. 3. 18.
• textsms

파이썬 pyinstaller 용량 줄이기

파이썬으로 exe 파일을 만들면 용량이 생각보다 큰데요. 그래서 오늘은 pyinstaller의 용량을 줄이는 방법을 알아보겠습니다. pyinstaller 용량 줄이기기본적으로 컴퓨터에 설치되어있는 패키지 용량이 합산되기 때문에 용량이 크게 나옵니다. 아무것도 안했는데 100메가가 넘는 용량이 나왔는데요. 용량 줄이기를 통해서 1/3 정도로 줄여봤습니다.먼저 가상환경에서 실행해서 패키지를 최소화 합니다. python -m venv test 가상환경을 만들고 가상환경에서 필요한 패키지만 설치합니다. python sam_audit.py를 통해서 실행하면서 필요한 패키지만 하나씩 설치 해줍니다. 그리고 upx를 이용해서 축소하면 되는데요. 압춘 풀 폴더 위치를 설정해 줍니다. pyinstaller -F --up..

• format_list_bulleted Python
• · 2025. 3. 5.
• textsms

CloudScraper로 크롤링 우회하기

최근 사이트 중에서는 단순히 requests만으로 크롤링이 안되는 사이트가 있는데요. CloudScrapercloudscraper는 Cloudflare와 같은 보안 서비스로 보호된 웹사이트를 우회하여 요청을 처리할 수 있는 Python 라이브러리라고 합니다. 사이트에서 단순한 request로 크롤링이 안될때 사용할 수 ㅣㅇㅆ습니다. Cloudflare 보호를 우회하는 데 효과적입니다. 이 코드를 실행하면 OpenAI와 같은 사이트에서 필요한 데이터를 크롤링할 수 있습니다 CloudScraper 사용방법먼저 cloudscraper를 설치해줍니다.pip install cloudscraper 기본적인 소스코드 형태는 아래와 같은데요. import cloudscraperfrom bs4 import Beautif..

• format_list_bulleted Python
• · 2024. 11. 21.
• textsms

ChatGPT 활용 데이터분석하기

최근에 들은 AI 강의가 있었는데요.  바로 ChatGPT를 활용한 데이터 분석하기 강의였습니다. 데이터 분석데이터 분석은 크게 아래의 6단계로 이뤄지게 되는데요.문제정의데이터 수집 및 지표 계획데이터 탐색 및 전처리데이터 분석 및 시각화인사이트 도출데이터 기반 의사결정예전에는 정말 이 데이터 분석을 위해서 전문가가 하나하나 확인하고 단계별로 처리해야 했습니다. 하지만 ChatGPT가 등장하면서 그러한 단계를 ChatGPT에게 일임할 수 있게 되었는데요.실제로 아래처럼 ChatGPT에게 한줄만 쳐도 전체적으로 답을 알려줍니다. 내가 멀 할지만 명확하게 인지하고 ChatGPT에게 프롬프트만 작성하면 되는데요.실제로  앞서 알아본 데이터 처리 과정을 ChatGPT가 알아서 순서대로 알려줍니다. 정말 프로그램..

• format_list_bulleted Programming
• · 2024. 9. 10.
• textsms

빅데이터 분석기사 기출 정리본

카페이 있는 빅데이터 분석기사 기출 정리본입니다. [1] 다변량분산분석(Manova) 설명으로 옳은 것 정답: 독립변수 여러개 종속변수 여러개 ​ [2] 주성분 분석(PCA) 제3주성분이 몇%까지 설명하는지 1. 8.xx ✅ 2.  3.  4. 95.66 ​ [3] 인공신경망 마지막 은닉노드가 2개, 출력노드가 1개이고 편향이 0.2일 때 출력값을 계산하라 (은닉노드 값은 각각 0.2, 0.1이고 가중치는 각각 0.4, 0.5이다) 정답: 0.33 해설: 0.2*0.4 + 0.1*0.5 + 0.2 = 0.33 ​ [4] 모자이크 플롯에 대한 설명으로 옳지 않은 것 1.  2.  3. 히스토그램 안에 히스토그램을 그리는 방식이다 ✅ 4. 직사각형 면적 하나가 빈도를 나타낸다 ​ [5] 주어진 혼동행렬에서 ..

• format_list_bulleted Programming
• · 2024. 9. 4.
• textsms

오라클 클라우드 프리티어 무료 서버 사용하기

오라클 클라우드 프리티어는 오라클에서 제공하는 클라우드 서비스인데요.후발주자다 보니 파격적인 혜택으로 현재 서비스를 제공하고 있습니다. 기본적으로 서비스 등을 제공하기 위해서는 클라우드 서버가 있고, 서비스가 커지기 전까지는 간단한 무료 서버로 테스트하면서 운영해보면 좋습니다. 오라클 클라우드 프리티어오라클 클라우드으 무료계정은 혜택이 많은데요. 기본적으로 무료로 VM을 2개나 주고 거기다가 ARM 서버까지 줍니다.예를 들어 다른 서비스와 비교해보면 oracle이 평생인데다가 서버의 스펙도 최상급이다.AWS2vCPU1GB30GB12개월Azure1vCPU1GB30GB12개월GCP2vCPU1GB30GB평생Oracle2vCPU1GB200GB평생Oracle Arm4vCPU24GB200GB평생 사실 기본적인 용도..

• format_list_bulleted Programming
• · 2024. 8. 28.
• textsms