반응형
최근 사이트 중에서는 단순히 requests만으로 크롤링이 안되는 사이트가 있는데요. CloudScrapercloudscraper는 Cloudflare와 같은 보안 서비스로 보호된 웹사이트를 우회하여 요청을 처리할 수 있는 Python 라이브러리라고 합니다. 사이트에서 단순한 request로 크롤링이 안될때 사용할 수 ㅣㅇㅆ습니다. Cloudflare 보호를 우회하는 데 효과적입니다. 이 코드를 실행하면 OpenAI와 같은 사이트에서 필요한 데이터를 크롤링할 수 있습니다 CloudScraper 사용방법먼저 cloudscraper를 설치해줍니다.pip install cloudscraper 기본적인 소스코드 형태는 아래와 같은데요. import cloudscraperfrom bs4 import Beautif..
최근에 들은 AI 강의가 있었는데요. 바로 ChatGPT를 활용한 데이터 분석하기 강의였습니다. 데이터 분석데이터 분석은 크게 아래의 6단계로 이뤄지게 되는데요.문제정의데이터 수집 및 지표 계획데이터 탐색 및 전처리데이터 분석 및 시각화인사이트 도출데이터 기반 의사결정예전에는 정말 이 데이터 분석을 위해서 전문가가 하나하나 확인하고 단계별로 처리해야 했습니다. 하지만 ChatGPT가 등장하면서 그러한 단계를 ChatGPT에게 일임할 수 있게 되었는데요.실제로 아래처럼 ChatGPT에게 한줄만 쳐도 전체적으로 답을 알려줍니다. 내가 멀 할지만 명확하게 인지하고 ChatGPT에게 프롬프트만 작성하면 되는데요.실제로 앞서 알아본 데이터 처리 과정을 ChatGPT가 알아서 순서대로 알려줍니다. 정말 프로그램..
카페이 있는 빅데이터 분석기사 기출 정리본입니다. [1] 다변량분산분석(Manova) 설명으로 옳은 것 정답: 독립변수 여러개 종속변수 여러개 [2] 주성분 분석(PCA) 제3주성분이 몇%까지 설명하는지 1. 8.xx ✅ 2. 3. 4. 95.66 [3] 인공신경망 마지막 은닉노드가 2개, 출력노드가 1개이고 편향이 0.2일 때 출력값을 계산하라 (은닉노드 값은 각각 0.2, 0.1이고 가중치는 각각 0.4, 0.5이다) 정답: 0.33 해설: 0.2*0.4 + 0.1*0.5 + 0.2 = 0.33 [4] 모자이크 플롯에 대한 설명으로 옳지 않은 것 1. 2. 3. 히스토그램 안에 히스토그램을 그리는 방식이다 ✅ 4. 직사각형 면적 하나가 빈도를 나타낸다 [5] 주어진 혼동행렬에서 ..
오라클 클라우드 프리티어는 오라클에서 제공하는 클라우드 서비스인데요.후발주자다 보니 파격적인 혜택으로 현재 서비스를 제공하고 있습니다. 기본적으로 서비스 등을 제공하기 위해서는 클라우드 서버가 있고, 서비스가 커지기 전까지는 간단한 무료 서버로 테스트하면서 운영해보면 좋습니다. 오라클 클라우드 프리티어오라클 클라우드으 무료계정은 혜택이 많은데요. 기본적으로 무료로 VM을 2개나 주고 거기다가 ARM 서버까지 줍니다.예를 들어 다른 서비스와 비교해보면 oracle이 평생인데다가 서버의 스펙도 최상급이다.AWS2vCPU1GB30GB12개월Azure1vCPU1GB30GB12개월GCP2vCPU1GB30GB평생Oracle2vCPU1GB200GB평생Oracle Arm4vCPU24GB200GB평생 사실 기본적인 용도..
휴일이라서 간단하게 개발할 것을 정리해볼까 했는데요. Github의 장애가 발생했습니다. 깃허브의 장애라니 ㅠㅠ Github 장애미국 시간으로 24년 8월 13일부터 github의 장애가 발생했다고 합니다. 현재 깃허브는 아래의 메시지를 보이며 서버가 다운된 상황인데요. No server is currently available to service your request. Sorry about that. Please try refreshing and contact us if the problem persists. 어떤 서비스도 들어가지 못하고 있습니다. 깃허브의 상태는 웹페이지를 통해서 확인할 수 있는데요. https://www.githubstatus.com/ GitHub Status www.github..
최근 ChatGPT를 활용해서 코딩에 사용해보고 있는데요. ChatGPT 활용 코딩먼저 ChatGPT에게 정확한 요구사항을 주고 코딩을 해달라고 요청하는 것이 중요합니다. 바로 요구조건 명세화가 필요한 것인데요. 프로그램 개발모델중 폭포수 모델을 예로 든 것인데요. 여기에서 요구사항 정의를 명확히 해야 프로그램이 정상적으로 동작합니다.그리고 나서 중요한 점은 패키지 버전입니다. ChatGPT의 경우 패키지 버전을 랜덤(?)으로 알려주는 경우가 있는데요. 이 경우에 바로 직접 에러난 문구를 chatGPT에게 바로 물어보시면 답변을 해줍니다.다만 이경우에 도돌이표(?)로 되는 경우가 있어서 이 때에는 깃허브 등 다른 사이트를 같이 사용하면 좋습니다. ChatGPT 활용해서 코딩을 해보는 느낀점은 정말 개인 ..