파이썬 크롤링 Response에러 해결하기(Feat. User-Agent)

저번에 파이선 사이트 크롤링에 대해서 알아보았는데요. 먼저 사이트 상태가 정상적인지 Response를 통해서 확인하였습니다. response 에러 하지만 일부 멀쩡하게 표시된 사이트도 에러 메시지를 뿜는경우가 있는데요. 아래 사이트의 경우 저번에 알려준 크롤링 방법으로 크롤링하면 정상 페이지지만 404 에러코드를 보냅니다. 2022.08.22 - [Programming/Python] - 파이썬 웹사이트 크롤링하기- 1. request 파이썬 웹사이트 크롤링하기- 1. request 파이썬의 웹사이트 크롤링의 기초 나도코딩 사이트로 파이썬 웹사이트 크롤링을 공부하고 있는데요. 나도코딩 이 사이트를 통해서 하나씩 배워가고 있습니다. 먼저 requests 패키지를 통해서 사 remake.tistory.com ..

• format_list_bulleted Programming/Python
• · 2022. 12. 21.
• textsms

파이썬 패키지 수동 설치하는 방법(pip 오프라인 설치)

파이썬을 오프라인에서 패키지 설치하는 방법을 알아보겠습니다. 가장 먼저 할일은 패키지의 상태를 확인하는 것입니다. 설치된 패키지 확인pip freeze 명령어를 통해서 패키지를 확인할 수 있습니다.pip freeze이후 원하는 패키지를 다운로드 받아야 하는데요. Pypl에서 검색하여 사용할 수 있습니다.https://pypi.org/ PyPI · The Python Package IndexThe Python Package Index (PyPI) is a repository of software for the Python programming language.pypi.org  저의 경우 xlrd가 없다고 나왔으니download files를 통해서 whl 파일을 다운로드 받습니다. 이후 python -m p..

• format_list_bulleted Programming/Python
• · 2022. 12. 5.
• textsms

ubuntu mariadb 오프라인 설치하기

mariadb를 오프라인에서 설치할 경우에 설치 방법을 간단히 정리해보았습니다. 리눅스 프로그램 설치 리눅스의 프로그램 설치는 아래의 3가지 방법으로 가능합니다. 먼저 우리가 가장 많이 사용하는 방법은 패키지 관리 명령어를 사용하는 방법입니다. 패키지 관리 명령어를 이용한 설치 Ubuntu와 같은 데비안 계열의 apt-get RHEL, CentOS와 같은 레드햇 계열의 yum 배포 파일을 이용한 설치 데비안 계열의 .deb 레드햇 계열의 .rpm 바이너리 파일을 이용한 설치 실행파일로 tar.gz 형태 제공 다만 인터넷이 연결이 되어 있지 않은 상황이라면 이렇게 설치하기가 어려운데요. 그럴때 사용할수 있는 방법을 알아보겠습니다. Mariadb 설치 준비하기 기본적으로 ubuntu의 오프라인 설치에는 de..

• format_list_bulleted Programming/SQLD
• · 2022. 11. 22.
• textsms

Ubuntu ssh 접속방법

오늘은 ubuntu에서 ssh 접속하는 방법을 알아보겠습니다. Ubuntu SSH 접속하기 ubuntu에서 ssh 접속하기 위해서는 접속하고자 하는 서버의 key파일이 필요합니다. 윈도우에서는 일반적으로 ppk파일로 접속하기 때문에 리눅스에서 사용하는 key파일로 변경이 필요합니다. KEY PPK 파일 변환하기 key파일의 경우 많이 사용하시는 puttygen을 이용해서 만들수 있는데요. 개인용 키인 ppk를 가지고 있다면 puttygen에서 File - Load private key를 통해 ppk 파일을 불러온 다음 패스워드를 입력해줘야 파일을 열 수 있습니다. 이 후에 conversions -> Export Openssh key를 통해서 key파일로 변경합니다. 이렇게 만든 key파일을 서버에 업로드..

• format_list_bulleted Programming
• · 2022. 11. 21.
• textsms

파이썬 QR코드 생성하기 - qrcode

오늘은 파이썬으로 QR코드 생성하는 방법을 알아보겠습니다. 특히 비대면 업무가 일상화되면서 QR코드로 링크를 자주 공유해야할 필요가 있는데요. 이럴때 간단하게 파이썬으로 QR code를 생성하는 방법을 알아보겠습니다. QR CODE QR 코드는 컴퓨터가 만든 흑백 격자무늬 패턴 코드로, 정보를 나타내는 매트릭스 형식의 이차원 코드입니다. 비슷한 용도로 먼저 사용된 이 차원 코드로는 바코드가 있다. 바코드는 이름 그대로 단순한 막대기 모양의 바를 이차원으로 나열한 것이다 파이썬 QR code 만들기 파이썬에서 QR Code 사용은 Qrcode 패키지로 가능합니다. 가장 먼저 할 것은 패키지를 설치하는 것입니다. pip install qrcode 그리고 자세한 사용법은 아래 링크에 있는데요. https://..

• format_list_bulleted Programming/Python
• · 2022. 11. 17.
• textsms

유튜브 실시간 방송 댓글 크롤링

유튜브의 실시간 방송 댓글 크롤링하는 방법 유튜브 실시간 영상에서 댓글을 가져오는 방법을 알아보겠습니다. 필수 패키지 설치 먼저 필요한 패키지는 pafy와 youtube_dl, 그리고 pytchat입니다. pip install pafy pip install youtube_dl pip install pytchat 3개를 모두 설치해주시면 됩니다. 이후 pafy를 통해서 라이브 방송의 정보를 긁어오겠습니다. import pytchat import pafy #유튜브 정보 import pandas as pd pafy.set_api_key('Api key') video_id = '비디오 영상' v = pafy.new('video_id') title = v.title author = v.author publishe..

• format_list_bulleted Programming/Python
• · 2022. 11. 8.
• textsms