본문 바로가기

코드리뷰98

BeautifulSoup 이용해 웹 데이터 추출하기 - select, select_one, find, find_all BeautifulSoup의 메서드 select, select_one, find, find_all은 HTML 문서에서 데이터를 추출하는 데 사용됩니다. 웹 사이트마다 다양한 방식으로 페이지를 구성되어 있어서 각 메서드에 대한 완벽한 이해가 필요합니다. 메서드 정의와 예제를 통해 사용법을 익혀보아요.1. find()정의조건에 맞는 첫 번째 태그를 반환합니다.태그 이름, 속성, 문자열 조건 등을 사용해 검색할 수 있습니다.예제 from bs4 import BeautifulSouphtml = """ Title 1 Description 1 """soup = BeautifulSoup(html, 'html.parser')# 첫 번째 태.. 2025. 1. 12.
비트코인 헤드라인 뉴스 사이트 자동으로 만들기 암호화 화폐를 다루는 미디어 사이트에 접속해 주요 헤드라인 뉴스를 추출해 나만의 뉴스 사이트를 만들어 보자. 1. 뉴스 원천은 어디? 블록미디어 최신 뉴스를 사용한다.  (https://www.blockmedia.co.kr/)2. 기사 스크래핑은 누가?인공지능을 이용한다. Claude로 시작해 ChatGpt로 마무리했다. 무료로 사용하다 보니 사용 제한이 걸렸기 때문이다. 3. 코드 작성을 위한 사이트 분석Claude에 블로미디어 url을 입력하고 뉴스기사 스크래핑을 요청했는데 결과가 제대로 나오지 않았다. 그래서 최신 기사가 있는 웹 페이지 위치를 알려주었다.  여기 copy element 소스를 Claude에 입력하고 기사 스크래핑을 했다. 4. 스크래핑 소스코드 작성해줘.claude는 다음 기능을 .. 2025. 1. 11.
라면 레시피로 쉽게 이해하는 Docker Docker는 이미지이자 컨테이너다. 세상에서 가장 맛있는 라면을 만드는 식당이 있다. 그 라면을 먹기 위해 식당 앞은 손님들로 장사진을 친다. 하지만 물리적 공간 제한으로 고작 20명만 먹을 수 있다. 나머지는 발걸음을 돌려야 한다. 요리사는 좀 더 많은 사람들에게  라면을 판매할 수 없을까 고민한다.그는 라면 레시피와 라면 제조기를 판매하기로 마음머고 레시피를 웹 사이트에 게시한다. 라면 제조기는 이 레시피를 입력하면 식당에서 판매하는 라면과 100% 같은 맛과 풍미를  느끼게 요리해 준다. 발걸음을 돌린 손님은 이 레시피를 내려받아 라면 제조기에 입력한다. 5분 뒤에 세상에서 가장 맛있는 라면을 먹을 수 있게 된다. 이제 더이상 라면을 먹기 위해 긴 줄을 설 필요가 없다. Docker는 라면 레시피.. 2025. 1. 1.
웹 페이지 조회 건수 보여주기 - docker compose 이용 웹 사이트 접속할 때 조회 건수를 보여주는 페이지를 만들어 보자. 파이썬 flask와 redis를 이용한다. flask는 초경량 웹서버, redis는 간단한 기록을 담당한다. app.pyfrom flask import Flaskfrom redis import Redisimport osapp = Flask(__name__)redis = Redis(host='redis', port=6379)@app.route('/')def hello(): redis.incr('hits') return f'안녕하세요! 이 페이지는 {redis.get("hits").decode("utf-8")}번 조회되었습니다!\n'if __name__ == "__main__": app.run(host="0.0.0.0", de.. 2024. 12. 29.
뉴스 기사 추출하는 코드 만들어 줄래? 3탄 docker 결과 파일 가져오기 지난 포스팅에 뉴스기사 크롤링 소스를 도커에 올려서 실행해 보았다. 한 걸음 더 나아가서 도커 컨테이너가 생성한 크롤링 결과 파일을 확인하고 로컬에 옮겨보자. 크롤링 및 도커 기본 지식이 필요하면 이전 포스팅을 참고하자. 2024.12.27 - [코드리뷰/chatGPT(Python)코드] - 뉴스 기사 추출하는 코드 만들어 줄래? 1탄 (Chatgpt / Claude) 뉴스 기사 추출하는 코드 만들어 줄래? 1탄 (Chatgpt / Claude)네이버 최신 뉴스 헤드라인을 추출해 보자. 일반적으로 웹 데이터를 추출하는 것을 웹크롤링이라 한다. 주로 파이썬을 이용해 웹 페이지 분석 후 필요한 데이터를 가져오는 코드를 작성하는데,iamgus.tistory.com2024.12.27 - [분류 전체보기] - 뉴.. 2024. 12. 28.
뉴스 기사 추출하는 코드 만들어 줄래? 1탄 (Chatgpt / Claude) 네이버 최신 뉴스 헤드라인을 추출해 보자. 일반적으로 웹 데이터를 추출하는 것을 웹크롤링이라 한다. 주로 파이썬을 이용해 웹 페이지 분석 후 필요한 데이터를 가져오는 코드를 작성하는데, 웹 페이지 소스코드 분석과 파이썬 크롤링 코드 작성이란 쉽지 않은 관문이 있다. 물론 웹 개발 경험이 있다면 쉽게 코드를 구현할 수 있겠지만 그렇지 않을 경우는 자동화 코드를 만들기 쉽지 않다. 이런 어렵고 복잡한 부분은 인공지능에게 작업하게 하고 우리는 그 결과에 피드백을 제공하면 원하는 결과물을 얻을 수 있지 않을까 생각한다. 인공지능과의 채팅은 누구든 할 수 있으니 말이다. 1. 어떤 데이터를 추출할 것인가?네이버 뉴스 기사 웹 페이지에 접속해  URL 을 카피하자  > https://news.naver.com/se.. 2024. 12. 27.
Docker 이해하는 세상에서 제일 쉬운 예제 만들기 - 기본 명령어 1 Docker 이해하기 위한 세상에서 제일 간단한 프로그램을 만들어 보자. "Hello, Docker World!"     출력하기Docker를 한 줄로 정의하면, 개발, 실행 환경과 관계없이 언제 어디서든 프로그램을 실행할 수 있고 같은 결과를 가져오는 일종의 가상환경이다. 개발환경과 실행가능한 바이너리/라이브러리까지 모두 하나의 이미지로 만들고 필요할 때 도커에 컨테이너로 구성해 사용한다. 일반적인 가상화 컴퓨팅보다 훨씬 효율적으로 자원을 사용하며 사용법이 간단한다.  실제 만들어 보자.1. Docker 설치하기https://www.docker.com/   접속해 자신의 OS에 맞는 설치파일을 다운로드하여 설치한다.2. docker에서 실행할 간단한 프로그램을 만들자.print("Hello, Docke.. 2024. 12. 22.
오늘의 뉴스 헤드라인 추출하기 - 도커와 파이썬 크롤러 네이버 뉴스에 접속해 오늘의 헤드라인을 추출해 도커에서 관리해 보자. 파이썬 크롤러를 소스코드를 작성하고 도커로 이미지화하고 필요할 때 컨테이너로 가져와 사용하는 컨셉이다. 물론, 간단한 파이썬 크롤링을 도커로 둘러살 필요는 없지만 어디까지나 도커실습이다. 응용 프로그램을 만들기 위한 실습이라고 보면 될 것이다. 1. 파이썬 코드 (뉴스 크롤링)import requestsfrom bs4 import BeautifulSoupdef fetch_headlines(): url = "https://news.naver.com/section/104" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/.. 2024. 12. 14.
쿠바네티스 hello world 페이지 만들기 지난 시간에 쿠바네티스 환경 구축 및 간단한 서비스를 만들어 보았다. 이번에는 한 걸음 더 들어가서 웹 사이트에 접속해 hello world가 출력되는 페이지를 만들어 보자. 함께 따라 해보면 쿠바네티스 돌아가는 원리가 보일 것이다. 쿠바네티스트 환경 구축은 이전 포스트 참고하시라. 2024.12.01 - [코드리뷰] - 내 PC에 도커와 쿠바네티스 구축하기 내 PC에 도커와 쿠바네티스 구축하기가상화 개발이 기본인 세상이다. 도커와 쿠바네티스를 모른다면 클라우드 개발이 불가능하다는 인식을 가져야 한다. 쉬운 이해를 위해 내 pc에 도커와 쿠바네티스를 설치하고 nginx 웹서버를 구iamgus.tistory.com로컬에 쿠바네티스를 올리고 hello world 페이지를 위한 서비스를 등록하자. 1. Dep.. 2024. 12. 8.
내 PC에 도커와 쿠바네티스 구축하기 가상화 개발이 기본인 세상이다. 도커와 쿠바네티스를 모른다면 클라우드 개발이 불가능하다는 인식을 가져야 한다. 쉬운 이해를 위해 내 pc에 도커와 쿠바네티스를 설치하고 nginx 웹서버를 구축해보았다. [Kubernetes nginx 웹서버 구성하기] 2024. 12. 1.

티스토리툴바