크롤링6 희찬이를 위한 네이버 뉴스 웹크롤링, 파이썬 코드 16줄로 완성하기 네이버 뉴스 스포츠 기사를 크롤링해 보았어요. 파이썬 코드 16줄이면 뉴스 기사 제목/내용/링크/이미지 등 원하는 정보를 손쉽게 수집할 수 있습니다. 블로그 포스팅 자동화로 방문자 10배 늘린 실전노하우 - 크몽 디마드 전문가의 전자책 서비스를 만나보세요. * 업데이트- 초보자를 위한 친절한 강의 영상을 제작했습니다. -지금까지 96권이 판매되었... kmong.com 강좌 영상으로 유튜브에 올렸습니다. 크롤링 코드 작성하는 건 5분이면 충분한데, 영상 편집/업로드 하는데 반나절이 걸렸네요. ^^ 파이썬 beautifulsoup, requests 기초 사용법을 배울 수 있습니다. 개발자 도구 (F12) 사용 법 및 웹사이트 분석하는 방법도 알려 드려요. 많은 시청 바랍니다. https://smartsto.. 2023. 12. 31. 프리미어리그 황희찬, 손흥민 골 넣었어? 최신 네이버 스포츠 뉴스 크롤링 네이버 스포츠 뉴스 기사를 크롤링해보자. 프리미어리그 황희찬, 손흥민 등 쟁쟁한 스포츠 스타들이 등장하는 뉴스가 넘쳐난다. 뉴스 헤드라인과 간단한 설명 그리고 사진을 추출해 보자. 참고로 프리미어리그 황희찬은 어제 경기에 골과 어시스트를 올리지 못했고 손흥민은 1골을 넣었다. 네이버 스포츠 크롤링을 위해 파이썬에서 requests, beautifulsoup을 사용한다. 크롤링에서 사용하는 가장 기본적인 기능이라고 볼 수 있다. 네이버 쇼핑 사이트는 이 기술로는 한계가 있다. 동적으로 상품이 나열된다. 이때는 selenium이 필요하다. 블로그 포스팅 자동화로 방문자 10배 늘린 실전노하우 - 크몽 디마드 전문가의 전자책 서비스를 만나보세요. * 업데이트- 초보자를 위한 친절한 강의 영상을 제작했습니다. .. 2023. 12. 25. 이거 모르면 쿠팡 파트너스 하지 마세요.. 가끔씩 들러서 포스팅에 댓글을 다는 블로거가 있습니다. (매우 고맙게 생각하공...^^) 좋은 글 잘 봤습니다. 힘찬 하루되세요... 너무 좋은 글이네요. 제 블로그도 방문해 주세요.. 멋진 글입니다. 많은 도움을 얻고 갑니다.. 결국 자기 볼르고 홍보를 위한 수단인데, 꾸준하게 하는 점이 놀라워서 그분의 블로그를 방문해 봤습니다.블로그에 쇼핑몰을 구현했더군요. 쿠팡파트너스 관련 상품이 포스팅되어 있었는데, 아마 자동화 프로그램을 구입한 거 같았어요. 사실 크롤링을 이용하면 이런 간단한 구성은 어렵지 않은데요. 그 보다 중요한 건 과연 방문자가 얼마나 있을지, 설령 온다고 해도 클릭까지 이어질 수 있을지가 관건이죠. 이런 생각을 하다가 무심코 스크롤을 내리다 깜짝 놀랐습니다. 좋아요가 557개였어요. '.. 2023. 5. 13. 파이썬 크롤링 이것도 가능해? - Selenium 파이썬은 웹 데이터 수집에 최적화 언어인 것 같습니다. 초보 개발자도 단 몇 줄의 짧은 코드로 웹 상의 데이터를 수집할 수 있으니까요. 모든 유용한 정보는 인터넷으로 모여듭니다. 유용한 데이터를 수집할 수 있는 능력을 키우면 돈을 벌 수 있는 세상입니다. 파이썬 열심히 해봅시다.^^ 이번에 동적 데이터, 즉 화면에서 이벤트가 발생할 때 추출할 수 있는 정보의 수집 방법입니다. 기존 파이썬 requests를 이용해 웹 페이지 정보를 가져와 사용할 수 있었지만, 일부 데이터는 수집이 불가한 경우가 있습니다. 자바스크립트로 동적인 변화가 일어나는 코드들이죠. 예를 들면 상품의 구매 후기/한줄평 같은 거죠. 상당히 유용한 정보들이 담겨 있는 경우가 많아서, 이건 꼭 배워야 합니다. 사람들이 온라인에서 물건 구매.. 2023. 1. 15. 블로그 자동 포스팅을 위한 Github Actions 이용하기 크롤링을 통해 구축한 유용한 자료를 자동 포스팅해보자. 최소한의 시간과 노력으로 최대의 효과를 낼 수 있다. 물론 초기 구축은 일정 시간이 소요된다. Github에서 소스 관리를 하는 방법부터 배워야 하고 Github Actions을 이용해 일종의 작업 배치를 돌리는 법을 배워야 한다. 서버 프로그래머라면 배치 프로그램 스케줄링이 익술할 것이다. 유닉스/리눅스면 cron이고 윈도즈면 작업 스케줄러에 등록한다. 하지만 매번 로컬 PC를 켜 놓을 수도 없는 일이다. 물론 유료 클라우드 서비스를 이용할 수도 있다. 찾아보니 Github에서 스케줄링을 무료로 제공한다. 사용 제한은 있지만 소규모는 무료로 사용하는 데 지장이 없는 것 같다. 파이썬 크롤링으로 YES24 베스트 셀러 Top 10 가져오기 크롤링을 .. 2022. 10. 23. 파이썬 크롤링으로 YES24 베스트 셀러 Top 10 가져오기 2022.12.04 - [코드리뷰] - 크몽 전자책 출시 심사 통과하기 2022.12.08 - [전자책 만들기] - 크몽 전자책 출시 2일 만에 첫 판매 수익 올리다 크롤링을 이용해 YES24 종합 베스트 Top10을 가져와 보았다. 간단할 줄 알았는데 2시간은 꼼짝없이 코딩을 했네요. 오랜만에 코딩하고 즐거움을 느꼈음...회사에서도 이러면 얼마나 좋을까나....T.T 크몽에 전자책도 출시했어요. "블로그 포스팅 자동화로 방문자 10배 늘린 실전노하우" https://kmong.com/gig/424811 블로그 포스팅 자동화로 방문자 10배 늘린 실전노하우 | 29000원부터 시작 가능한 총 평점 5점의 전 2개 총 작업 개수 완료한 총 평점 5점인 디마드의 전자책, 직무스킬 전자책 서비스를 2개의 리뷰.. 2022. 10. 21. 이전 1 다음
