웹 크롤링 기초 - 네이버 기사 제목 가져오기

웹 크롤링을 이용해 간단하게 네이버 기사 제목을 뽑아보자. 웹 데이터 추출을 위해 select_one/select/find/find_all 메소드를 이용한다. 기초지만 크로링에서 가장 중요한 기능을 담당한다고해도 과언이 아니다. 

[네이버 제목 추출 파이썬 코드]

import requests
from bs4 import BeautifulSoup

keyword = input("KEYWORD : ")
url  = f"https://search.naver.com/search.naver?ssc=tab.blog.all&sm=tab_jum&query={keyword}"

res = requests.get(url)

if res.status_code == 200:
    html = res.text    
    soup = BeautifulSoup(html, 'html.parser')
    
    # select_one()
    print("-------------- select_one() -------------- ")
    print(soup.select_one(".title_link").text)
    
    # select()
    print("-------------- select() -------------- ")
    titles = soup.select(".title_link")
    for title in titles[:5]:
        print(title.text)
        
    # find()
    print("-------------- find() -------------- ")
    print(soup.find(class_="title_link").text)
    
    # find_all()
    print("-------------- find_all() -------------- ")
    titles = soup.find_all(class_="title_link")
    for title in titles[:5]:
        print(title.text)

[출력 결과]