[ 크롤링-Selenium, BeautifulSoup ] 파이썬 Selenium과 BeautifulSoup 함께 사용하기

◆ Selenium과 BeautifulSoup 함께 사용하기

Selenium과 BeautifulSoup를 함께 사용하는 방법입니다.

먼저 기존과 동일하게 Selenium으로 웹브라우저를 호출합니다.

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup

service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)
url = "https://www.daum.net/"
driver.get(url)

 

접속한 웹 페이지의 소스코드를 보기 위해서는

page_source 메서드를 사용합니다.

html = driver.page_source

다음은 BeautifulSoup의 사용법과 동일합니다.

soup = BeautifulSoup(html, 'html.parser')

 

반응형

전체 소스코드입니다.

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup

service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)
url = "https://www.daum.net/"
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

 

이렇게 설정해 놓으면 BeautifulSoup와 Selenium을 같이 사용할 수 있습니다.

 

여기를 방문하시면 더 많은 파이썬 관련 자료를 확인할 수 있습니다.

파이썬 공부하기