728x90
반응형

스크래핑 3

[ Selenium ] CSS Selector(CSS 셀렉터)를 사용하여 웹 페이지 요소 찾기

웹페이지를 크롤링 또는 스크래핑할 때 요소를 찾는 방법 중 하나인CSS Selector(CSS 셀렉터)를 사용하는 방법입니다. Selenium 라이브러리를 사용하여CSS 셀렉터를 사용하는 방법의 예를 들어보겠습니다. 대부분의 예시는 네이버 포털을 중심으로 하겠습니다.크롬 개발자 도구를 사용하는 방법은 여기를 참고하세요※ [ 개발자 도구 ] 개발자 도구 여는 방법, 개발자 도구 막힌 웹페이지에서 개발자 도구 실행※ [ 개발자도구 ] 개발자 도구의 검사 도구 기본 사용법  태그로 찾기  먼저 태그로 찾는 방법입니다.네이버 검색창을 열면 보통 제일 먼저 검색어를 입력하실 텐데검색어 부분을 찾아보면 아래와 같이 되어 있습니다. input 태그로 감싸져 있고,input 태그가 모두 몇 개인지 찾아보겠습니다. Ct..

파이썬(Python) 2024.11.05

[ 응용 ] 파워쿼리(PowerQuery)를 사용하여 여러 URL 웹 데이터 크롤링 : 네이버 주식

지난 블로그에서 파워쿼리(PowerQurey)를 사용하여단일 웹 페이지의 데이터를 가져오는 방법을 살펴보았습니다.※ 파워쿼리(PowerQuery)로 웹 데이터 크롤링하기 : 네이버 주식 이번에는 파워쿼리(PowerQuery)를 사용하여 여러 웹 페이지의 데이터를 모두 가지고 오는 방법을 알아보겠습니다.지난 블로그를 참고하시면 더 쉽게 보실 수 있습니다.   준비하기  먼저 페이지의 URL을 확인합니다.네이머 증권의 국내 증시 중 시가총액 메뉴의 URL 구성은페이지별로 다음과 같이 구성되어 있습니다.https://finance.naver.com/sise/sise_market_sum.naver?&page=1https://finance.naver.com/sise/sise_market_sum.naver?&pag..

EXCEL 다루기 2024.10.06

[ Random ] 파이썬 웹스크래핑 무작위 시간만큼 기다리기

어떤 행위를 한 후 다음 행위까지 시간을 무작위로 지정하는 방법입니다.매번 정확히 동일한 시간마다 특정 행위를 반복하는 것은사람이 할 수 없는 행위입니다. 이번 블로그에서는 어떤 행위 이후 다음 행위를 할 때까지1초에서 2초사이의 시간만큼 딜레이를 주는 방법을 알아보겠습니다.  random.uniform() 함수  파이썬의 random 모듈에 포함된 uniform() 함수는특정 범위 내의 실수를 균일한 확률로 반환하는 함수입니다. 즉, 주어진 두 숫자 사이의 모든 실수가 동일한 확률로 선택될 수 있습니다. 기본 형식은 다음과 같습니다.random.uniform(a, b)● a : 범위의 시작값(포함)● b : 범위의 끝값(포함)●반환값 : a이상 b이하의 실수  코드 예시  import randomfor..

파이썬(Python) 2024.10.02
728x90
반응형