웹 크롤링 간단예제 | Beautiful Soup 사용법

웹에서 데이터를 크롤링할때, Python 라이브러리인 Beautiful Soup을 통해 원하는 데이터를 가져올 수 있다. 1. 설치환경Python 3.6 2. BeautifulSoup 라이브러리 설치pip install beautifulsoup4 3. 뉴스기사 크롤링IT조선 뉴스 메인페이지를 보면, 기사들이 모두 링크로 걸려있다. 기사의 URL을 수집하기 위해 a태그에서 href를 가져오면 된다.  4. 파이썬 코드 from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen("http://it.chosun.com/")bsObject = BeautifulSoup(html, "html.parser")for link in bsOb..

2021.04.18