python Scrapy 초간단 사용법 정리

Python으로 작성된 Scrapy 사용법에 대해 정리한다. 
(Not Scrappy! Scrapy!)
Scrapy란 웹스크래핑(Web Scrapping) 혹은 웹크롤링(Web Crawling)을 빠르고 안정적으로 대량 데이터를 쉽게 추출하기 위한 프레임워크다. 
 
1. python에 Scrapy 설치

pip install scrapy

 
2. 터미널에서 Scrapy 프로젝트 생성

scrapy startproject <프로젝트명>
예) scrapy startproject testproject

 
3. 터미널에서 Scrapy spider(웹크롤러) 생성

scrapy genspider <spider명칭> <스크랩핑할 웹주소>
예) scrapy genspider testspider www.naver.com

 ※주의)  웹주소 기입시 "http://" 혹은 "https://" 없이 입력할 것
 
4. 터미널에서 Scrapy 웹스크래핑 실행

scrapy crawl <생성한 스파이더명>
예) scrapy crawl testspider

 
Just 4 step만으로도 testspider가 웹스크래핑을 시작한다. 
물론 상세하게 들어가면 상당히 많은 것을 customizing(조정)해서 사용할 수 있다. 
자세한 사용방법은 아래 scrapy 공식사이트의 영어원문을 참고하자.
https://scrapy.org/

Scrapy | A Fast and Powerful Scraping and Web Crawling Framework