All thing of the world!

Python으로 작성된 Scrapy 사용법에 대해 정리한다. (Not Scrappy! Scrapy!) Scrapy란 웹스크래핑(Web Scrapping) 혹은 웹크롤링(Web Crawling)을 빠르고 안정적으로 대량 데이터를 쉽게 추출하기 위한 프레임워크다. 1. python에 Scrapy 설치pip install scrapy 2. 터미널에서 Scrapy 프로젝트 생성scrapy startproject 예) scrapy startproject testproject 3. 터미널에서 Scrapy spider(웹크롤러) 생성scrapy genspider 예) scrapy genspider testspider www.naver.com ※주의) 웹주소 기입시 "http://" 혹은 "https://" 없이 입력..

Oracle Adaptive Plans는 데이터베이스 쿼리 성능을 자동으로 최적화하기 위한 새로운 기술로, 쿼리 실행 시간 동안 데이터베이스 엔진이 실행 계획을 자동으로 변경하여 최적의 성능을 내도록 12c부터 지원하는 새로운 기능이다. 12c부터 설치시 optimizer_adaptive_plans 파라미터의 defualt은 TRUE로 설정되어 있어, 설정되어 있는지 모르는 경우가 꽤 있다. 시스템 도입시 오라클 dbms를 설치된 그대로 두고, DBA도 사용하는 개발자도 별 신경을 쓰지 않아서 발생하는 해프닝이라 해야 할까? Oracle에서 Adaptive Plan을 디폴트로 사용하게 하는 이유는 통계정보를 제때 현행화하지 않는 대부분의 시스템에서 Adaptive Plan의 효익이 더 크다고 판단했을 것..

1. 함수의 목적 pandas 함수로, SQL의 join과 동일한 기능을 하는 함수. 2. 샘플을 통한 개념 퀵뷰 3. 사용방법 pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)[source] 4. 함수 PARAMETER 설명 [left] : DataFrame join을 하고 싶은 2개의 데이터 프레임 중 개념상 좌측에 위치할 데이터프레임 [right] : DataFrame or named Series join을 하..

1. 함수의 목적 pandas 함수로, 둘 이상의 데이터프레임(dataframe)을 이어 붙이는데 사용하는 함수. 2. 샘플을 통한 개념 퀵뷰 3. 사용방법 pandas.concat(objs, axis=0, join='outer', ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=False, copy=True) 4. 함수 PARAMETER 설명 [objs] : a sequence or mapping of Series or DataFrame objects 이어 붙일 데이터 프레임을 [df1, df2]의 형태로 입력한다. [axis] : {0/’index’, 1/’columns’}, default 0 연결..

1. 함수의 목적 pandas 함수로, csv 데이터 파일을 라벨이 있는 2차원 데이터 구조의 Dataframe변환하여 반환한다. 2. 샘플을 통한 개념 퀵뷰 3. 사용방법 pandas.read_csv(filepath_or_buffer, sep=NoDefault.no_default, delimiter=None, header='infer', names=NoDefault.no_default, index_col=None, usecols=None, squeeze=None, prefix=NoDefault.no_default, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skip..

1. 함수의 목적 pandas 함수로, 구분자로 구분된 데이터 파일을 라벨이 있는 2차원 데이터 구조의 Dataframe 혹은 TextParser로 변환하여 반환한다. 2. 샘플을 통한 개념 퀵뷰 3. 사용방법 pandas.read_table(filepath_or_buffer, sep=NoDefault.no_default, delimiter=None, header='infer', names=NoDefault.no_default, index_col=None, usecols=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, ..

1. 함수의 목적 pandas 함수로, pickle된 객체를 파일에 저장(write)한다. * pickle이란? 주로 큰 크기의 데이터를 리스트, 딕셔너리 등의 객체 자체를 파일의 바이너로 저장하는 python package. 2. 샘플을 통한 개념 퀵뷰 3. 사용방법 pandas.DataFrame.to_pickle(path, compression='infer', protocol=5, storage_options=None) 4. 함수 PARAMETER 설명 [path] : str 저장될 파일위치 path [compression] : str or dict, default ‘infer 압축을 사용함. '.gz', '.bz2', '.zip', '.xz' 또는 '.zst' 확장자로 압축방법을 선택가능. 압축하지..

1. 함수의 목적 pandas 함수로, pickle된 pandas 객체를 파일로 부터 읽는다. * pickle이란? 주로 큰 크기의 데이터를 리스트, 딕셔너리 등의 객체 자체를 파일의 바이너로 저장하는 python package. 2. 샘플을 통한 개념 퀵뷰 3. 사용방법 pandas.read_pickle(filepath_or_buffer, compression='infer', storage_options=None) 4. 함수 PARAMETER 설명 [filepath_or_buffer] : str, path object, or file-like object String, os.PathLike[str]로 구현된 path object, readlines()로 구현된 파일 객체 버전 1.0.0부터 URL도 가..

* 주의 : 본 함수는 Oracle Database 18C 이상 사용가능함 1. 함수의 목적 Oracle APPROX_SUM은 기존 SUM 함수의 대안으로, 대용량 데이터에서 매우 빠른 속도로 대략적인 합계값을 반환한다. (개략적이라고는 하나 거의 100% 맞다, 매우 큰 데이터 범위에 유리) * approximate query를 위한 함수로, 읽는 범위가 넓은 대용량 데이터베이스를 정확도보다는 속도를 중요시하는 상황에 쓰이도록 개발되었다(속도 매우 빠름, 오차허용 범위내의 정확도). 예를 들어 BI/DW등 대용량 데이터베이스에서 집계 테이블을 별도로 만들지 않고, 바로 소스 테이블을 approximate query를 사용할 수 있다. 오라클 내장 함수 중 접두어로 [APPROX_]가 붙은 함수는 app..

* 주의 : 본 함수는 Oracle Database 18C 이상 사용가능함 1. 함수의 목적 Oracle APPROX_RANK은 기존 RANK 함수의 대안으로, 지정된 Partition 그룹의 대략적인 랭킹을 RANK함수보다 매우 빠른 속도로 반환한다. (개략적이라고는 하나 거의 100% 맞다, 매우 큰 데이터 범위에 유리) * approximate query를 위한 함수로, 읽는 범위가 넓은 대용량 데이터베이스를 정확도보다는 속도를 중요시하는 상황에 쓰이도록 개발되었다(속도 매우 빠름, 오차허용 범위내의 정확도). 예를 들어 BI/DW등 대용량 데이터베이스에서 집계 테이블을 별도로 만들지 않고, 바로 소스 테이블을 approximate query를 사용할 수 있다. 오라클 내장 함수 중 접두어로 [AP..