데이터 수집
-
[데이터 수집] selenium 유튜브 검색 결과 스크래핑Database/데이터 수집(Data Extraction) 2020. 12. 1. 18:00
유튜브 검색 결과 스크래핑 이 글은 유튜브 검색 결과를 데이터로 수집하는 글입니다. 유튜브 검색 결과에서 컨텐츠 제목, url 등의 가져와서 csv 파일로 저장해보았습니다. 열심히 배우고 있는 단계라서 실수가 있을 수도 있습니다. 선행 개념(웹 스크래핑, 크롤링, HTML) 이해하기 VsCode에서 작성한 코드이지만 쥬피터 노트북에서도 문제없이 작업을 했습니다. 1. 필요한 패키지 준비 유튜브 스크래핑할 때, Beautifulsoup 사용하면 움직이는 부분(동적 페이지)은 자료가 긁어오는데 문제가 발생합니다. ex) 유튜브 검색 결과 페이지에서 스크롤을 끝까지 내리는 작업은 Beautifulsoup에서는 할 수가 없음 ex) 특정 페이지를 이동하면서 자료를 가져오는 작업은 Beautifulsoup을 이용..