01. 제목
패스트캠퍼스 환급챌린지 43일차 미션 (3월 14일) :
파이썬으로 할 수 있는 모든 것 with 47개 프로젝트 초격차 패키지 Online 수강 후기
02. 포스팅 본문 (학습 일기) 가이드
1. 학습 인증샷 2장 이상 포함
2. 학습 후기 700자 이상 (공백 제외)
오늘부터는 파트1 다음 챕터가 아닌 웹크롤링에 대해 더 자세히 배우고 싶어서 파트3의 웹 크롤링 프로젝트로 넘어와 배우기로 했다. 간단하게 크롤링의 개요부터 들어가서 크롤링이란 무엇이고 크롤링 할 때 주의해야할 사항에 대해서 배웠다.
수업에 앞서서 이런 부분을 집고 넘어가는 것도 매우 중요한 절차라고 본다. 왜 프로그래밍을 하고 이러한 크롤링에 대한 개발자들의 인식성을 환기시켜주는 작업이라고 생각하기 때문이다.
크롤링은 웹에서 데이터를 수집하는 것이고 이 수집한 데이터를 가공해서 원하는 정보만 뽑아내는 파싱이라는 과정도 크롤링과 혼용해서 쓰인다고 한다.
이러한 용어를 정리하고 데이터를 수집할 때 api를 사용하는 방식과 직접 수집하는 방식에 대해서 알아본다.
크롤링, 파싱, 스크랩핑은 크롤링을 할 경우 혼용해서 쓰기 때문에 용어 정리를 간단하게 해보자면
크롤링을 데이터를 불러 오는 것
파싱은 불러온 데이터에서 필요한 정보를 뽑아 내는 것
스크래핑은 수집한다는 의미로 데이터를 수집하는 모든 작업을 말하고 크롤링보다 큰 범위의 용어이며 크롤링을 포함한다. 스크래핑이란 단어의 유례를 쫓아가보면 스크랩과 연결되는데 인터넷에서 어떤 기사나 영상클립을 보다가 저장하고 싶고 다시 보고 싶을때 스크랩 기능을 쓴다. 또 종이신문, 잡지 같은 경우에 필요한 부분을 잘라 책자를 구성하거나 만들때도 스크랩한다고 한다.
웹에서 데이터를 수집하는 두가지 방법을 배운다.
하나는 직접 데이터를 뽑는 방법으로 장점으로는 원하는 대로 데이터를 가공이 가능하다. 단점은 데이터를 직접 가공해야한다는 점이다.(데이터를 크롤링하고 직접 파싱해야한다)
다른 하나는 API(구글, 네이버 등 공개된 API를 쓸 수 있다) 를 호출 하는 방법이다. 장점은 정제된 데이터를 획득 가능(파싱하는 부분을 건너뛸 수 있다)하고 단점은 API호출 방식 학습하는게 필수적이다.(호출시 토큰 발급이나 사용신청을 해야한다)
크롤링 할 때 주의사항에 대해서 알아본다. 보통 크롤링할 때 이러한 주의사항없이 무작정 크롤링을 해보자라는 마음가짐으로 하기 때문에 왜 문제가 되고 어떠한 부분을 지켜야하는지 알아야 한다고 보기에 반드시 숙지하고 넘어가야 한다.
일단 크롤링을 한다고 하면 robots.txt를 확인하여 해당 웹사이트에서 크롤링에 대한 허용 범위가 어디까지인지 확인해야한다. 크롤링을 한 두 페이지하는 경우는 문제가 크게 되지 않지만 대량의 데이터를 크롤링하고 수집한다면 해당 서버에 부하를 주고 사용에 대한 저하를 일으킬 수 있기에 robots.txt 권고안을 보고 권고하는 내용이라 반드시 지켜야하진 않지만 무분별하게 사용해서 해당 사이트에 저하를 일으킨다면 IP가 차단되는 등의 불이익을 볼 수 있다.
네이버의 로봇츠 텍스트를 보면(https://naver.com/robots.txt)
User-agent: * 같은 경우는 일단 와일드카드 별표가 모든(all)것이라는 의미를 담고 있고, 유저에이전트는 크롬, 파이어폭스, 엣지같은 웹브라우저를 의미하고 즉, 이러한 웹브라우저는 모두 허용한다는 의미이다. 일반적으로 웹브라우저 접근은 허용한다는 뜻이다.
Disallow: / 는 모든 접근을 차단한다는 의미이다.
Allow: /$ 는 첫번째 페이지만 허가한다는 의미이다.
03. 필수 본문 내용
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
04. 필수 해시태그
#패스트캠퍼스 #직장인자기계발 #직장인공부 #환급챌린지 #패스트캠퍼스후기 #오공완
05. 필수 URL
패스트캠퍼스 [직장인 실무교육]
프로그래밍, 영상편집, UX/UI, 마케팅, 데이터 분석, 엑셀강의, The RED, 국비지원, 기업교육, 서비스 제공.
fastcampus.co.kr
[수강 강의 클립]
[Part 3.] 웹 크롤링 프로젝트
-Ch01. 크롤링 개요
01. 크롤링이란
02. 크롤링 할 때 주의사항
[※ 기타사항메모 ※]
{100% 환급챌린지 미션 가이드 참조 :
https://fastcampus.co.kr/event_online_challenge_2401_mission}
커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스
성인 교육 서비스 기업, 패스트캠퍼스는 개인과 조직의 실질적인 '업(業)'의 성장을 돕고자 모든 종류의 교육 콘텐츠 서비스를 제공하는 대한민국 No. 1 교육 서비스 회사입니다.
fastcampus.co.kr
