webcrawling

1. 개발자 도구를 활용한 웹페이지 분석

• chrome 기준

• 웹 브라우저 : html로 작성된 내용을 user(사람들)가 보기 쉽게 랜더링 해주는 기능을 함

• Elements 탭

• 원하는 데이터로 이동하는 기능을 사용

• 엘레먼트 탭 : 왼쪽 상단에 있음, 원하는 데이터를 클릭했을 때 어떤 테그와 어떤 속성을 가지는지 표시해주는 역할을 함

• 어떤 태그와 속성을 가지는지 먼저 파악해야 함

• Network 탭

• Preserve log : 체크 시, 로그가 지워지지 않고 유지됨

• 브라우저가 서버에 요청되는 모든 요청을 로그함

• url 확인 가능

• 요청이 많은 이유 : 이미지 등은 첫번째 요청에 한번에 오지 않고, 따로 요청하여 받아옴

• 처음엔 기본적인 데이터만 넘기고, 나머지 데이터는 브라우저에서 ajax 등의 기술을 이용해서 비동기적으로 가져갈 수 있도록 함

• HTTP(Hyper Text Transfer Protocol) : HTML 문서 등의 리소스를 전송하는 프로토콜(규약)

• 클라이언트(user가 사용하는 브라우저)가 서버에 HTTP 요청(Get, Post 등)

• 서버에서 클라이언트로 HTTP 응답을 함

• Get 요청 : 데이터를 url에 포함하여 전달(주로 리소스 요청에 사용), 정보의 공유가능

• Post 요청 : 데이터를 Form data에 포함하여 전달(주로 로그인에 사용)

• rendering(렌더링) : html을 받아 사용자(사람들)이 볼 수 있도록 출력해주는 작업