2023 데이터 수집 웹 크롤링 [1. Web의 개요]

🕒 웹의 개요

여러분 안녕하세요. 오늘은 웹 크롤링의 첫 걸음으로서 웹의 개요에 대해 알아보겠습니다. 웹이란 무엇일까요? 우리는 흔히 인터넷과 웹을 같은 개념으로 혼용하여 사용하지만, 실제로는 약간의 차이가 있습니다. 웹은 정보를 주고받는 공간이며, 인터넷은 그 정보를 전송하는 통신망입니다. 이 기본적인 이해가 웹 크롤링을 시작하는 데 매우 중요합니다. 웹의 개요를 통해 우리는 어떤 정보를 수집할 수 있는지, 그리고 그 정보를 어떻게 활용할 수 있는지 배울 것입니다.

🌐 인터넷과 웹의 차이

인터넷과 웹은 서로 다른 개념입니다. 인터넷은 전 세계의 컴퓨터를 연결하는 네트워크의 집합체로, 데이터가 통신되는 물리적 연결을 의미합니다. 반면, 웹은 인터넷 상에서 작동하는 서비스로, 우리가 브라우저를 통해 접속하는 웹사이트들이 이에 해당됩니다. 이 차이를 이해하는 것은 데이터 수집 및 웹 크롤링에서 중요한 첫걸음입니다. 인터넷은 정보 전달을 위한 기반을 제공하며, 웹은 그 정보를 시각화하여 사용자에게 제공합니다.

💡 인터넷의 역사

인터넷의 역사는 1960년대 미국 국방부의 아르파넷(ARPANET)에서 시작되었습니다. 이는 데이터 전송의 안정성을 높이기 위해 개발된 네트워크였습니다. 이후 1990년대 초에 HTML 기반의 웹이 등장하면서 인터넷은 대중화되었습니다. 특히 대한민국은 1979년에 세계 두 번째로 인터넷 연결에 성공했으며, 이는 오늘날의 IT 강국으로 성장하는 밑거름이 되었습니다. 이러한 역사적 배경은 현재 우리가 웹을 어떻게 활용하고 있는지 이해하는 데 큰 도움이 됩니다.

🔗 클라이언트와 서버

웹 상의 정보 요청과 제공은 클라이언트와 서버라는 두 가지 역할을 통해 이루어집니다. 클라이언트는 정보를 요청하는 사용자 측 컴퓨터를 의미하며, 서버는 그 요청에 응답하여 정보를 제공하는 컴퓨터입니다. 이 구조는 웹 페이지를 통하여 정보를 주고받는 기본적인 메커니즘입니다. 사용자가 브라우저를 통해 특정 웹사이트를 요청하면, 서버는 그 요청에 대한 응답으로 해당 웹페이지를 사용자에게 전송합니다.

🔍 HTML, CSS, 자바스크립트

웹 페이지는 기본적으로 세 가지 언어인 HTML, CSS, 자바스크립트로 구성됩니다. HTML은 페이지의 구조를 정의하고, CSS는 스타일을 적용하며, 자바스크립트는 동적인 기능을 추가합니다. 이러한 언어들은 웹 페이지를 만드는 데 필수적이며, 특히 데이터 크롤링 시에는 HTML 구조를 이해하는 것이 중요합니다. HTML과 CSS의 이해는 웹에서 데이터를 추출하는 데 있어 기본적인 스킬입니다.

🔗 공식사이트

공식사이트 링크