본문 바로가기

HTTP완벽가이드

[HTTP] 웹 로봇 2020. 5. 4. #1. 크롤러와 크롤링 웹 크롤러는 웹 링크를 재귀적으로 따라가는 로봇이다. 인터넷 검색엔진은 웹을 돌아다니면서 그들이 만나는 모든 문서를 끌어오기 위해 크롤러를 사용한다. 이 문서들은 나중에 처리되어 검색 가능한 데이터베이스로 만들어지는데 이는 사용자들이 특정 단어를 포함한 문서를 찾을 수 있게 해준다. 어디에서 시작하는가: '루트 집합' 크롤러가 방문을 시작하는 URL들의 초기 집합은 루트 집합이라고 부른다. 일반적으로 좋은 루트 집합은 크고 인기 있는 웹 사이트, 새로 생성된 페이지들의 목록, 그리고 자주 링크되지 않는 잘 알려지지 않은 페이지들의 목록으로 구성되어 있다. 인터넷 검색엔진에서 쓰이는 것과 같은 많은 대규모 크롤러 제품들은 사용자들이 루트 집합에 새 페이지나 잘 알려지지 않은 페이지들..
[HTTP] 통합점: 게이트웨이, 터널, 릴레이 2020. 5. 3. #1. 게이트웨이 게이트웨이는 리소스와 애플리케이션을 연결하는 역할을 한다. 게이트웨이는 요청을 받고 응답을 보내는 포털 같이 동작하는데 동적인 콘텐츠를 생성하거나 데이터베이스에 질의를 보낼 수 있다. (a) : 게이트웨이는 FTP URL을 가리키는 HTTP요청을 받고 FTP커넥션을 맺고 FTP서버에 명령 전송 (b) : 게이트웨이는 암호화된 웹 요청을 SSL을 통해 받고 요청을 해독해서 HTTP요청을 목적지 서버로 전달 (c) : 애플리케이션 서버 게이트웨이 API를 통해 클라이언트를 서버 측 애플리케이션 프로그램에 연결 (물건사기, 주식시세, 일기예보 ....) 클라이언트 측 게이트웨이와 서버 측 게이트웨이 웹 게이트웨이는 한쪽에서는 HTTP로 통신, 다른 한쪽에서는 HTTP가 아닌 다른 프로토콜로 ..
[HTTP] 캐시(Cache) 2020. 5. 3. #1. 불필요한 데이터 전송 복수의 클라이언트가 자주 쓰이는 원 서버 페이지에 접근할 때 서버는 같은 문서를 클라이언트들에게 각각 한 번씩 전송하게 된다. 똑같은 바이트들이 네트워크를 통해 계속 반복해서 이동한다. 이 불필요한 데이터 전송은 값비싼 네트워크 대역폭을 잡아먹고, 전송을 느리게 만들며, 웹 서버에 부하를 준다. 캐시를 이용하면 첫 번째 서버 응답은 캐시에 보관된다. 캐시된 사본이 뒤이은 요청들에 대한 응답으로 사용될 수 있기 때문에 원 서버가 중복해서 트래픽을 주고받는 낭비가 줄어들게 된다. #2. 대역폭 병목 캐시는 네트워크 병목을 줄여준다. 클라이언트가 빠른 LAN에 있는 캐시로부터 사본을 가져온다면, 캐싱은 성능을 대폭 개선할 수 있을 것이다. #3. 갑작스러운 요청 쇄도(Flash C..
[HTTP] 프락시(Proxy) 2020. 5. 2. #1. 웹 중개자 웹 프락시 서버는 클라이언트의 입장에서 트랜잭션을 수행하는 중개인이다. 웹 프락시가 없다면 클라이언트는 HTTP 서버와 직접 이야기한다. 웹 프락시가 있다면 클라이언트는 HTTP 서버와 이야기하는 대신 자신의 입장에서 서버와 대화해주는 프락시와 이야기한다. 프락시 대 게이트웨이 프락시 : 같은 프로토콜을 사용하는 둘 이상의 애플리케이션을 연결 게이트웨이 : 서로 다른 프로토콜을 사용하는 둘 이상의 애플리케이션을 연결 #2. 왜 프락시를 사용하는가? 프락시 서버는 보안을 개선하고, 성능을 높여주며, 비용을 절약한다. 프락시 서버는 모든 HTTP 트래픽을 들여다보고 건드릴 수 있기 때문에 프락시는 부가적인 가치를 주는 여러 유용한 웹 서비스를 구현하기 위해 트래픽을 감시하고 수정할 수 있다..
[HTTP] 웹 서버 2020. 5. 2. #1. 웹 서버 웹 서버는 HTTP 요청을 처리하고 응답을 제공한다. 모든 웹 서버는 리소스에 대한 HTTP 요청을 받아서 콘텐츠를 클라이언트에게 돌려준다. 웹 서버는 HTTP 및 그와 관련된 TCP 처리를 구현 웹 서버는 자신이 제공하는 리소스를 관리하고 웹 서버를 설정, 통제, 확장하기 위한 관리 기능을 제공 웹 서버는 TCP 커넥션 관리에 대한 책임을 운영체제와 나눠 갖는다. #2. 웹서버가 하는 일 커넥션을 맺는다 - 클라이언트의 접속을 받아들이거나 원치 않는 클라이언트라면 닫는다. 요청을 받는다 - HTTP 요청 메시지를 네트워크로부터 읽어 들인다. 요청을 처리한다 - 요청 메시지를 해석하고 행동을 취한다. 리소스에 접근한다 - 메시지에서 지정한 리소스에 접근한다. 응답을 만든다 - 올바른 헤더..
[HTTP] 커넥션 관리 2020. 5. 1. #1. TCP 커넥션 모든 HTTP 통신은 패킷 교환 네트워크 프로토콜들의 계층화된 집합인 TCP/IP를 통해 이루어진다. (1)~(3)에서 URL을 통해 서버의 IP주소와 포트 번호를 가져온다. (4)에서 웹 서버가 TCP커넥션을 맺고 (5)에서 그 커넥션을 통해 요청 메시지가 전달된다. (6)에서 응답을 읽고 (7)에서 커넥션이 끊어진다. TCP 스트림은 세그먼트로 나뉘어 IP 패킷을 통해 전송된다. HTTP는 'IP, TCP, HTTP'로 구성된 프로토콜 스택에서 최상위 계층이다. HTTP에서 보안 기능을 더한 HTTPS는 TLS 혹은 SSL이라 불리기도 하며 HTTP와 TCP사이에 있는 암호화 계층이다. HTTP가 메시지를 전송할 경우 현재 연결되어 있는 TCP커넥션을 통해 데이터의 내용을 순서대..
[HTTP] HTTP메시지 2020. 4. 30. #1. 메시지의 흐름 HTTP는 인바운드와 아웃바운드라는 용어를 트랜잭션 방향을 표현하기 위해 사용한다. 메시지가 원 서버로 이동하는 것은 인바운드로 이동한 것이다. 모든 처리가 끝난 뒤에 메시지가 사용자 에이전트로 돌아오는 것은 아웃바운드로 이동한 것이다. 요청 메시지, 응답 메시지 관계없이 모든 메시지는 다운스트림으로 흐른다. #2. 메시지의 각 부분 메시지는 시작줄, 헤더 블록, 본문 세 부분으로 구성되어 있다. 시작줄은 어떤 메시지인지 서술하고, 헤더 블록은 속성을, 본문은 데이터를 담고 있다. (본문은 비어있을 수 있음) 헤더의 Content-Type은 본문이 무엇인지 말하며, Content-Length는 본문의 크기를 말한다. 모든 HTTP 메시지는요청 메시지나 응답 메시지로 분류된다. 요청 ..
[HTTP] URL과 리소스 2020. 4. 30. #1. URI(Uniform Resource Identifier) URI는 인터넷의 주소로, 정보 리소스를 고유하게 식별하고 위치를 지정할 수 있다. URI에는 URL과 URN 2가지 종류가 있다. URL은 특정 서버의 한 리소스에 대한 구체적인 위치를 기술한다. URN은 리소스의 위치에 영향을 받지 않는 유일무이한 이름 역할을 한다. 리소스가 이름을 변하지 않게 유지하는 한 여러 종류의 네트워크 접속 프로토콜로 접근해도 문제없다. 오늘날 대부분의 URI는 URL이다. #2. URL(Uniform Resource Location) URL은 인터넷의 리소스(텍스트, 이미지, 동영상...)를 가르키는 표준이름이다. 브라우저가 정보를 찾는데 필요한 리소스의 위치를 가르키며, URL을 통해 사람과 애플리케이션이..

티스토리툴바