Libzmq Chapter 2 - Sockets and Patterns - Revision history

Pchero: /* Handling Multiple Sockets */

2016-09-02T11:56:11Z

Handling Multiple Sockets

← Older revision		Revision as of 11:56, 2 September 2016
Line 195:		Line 195:
	</pre>		</pre>
	만약 한번에 여러개의 endpoint 로부터 데이터를 읽어들이려고 한다면 어떻게 해야할까? 가장 간단한 방법은 하나의 소켓으로 하여금 모든 접속을 받아들이게 한 다음, ZeroMQ 로 fan-in 하는 것이다. 다른 쪽 endpoint 에서도 같은 방식의 패턴을 사용한다면 유효한 방식이다. 하지만 같은 방식의 패턴이 아니라면 유효하지 않다.		만약 한번에 여러개의 endpoint 로부터 데이터를 읽어들이려고 한다면 어떻게 해야할까? 가장 간단한 방법은 하나의 소켓으로 하여금 모든 접속을 받아들이게 한 다음, ZeroMQ 로 fan-in 하는 것이다. 다른 쪽 endpoint 에서도 같은 방식의 패턴을 사용한다면 유효한 방식이다. 하지만 같은 방식의 패턴이 아니라면 유효하지 않다.

			사실, 여러개의 소켓으로터 한번에 데이터를 읽어들이기 위해서는 zmq_poll() 을 사용해야 한다. 더 나은 방법으로는 프레임 워크 안에서 zmq_poll 을 wrapper 로 만들어서 event-driven reactor 로 사용하는 방법이다. 하지만 손과 시간이 걸리는 작업이다.

			아래는 두 개의 소켓으로부터 nonblocking read 를 하는 예제이다.

	== See also ==		== See also ==

Pchero: /* Handling Multiple Sockets */

2016-09-02T11:47:31Z

Handling Multiple Sockets

← Older revision		Revision as of 11:47, 2 September 2016
Line 188:		Line 188:

	=== Handling Multiple Sockets ===		=== Handling Multiple Sockets ===
			지금까지의 모든 예제들에서, 메인 루프는 다음과 같이 동작했다.
			<pre>
			- Wait for message on socket.
			- Process message.
			- Repeat.
			</pre>
			만약 한번에 여러개의 endpoint 로부터 데이터를 읽어들이려고 한다면 어떻게 해야할까? 가장 간단한 방법은 하나의 소켓으로 하여금 모든 접속을 받아들이게 한 다음, ZeroMQ 로 fan-in 하는 것이다. 다른 쪽 endpoint 에서도 같은 방식의 패턴을 사용한다면 유효한 방식이다. 하지만 같은 방식의 패턴이 아니라면 유효하지 않다.

	== See also ==		== See also ==

Pchero: /* Working with Messages */

2016-09-02T10:37:21Z

Working with Messages

@@ Line 160: / Line 160: @@
 * 메시지를 해제(not destroy) 하기 위해서는 zmq_msg_close() 를 이용하여 reference 를 없애면 된다. 이후, ZeroMQ 에서 메시지를 destroy 할 것이다.
 * 메지디에 접근(access) 하기 위해서는 zmq_msg_data() 를 이용하면 된다. 메시지의 크기를 알고 싶다면, zmq_msg_size() 를 이용하면 된다.
-* 정확한 목적과 깊은 이해 없이는 zmq_msg_move(), zmq_msg_copy(), zmq_msg_init_data() 를 사용하면 안된다.
+* 정확한 목적 없이는 zmq_msg_move(), zmq_msg_copy(), zmq_msg_init_data() 를 사용하면 안된다.
 * 메시지를 zmq_msg_send() 로 넘겨준 다음에는 ZeroMQ 에서 메시지를 초기화를 시킬 것이다. 하나의 메시지를 이용해서 두번의 zmq_msg_send() 를 이용할 수 없으며, 한번 전송한 메시지에 대해서 다시 접근할 수 없다.
 * 이 규칙들은 zmq_send() 와 zmq_recv() 에는 적용되지 않는다. zmq_msg_t 를 사용하는 API 에 대해서만 적용된다.
 == See also ==

Pchero: /* High-Level Messaging Patterns */

2016-09-02T09:13:20Z

High-Level Messaging Patterns

← Older revision		Revision as of 09:13, 2 September 2016
Line 143:		Line 143:

	=== High-Level Messaging Patterns ===		=== High-Level Messaging Patterns ===

			=== Working with Messages ===
			libzmq 에는 메지시 전송과 수신을 위한 API 가 두 개 있다. 바로 zmq_send(), zmq_recv() 이다. 하지만, zmq_recv() 는 메시지 길이와 관련해서 단점이 있다. 바로, 입력된 메시지 버퍼의 크기에 상관없이 메시지를 초기화 시켜버린다. 이 때문에 zmq_msg_t 구조체를 이용하는 다른 API 를 제공하고 있다.

			* Initialize a message : zmq_msg_init(), zmq_msg_init_size(), zmq_msg_init_data()
			* Sending and receiving a message : zmq_msg_send(), zmq_msg_recv()
			* Release a message : zmq_msg_close()
			* Access message content : zmq_msg_data(), zmq_msg_size(), zmq_msg_more()
			* Work with message properties : zmq_msg_get(), zmq_msg_set()
			* Message manipulation : zmq_msg_copy(), zmq_msg_move()

			메모리 상에서, ZeroMQ 메시지는 zmq_msg_t structure(언어에 따라 혹은 class) 로 관리된다. C 에서 ZeroMQ 메시지를 기본 사용법이다.
			* zmq_msg_t object 를 생성 한 뒤 data 를 넘겨주어야 한다.
			* 메시지를 읽기 위해서는 zmq_msg_init() 를 이용해서 메시지를 초기화를 시킨다음에, zmq_msg_recv() 로 넘겨주면 된다.
			* 메시지를 쓰기 위해서는 먼저 zmq_msg_init_size() 를 이용해서 메시지를 생성한 뒤, 데이터를 입력한다. 이후, zmq_msg_send() 로 넘겨준다.
			* 메시지를 해제(not destroy) 하기 위해서는 zmq_msg_close() 를 이용하여 reference 를 없애면 된다. 이후, ZeroMQ 에서 메시지를 destroy 할 것이다.
			* 메지디에 접근(access) 하기 위해서는 zmq_msg_data() 를 이용하면 된다. 메시지의 크기를 알고 싶다면, zmq_msg_size() 를 이용하면 된다.
			* 정확한 목적과 깊은 이해 없이는 zmq_msg_move(), zmq_msg_copy(), zmq_msg_init_data() 를 사용하면 안된다.
			* 메시지를 zmq_msg_send() 로 넘겨준 다음에는 ZeroMQ 에서 메시지를 초기화를 시킬 것이다. 하나의 메시지를 이용해서 두번의 zmq_msg_send() 를 이용할 수 없으며, 한번 전송한 메시지에 대해서 다시 접근할 수 없다.
			* 이 규칙들은 zmq_send() 와 zmq_recv() 에는 적용되지 않는다. zmq_msg_t 를 사용하는 API 에 대해서만 적용된다.

	== See also ==		== See also ==

Pchero: /* Messaging Patterns */

2016-08-05T00:11:20Z

Messaging Patterns

← Older revision		Revision as of 00:11, 5 August 2016
Line 107:		Line 107:

	== Messaging Patterns ==		== Messaging Patterns ==
			ZeroMQ socket API 의 가장 근간은 messaging pattern 이다. enterprise messaging 에 대한 배경지식이 있다면, 혹은 UDP 를 알고 있다면, 서로 약간 비슷하다고 할 수 있다. 하지만 ZeroMQ 를 처음 사용하는 사람들에게는 놀랄 일일 수 있다. 때문에 1-to-1 소켓 연결을 하는 TCP 패러다임을 사용 할 것이다.

			간단히 ZeroMQ 가 무엇을 하는지 생각해보자. 데이터(메시지)를 노드로 전송하고, 빠르고, 효과적이다. 노드를 thread, process 등 에 비유할 수도 있다. ZeroMQ 는 application 으로 하여금 실제 transport 가 무엇이든 상관없이 단인 socket API 로 작동할 수 있도록 해준다(마치 in-process, inter-process, TCP 혹은 multicast).네트워크에 연결이 되고 떨어질때마다 자동적으로 상대방에게 재접속을 한다. Sender/Reciever 모두 메시지를 Queueing 한다. 메모리를 무한정 사용하는 것이 아닌, 프로세스에 무리가 없을 정도(out of memory)의 한계를 가진다. lock-free 테크닉을 사용하기에 node 끼리의 통신에 lock, wait, semaphore, deadlock 이 필요/발생하지 않는다.

			하지만 결론적으로 본다면, pattern 에 따라 메시지를 route/queue 한다. 이 패턴들이 ZeroMQ 를 지능적으로 만들어준다. 패턴은 캡슐화되어 있으며, 데이터 전송과 작동과 관련된 어렵게 얻어낸 경험들의 집약체이다. ZeroMQ 의 패턴들은 hard-code 되어 있지만 나중의 버전에는 사용자가 정의한 패턴도 허용될 것이다.

			ZeroMQ 의 패턴은 소켓들의 매칭 타입으로 구현된다. 달리 말해서, ZeroMQ 의 패턴을 이해하려면, 소켓의 타입과 어떻게 작동하는지를 이해해야 한다는 것이다.

			built-in core ZeroMQ 패턴에는 다음과 같은 것들이 있다.

			* Request-reply
			: 여러 개의 client, 여러 개의 service 와 connect 한다. remote procedure call and task distribute pattern 이다.

			* Pub-sub
			: publisher 와 subscriber 의 connect 이다. data distribution pattern 이다.

			* Pipeline
			: 여러개의 단계와 루프를 가질 수 있는 fan-out/fan-in pattern 이다. parallel task distribution 과 collection pattern 이다.

			* Exclusive pair
			: 두 개의 소켓들에 배타적으로 connect 한다. 하나의 프로세스에서 두 개의 thread에 연결하는 패턴이다. 일바적인 소켓과 혼동하지 말자.

			이미 Chapter 1 - Basic 에서 처음 3개의 패턴을 확인했다. Exclusive pair 패턴 역시 이번 챕터에서 확인할 것이다. zmq_socket() man page 를 살펴보면 패턴에 대해 잘 정리가 되었다. 다음은 사용가능한 소켓 조합이다.
			* PUB and SUB
			* REQ and REP
			* REQ and ROUTER(take care, REQ inserts an extra null frame)
			* DEALER and REP(take care, REP assumes a null frame)
			* DEALER and ROUTER
			* DEALER and DEALER
			* ROUTER and ROUTER
			* PUSH and PULL
			* PAIR and PAIR

			XPUB XSUB 소켓에 관한 내용도 볼 것이다. 위에 나열한 소켓 조합외의 다른 조합은 정상적이지 않은 결과를 가져올 것이다. 미래의 버전에서는 에러를 리턴할 것이다.

			=== High-Level Messaging Patterns ===

	== See also ==		== See also ==

Pchero at 23:41, 4 August 2016

2016-08-04T23:41:16Z

← Older revision		Revision as of 23:41, 4 August 2016
Line 1:		Line 1:
			== Overview ==
	챕터 1에서 간단한 ZeroMQ 의 기본 패턴들을 살펴보았다(request-reply, pub-sub, pipeline). 이번 챕터에서는 실제 프로그램에서 이를 어떻게 응용하는지를 살펴보도록 하자.		챕터 1에서 간단한 ZeroMQ 의 기본 패턴들을 살펴보았다(request-reply, pub-sub, pipeline). 이번 챕터에서는 실제 프로그램에서 이를 어떻게 응용하는지를 살펴보도록 하자.

Pchero: /* I/O Threads */

2016-08-04T23:37:23Z

I/O Threads

← Older revision		Revision as of 23:37, 4 August 2016
Line 94:		Line 94:
	=== I/O Threads ===		=== I/O Threads ===
	ZeroMQ는 I/O 를 background thread 로 한다고 이야기 했었다. 하나의 I/O thread 로도 대부분의 application(엄청나게 빠른) 을 감당할 수 있다. 새로운 context 를 생성할 때, I/O thread 역시 시작된다. 일반적인 이야기로, 하나의 I/O thread 로 Gigabyte/sec (In/Out) 를 허용한다. I/O thread 의 숫자를 늘리고 싶다면 소켓을 생성하기 전에 zmq_ctx_set() 을 이용하면 된다.		ZeroMQ는 I/O 를 background thread 로 한다고 이야기 했었다. 하나의 I/O thread 로도 대부분의 application(엄청나게 빠른) 을 감당할 수 있다. 새로운 context 를 생성할 때, I/O thread 역시 시작된다. 일반적인 이야기로, 하나의 I/O thread 로 Gigabyte/sec (In/Out) 를 허용한다. I/O thread 의 숫자를 늘리고 싶다면 소켓을 생성하기 전에 zmq_ctx_set() 을 이용하면 된다.

	<source lang=c>		<source lang=c>
	int io_threads = 4;		int io_threads = 4;
Line 102:		Line 101:
	</source>		</source>

	하나의 소켓이 한번에 수 십, 심지어는 수 천 개의 connection 을 허용하는 것을 보았다. 이것이 바로 ZeroMQ 를 이용해서 application 를 작성할 때		하나의 소켓이 한번에 수 십, 심지어는 수 천 개의 connection 을 허용하는 것을 보았다. 이것이 바로 ZeroMQ 를 이용해서 application 를 작성할 때 발생하는 일이다. 전통적인 네트워크 application 에서라면 하나의 connection 당, 하나의 thread 혹은 process 가 필요했을 것이다. 그리고 하나의 소켓만을 사용할 수 있었을 것이다. ZeroMQ 는 이런 방식을 완전히 벗어나서 전혀 새로운 방식으로 scaling 을 가능하게 해준다.

			만약 ZeroMQ 를 inter-thread communications 로만 사용한다면(외부 소켓 I/O 가 없는 multithread application), I/O threads 를 0 으로 설정할 수도 있다.

			== Messaging Patterns ==

	== See also ==		== See also ==

Pchero: /* I/O Threads */

2016-08-04T23:33:19Z

I/O Threads

← Older revision		Revision as of 23:33, 4 August 2016
Line 94:		Line 94:
	=== I/O Threads ===		=== I/O Threads ===
	ZeroMQ는 I/O 를 background thread 로 한다고 이야기 했었다. 하나의 I/O thread 로도 대부분의 application(엄청나게 빠른) 을 감당할 수 있다. 새로운 context 를 생성할 때, I/O thread 역시 시작된다. 일반적인 이야기로, 하나의 I/O thread 로 Gigabyte/sec (In/Out) 를 허용한다. I/O thread 의 숫자를 늘리고 싶다면 소켓을 생성하기 전에 zmq_ctx_set() 을 이용하면 된다.		ZeroMQ는 I/O 를 background thread 로 한다고 이야기 했었다. 하나의 I/O thread 로도 대부분의 application(엄청나게 빠른) 을 감당할 수 있다. 새로운 context 를 생성할 때, I/O thread 역시 시작된다. 일반적인 이야기로, 하나의 I/O thread 로 Gigabyte/sec (In/Out) 를 허용한다. I/O thread 의 숫자를 늘리고 싶다면 소켓을 생성하기 전에 zmq_ctx_set() 을 이용하면 된다.

	<source lang=c>		<source lang=c>
	int io_threads = 4;		int io_threads = 4;

Pchero: /* Sending and Receiving Messages */

2016-08-04T23:32:50Z

Sending and Receiving Messages

@@ Line 65: / Line 65: @@
 === Sending and Receiving Messages ===
 메시지를 송신하고, 수신하기 위해서는 zmq_msg_send() 와 zmq_msg_recv() 를 사용해야 한다. 전통적인 이름이지만, ZeroMQ 의 I/O 모델을 알게된다면, 기존의 TCP 와는 다른 방식으로 작동한다는 것을 알게 될 것이다.
 == See also ==

Pchero: /* Plugging Sockets into the Topology */

2016-08-04T22:29:51Z

Plugging Sockets into the Topology

← Older revision		Revision as of 22:29, 4 August 2016
Line 59:		Line 59:
	비록 ZeroMQ 에서 어느쪽이 bind를 하건, connect 를 하건 상관이 없도록 한다지만, 어느정도 차이점은 있다. 이 차이점에 대해서는 나중에 깊게 살펴볼 예정이다. 짧게 말하면, server 란, 좀더 고정적인 endpoint 를 bind 를 하는 쪽이며, client 는 동적인 부분을 담당하며 connect 를 하는 쪽이라고 보면 된다.		비록 ZeroMQ 에서 어느쪽이 bind를 하건, connect 를 하건 상관이 없도록 한다지만, 어느정도 차이점은 있다. 이 차이점에 대해서는 나중에 깊게 살펴볼 예정이다. 짧게 말하면, server 란, 좀더 고정적인 endpoint 를 bind 를 하는 쪽이며, client 는 동적인 부분을 담당하며 connect 를 하는 쪽이라고 보면 된다.

	소켓에는 타입이 있다. 소켓의 타입은 소켓의 속성을 정의한다. 메시지의 내부/외부 라우팅, Queuing, etc 등을 정의한다. 여러개의 타입들을 연결할 수 잇다.(예를 들면 publisher/subscriber) 소켓은 "message p		소켓에는 타입이 있다. 소켓의 타입은 소켓의 속성을 정의한다. 메시지의 내부/외부 라우팅, Queuing, etc 등을 정의한다. 여러개의 타입들을 연결할 수 잇다(예를 들면 publisher/subscriber). 소켓은 "message pattern" 의 형태로 동작하게 된다. 나중에 깊게 살펴 볼 것이다.

			이와 같이 ZeroMQ 에서는 소켓들을 조금 다른 방식으로 connection 하게 되는데, 바로 이 점이 ZeroMQ 로 하여금 Message Queuing System 으로써의 동작하게 하는 것이다. 여기에 proxy 와 같은 계층이 위에 올라가게 된다(나중에 살펴볼 것이다). 하지만 기본적으로 ZeroMQ 를 이용하게되면, 아이들의 블럭 장난감처럼 네트워크 아키텍쳐를 마음껏 가지고 놀 수 있게 된다.

			=== Sending and Receiving Messages ===
			메시지를 송신하고, 수신하기 위해서는 zmq_msg_send() 와 zmq_msg_recv() 를 사용해야 한다. 전통적인 이름이지만, ZeroMQ 의 I/O 모델을 알게된다면, 기존의 TCP 와는 다른 방식으로 작동한다는 것을 알게 될 것이다.

	== See also ==		== See also ==