동시성∙병렬성은 결국 모든 소프트웨어 개발자에게 중요한 부분이며, 운영체제에서 시작해 라이브러리를 거쳐 애플리케이션 자체까지 영향이 미친다. 이 책에서는 동시성에 대한 이해를 돕기 위해 동시성의 개념을 소개하고, 플랫폼 특징, 내부 동작, API에 관해 상세하게 기술한다. 그리고 동시성 소프트웨어를 작성하는 병렬 프로그래밍 시에 나타나는 공통 패턴과 최적의 실행, 알고리즘, 데이터 구조를 설명하고, 이런 내용을 바탕으로 전체 시스템 구조와 자주 발생하는 프로세스에서 중요한 내용을 다룬다.


[ 소개 ]

저자 조 더피는 동시성과 하드웨어 병렬성의 최적 이득을 얻을 수 있는 소프트웨어 작성 방법을 설명하는 큰 일을 해냈다. 이 책에서 저자는 주로 윈도우의 C#과 C++를 사용해 대규모의 병렬 프로그램을 설계하고, 구현하고, 유지하는 방법을 설명한다.

이 책에서는 애플리케이션과 시스템, 라이브러리 개발자에게 멀티코어 프로세서를 위한 효율적이고 안전한 코드를 작성하는 데 필요한 도구와 기술을 전달하는 것을 목표로 한다. 이와 같은 내용은 동시성이 내재되고 사용하기 쉬운 서버 애플리케이션과 계산 위주의 이미지 조작, 금융 분석, 시뮬레이션, AI 알고리즘 등의 문제뿐만 아니라, 더 많은 노력을 바탕으로 동시성을 사용해 속도를 향상시킬 수 있는 수학 라이브러리와 정렬 루틴, 보고서 생성, XML 조작, 스트림 프로세싱 알고리즘 등의 문제에도 중요하다

이 책은 4개의 주요 부분으로 구성했다. 첫 번째로 높은 수준에서 동시성을 설명하고, 다음은 근본적인 플랫폼 특징과 내부 작업에 집중한다. 다음으로 동시성 소프트웨어를 작성할 때 발생하는 공통적인 패턴과 최적의 실습, 알고리즘, 데이터 구조를 설명한다. 마지막으로 동시성 프로그래밍의 일반적인 시스템 아키텍처와 프로세스 관련 내용을 다룬다.

[ 이 책의 구성 ]

이 책은 네 부분으로 구성했다. 1부 ‘개념’은 어느 하나의 주제를 깊게 파고들지 않고 높은 수준의 동시성을 소개한다. 2부 ‘메커니즘’은 플랫폼 특징, 내부 동작, API 상세 설명에 관해 바로 초점을 맞췄다. 3부 ’테크닉’은 동시성 소프트웨어를 작성할 때 나타나는 공통 패턴과 최적의 실행, 알고리즘, 데이터 구조를 설명한다. 4부 ‘시스템’은 전체 시스템 구조와 자주 발생하는 프로세스에서 중요한 내용을 다룬다. 여기서는 연속성이 있다. ‘개념’은 일반적인 동시성을 기본적으로 이해하게 돕기 때문에 첫 번째다. ‘테크닉’을 이해하는 것은 ‘메커니즘’에 대한 확실한 이해가 없으면 어려울 것이며, 비슷하게 실제 ‘시스템’을 만드는 것은 나머지를 이해하지 않고서는 불가능하다. 마지막에 두 장의 부록도 있다.


[ 추천의 글 ]

컴퓨터 산업은 다시 한 번 교차로에 서있다. 늘어나는 소프트웨어의 복잡성과 함께 새로운 멀티코어 프로세서 형태의 하드웨어 동시성으로 인해 기술 산업 분야에서는 현대 컴퓨터의 아키텍처와 그에 따른 소프트웨어 개발 패러다임을 모두 재고해봐야 할 것이다.

지난 수십 년간 컴퓨터는 기본적인 계산 모델의 근본적인 변화 없이 기하급수적인 성능과 용량 증가와 함께 별다른 문제없이 발전해왔다. 하드웨어는 무어의 법칙(Moore's Law)을 따랐으며, 클록 속도는 증가했고, 소프트웨어는 끊임없는 향상된 성능을 이용해 작성됐으며, 하드웨어 향상 속도보다도 앞서갔다. 하드웨어와 소프트웨어의 공생 관계는 최근까지 조금도 수그러들지 않고 이어졌다. 무어의 법칙은 여전히 영향력을 미치는 데 반해, 클록 속도도 상응해 증가할 것이라는 예측은 사라졌다.

하드웨어의 방향성에 있어 이런 변화의 이유는 버클리에 있는 캘리포니아 대학의 데이비드 패터슨(David Patterson)에 의해 표현된 간단한 수식으로 요약될 수 있다.

파워 장벽 + 메모리 장벽 + ILP 장벽 = 연쇄적인 성능의 큰 장벽

CPU 파워는 클록 속도에 실질적으로 영향을 미치는 클록 주파수에 비례해 증가한다. 열을 소멸시키는 능력은 실질적으로 물리적인 한계에 도달했다. 그 결과 굉장한 (그리고 고가의) 냉각 기술(또는 물질 기술의 돌파구)이 없다면 클록 속도의 증가는 불가능하다. 이것이 수식에서 ‘파워 장벽’ 부분이다. 메모리 성능 개선 속도는 프로세서 성능의 발전 속도를 따라잡지 못한다. 따라서 메인 메모리에 접근이 요구되는 CPU 사이클의 수는 계속해서 증가하게 할 것이다. 이것이 ‘메모리 장벽’이다. 마지막으로 하드웨어 엔지니어는 현재 명령어의 결과를 알기 전에 미리 짐작해 명령어를 실행하게 함으로써 연속적인 소프트웨어 성능을 증가시켰다. 이것은 명령어 레벨 병렬성(ILP, Instruction Level Parallelism)이라고 한다. ILP의 성능 향상은 짐작하기 어렵고, 복잡성은 전력 소비를 증가시킨다. 결과적으로 ILP의 개선은 멈춘 상태이며, 이를 일러 ‘ILP 장벽’이라고 한다.

결국 우리는 변곡점에 도달했다. 소프트웨어 생태계는 멀티코어 시스템을 더 잘 지원하도록 발전해야만 하고, 이런 진화는 시간이 걸릴 것이다. 급속히 발전하는 컴퓨터 성능에서 혜택을 보고, ‘새로운 하드웨어에서 한 번 작성하고 더 빨리 실행된다’는 패러다임을 유지하려면 프로그래밍 커뮤니티는 동시성 애플리케이션 설계 방법을 배워야만 한다. 동시성을 더 방대하게 수용한다면 비동기성과 느슨한 결합을 통한 소프트웨어 + 서비스의 결합이나, 클라이언트 측의 병렬성, 서버 측의 클라우드 컴퓨팅 등이 가능해지는 시대가 열린다.

윈도우와 닷넷 프레임워크 플랫폼은 동시성을 풍부하게 지원한다. 이는 윈도우 NT에서 멀티프로세서를 지원한 이후로 10년이 넘는 기간 동안 이어졌다. 스레드 스케줄링 성능과 동기화 API, 메모리 구조 인식(특히 윈도우 비스타에 추가된 것)의 지속적인 성능 개선을 통해 윈도우는 하드웨어 동시성의 사용을 극대화하는 운영체제로 발전해왔다. 이 책은 이와 같은 영역을 모두 다룬다. 애플리케이션에 멀티스레드를 도입하기 시작할 때, 깔끔한 아키텍처와 설계는 소프트웨어의 복잡성을 줄이고 유지 보수를 개선하는 데 대단히 중요하다. 이 책에서는 플랫폼의 성능뿐만 아니라 최근에 만들어진 최고의 예제에도 역점을 둔다. 조는 이 책을 통해 메커니즘과 더불어 최고의 예제를 소개하는 대단한 일을 했다.

멀티코어는 이미 만든 애플리케이션에 개선된 성능을 제공한다. 그러나 컴퓨터가 사람들을 위해 무엇을 할 수 있어야만 하는가에 대해 완전히 다르게 생각할 기회도 준다. 컴퓨터 성능의 지속적인 성장은 사람들에게 더욱 흥미롭고 도움이 될 수 있는 애플리케이션을 질적으로 바꿔 놓을 것이며, 이전에는 전혀 불가능했던 새로운 일도 할 수 있을 것이다. 이와 같은 진화를 바탕으로 소프트웨어는 사람이 컴퓨터와 더욱 개인적이고 인간적으로 상호 작용할 수 있는 방법을 열어 줄 것이다. 그러므로 이 책을 즐기기 바란다. 이 책은 윈도우 플랫폼에서 동시성과 멀티코어를 인식하는 소프트웨어를 작성하는 데 첫발을 내딛도록 안내할 것이다.

- 2008년 6월
크레이그 먼디(Craig Mundie) /마이크로소프트 연구∙전략 최고 책임자

[ 저자 서문 ]
나는 2005년 말쯤 이 책을 집필하기 시작했다. 그 당시에는 듀얼 코어 프로세서가 일반 고객(프로그래머가 아닌)이 구입하는 주류 PC의 표준이었고, 산업계의 일부 사람들이 곧 들이닥칠 동시성 문제에 대해 얘기하기 시작했다(허브 서터Herb Sutter의 논문인 공짜 점심은 끝났다가 생각난다). 물론 사람들이 걱정하는 문제는 과거의 소프트웨어가 추가적인 계산 파워를 자연스럽게 사용할 수 있게 하는 방법으로 작성되지 않았다는 점이다. 클록 속도의 끝없는 증가와는 대조된다. 실질적으로 공짜 점심은 없는 것이다.

동시성은 결국 모든 소프트웨어 개발자의 일에 중요한 부분이 될 것이고, 이런 책은 중요하고 유용한 것이 될 것처럼 보인다. 2년 후에는 운영체제에서 시작해 라이브러리를 거쳐 애플리케이션 자체까지 영향이 미칠 것이다.

이것은 6개월간 작업한 작은 부업 프로젝트인 병렬 언어 통합 쿼리(PLINQ, Parallel Language Integrated Query)의 원형을 마무리 짓던 시기와 일치한다. PLINQ 프로젝트는 동시성과 멀티코어, 특히 동시성이 실제로 일상적인 프로그램에 어떻게 사용되는지에 대한 복잡성을 탐구할 수 있는 통로가 됐다. 나는 동시성을 플랫폼의 어디가 부족한지 알아내는 도구로 사용했다. 이것은 마이크로소프트에서 본업과 더불어 2년간 어느 정도 산업계의 유행어가 된 기술인 소프트웨어 전이 메모리(STM, Software Transitional Memory)에 집중돼 있다. 말할 필요도 없이 동시성의 모든 주제에 관해 꽤나 견고한 지식을 갖게 됐다. 그 주제에 관해 책을 집필하는 것보다 더욱 견고하게 하는 좋은 방법이 있는가?

이런 모든 프로젝트에 종사하고, 결국 PLINQ는 닷넷 프레임워크 기술의 병렬 확장(Parallel Extension)으로 발전됨에 따라 윈도우에서 동시성에 관한 좋은 책이 얼마나 적은지 알고 놀랬다. 나는 계속해서 동시성과 관련된 정보의 복잡성과 소수만 이해하는 내용에 놀라거나 신기해했던 것을 기억한다. 이 내용은 책에 포함하려고 적어두고 특정 목적에 배정했다. 나는 단지 누군가가 전에 이것을 작성해 놓음으로써 복도에서 대화와, 윈도우와 CLR 소스코드에 쏟아 부은 긴 밤, 엄청나게 많은 마이크로소프트 직원의 블로그를 읽고 또 읽는 등의 여러 소스를 샅샅이 뒤질 필요가 없기를 바랐다. 그러나 이 주제에 관한 최고의 책은 90년대 초반으로 거슬러 올라갔고, 여전히 훌륭하긴 하지만 기계학에 중점을 두고 있으며, 병렬 프로그램의 구조화, 병렬 알고리즘의 구현, 병렬성의 위험 요소 처리를 포함한 모든 중요한 개념에 대해서는 충분하지 않았다. 다른 모든 것은 애플리케이션과 시스템, 라이브러리 개발자보다는 학계와 연구자들을 목표로 했다.

나는 스스로 배워면서 찾아냈던 무작위의 모든 정보를 손쉬운 방법으로 처리하는 매력적이고 유용한 방법을 책으로 집필하기 시작했다. 이 책을 끝내는 데 놀랍게도 긴 시간인 2년 반이 걸렸지만, 기술은 천천히 발전하고, 이 주제에 대한 좋은 책의 상태도 그렇게 많이 변하지 않았다. 내가 바라는 노력의 결과는 실제적이고 유용하지만, 여전히 매우 심도 깊은 기술 정보를 포함한 새로운 책이다. 이 책은 장래에 동시성이 모든 소프트웨어의 기본 요구 조건이 될 것이라고 믿는 모든 윈도우 개발자나 닷넷 개발자를 위한 책이다. 이것은 마치 모든 산업의 트렌드를 의미하는 것처럼 보인다.

나는 긴장을 풀고 여유로운 마음으로 이 책을 즐기길 바란다. 그리고 독자들도 그렇게 하길 바란다.


[ 저자 소개 ]

조 더피 (Joe Duffy)
비주얼 스튜디오 분과의 개발 책임자이자 설계자이며, 마이크로소프트의 닷넷 프레임워크 팀의 병렬 확장(Parallel Extension)의 창시자다. 코드를 해킹하고 훌륭한 개발자 팀을 관리하는 일과 더불어 팀의 장기적인 비전과 전략을 수립한다. 현재 관심사는 함수형 프로그래밍 모델과 형식 시스템에서 우선 동시성 안전(first-class concurrency safety), GPU와 SIMD 스타일 프로세서의 활용을 가능하게 하는 프로그래밍 모델을 만드는 것이다. 이전에 마이크로소프트에서 병렬 LINQ(PLINQ)의 개발자와 공통 언어 런타임(CLR)에서 동시성 프로그램 관리자로 활약했다. 마이크로소프트에 합류하기 전에는 EMC에서의 4년을 포함해 7년간 전문 프로그래밍 경험을 쌓았다. 매사추세츠에서 태어나 현재는 워싱턴에서 살고 있다. 기술적인 작업에 몰두하지 않을 때는 기타를 치고, 음악 이론에 대해 공부하며, 음악을 듣거나 작곡하며, 와인에 대한 갈증을 해소한다.


[ 옮긴이의 말 ]

지금 우리는 엄청난 컴퓨팅 패러다임의 변화를 경험하고 있다. 또한 동시성과 병렬성 모두에 기반한 양적인 증가(클라우드, 멀티코어 프로세스)뿐만 아니라 동시성에 기반한 다양성(모바일, 태블릿)에 있어서도 여러 가지 시도가 이뤄지는 시대에 살고 있다. 이런 다양한 하드웨어적인 환경에서 개발자들의 동시성에 대한 학습은 필수라 하겠다. 우선 많은 사람이 혼동해 사용하는 동시성과 병렬성에 대한 용어를 정리해보겠다. 동시성 프로그래밍(Concurrent Programming)은 프로그램이 여러 개의 동시적인 스레드로 실행이 되고, 따라서 결과가 비결정적인 특성이 있다. 반면에 병렬 프로그래밍(Parallel Programming)은 성능 향상에 목적을 두고 명시적으로 멀티프로세서를 사용하는 기술을 말한다. 이 책이 동시성(Concurrency)에 초점이 맞춰져 있음에도 ‘병렬 프로그래밍’이라는 제목이 정해진 이유는 병렬성(Parallelism)이라는 용어가 동시성을 포함한 광범위한 개념으로 인식되고 있기 때문이다.

오늘날 작은 모바일 기기가 멀티, 쿼드 코어 시대로 나아가고 있고, 대용량 컴퓨팅을 위해 엔비디아(NVIDIA) 사는 그래픽에만 이용되던 GPUGraphic Processing Unit를 GPGeneral Purpose-GPU라고 불리는 형태로 보조적인 계산에도 이용한다. 모바일 컴퓨팅의 변화에 대해서는 애플 iOS와 구글 안드로이드의 발전상에서도 쉽게 확인할 수 있다. 초기 iOS 제품에서는 개발자들의 멀티태스킹에 대한 접근이 철저하게 금지됐다. 당시 애플은 시스템의 안정성을 이유로 들었다. 하지만 iOS가 발전하고 하드웨어 사양이 높아짐에 따라 멀티태스킹의 안정성을 확보하게 된 애플은 개발자에게 동시성을 이용한 프로그래밍을 허용하기에 이르렀다. 이는 싱글코어 하드웨어에서 멀티코어 하드웨어로 나아가는 관문을 통과했다고 볼 수 있다. 애플과는 달리 최초 소프트웨어 개발자 키트SDK를 배포할 때부터 개발자에게 동시성 프로그래밍에 대한 문호를 개방한 안드로이드는 초기에 다소 불안했던 개발 환경을 극복하고, 많은 버그 수정과 테스트 끝에 지금은 높은 안정성을 보여주고 있다. 따라서 이러한 모바일 플랫폼에서 개발자의 동시성에 대한 이해는 시스템의 안정성뿐만 아니라 효율성도 높이는 아주 중요한 요소로 인식되고 있다.

요즘 많은 이슈가 되고 있는 빅 데이터(Big Data)의 처리는 대부분 클라우드 컴퓨팅(Cloud Computing)이라는 대규모 데이터 센터에서 이뤄진다. 클라우드 컴퓨팅의 기본은 병렬성이며, 기본적인 처리 방법은 데이터를 작은 조각으로 나누고, 여러 컴퓨터에 분산해 다루는 것이다. 이러한 기술은 흔히 맵리듀스(Map-Reduce)라고 불리며, 가장 대표적인 플랫폼으로는 하둡(Hadoop)이라는 아파치 공개 소프트웨어를 들 수 있다. 여기서 병렬성의 개념은 동시성의 확장이라고 이해하면 된다. 로컬의 여러 스레드(프로세스)가 동시에 작업을 진행하던 것을 여러 컴퓨터가 작업하는 것이라고 볼 수 있다. 이렇듯 병렬성과 동시성의 기본적인 이해를 높이는 데 이 책의 내용은 여러 모로 도움이 될 것이 분명하다.

마지막으로, 프로세서 자체의 발전상을 이해해야 한다. 지금까지 인텔과 AMD에서 주도하던 프로세서 아키텍처에 새로운 패러다임을 제시한 엔비디아 사는 수백 개의 코어를 이용한 컴퓨팅을 전제로 한다. 하지만 엔비디아 사의 GPU는 자체적으로 동작하기보다는 대용량 컴퓨팅이 필요한 작업에 대해 인텔과 AMD 프로세서의 보조 역할로서 자리매김하고 있다. GPU의 여러 프로세서(코어)에는 하나의 큰 메인 메모리가 있으며, 코어 그룹인 블록Block에는 공유 메모리가 있다. 이런 메모리 구조의 계층화는 동시성의 필요성을 높이는 계기가 됐다고 할 수 있다.

여기에서 이야기한 모든 발전상을 완전히 따라가기에는 무리가 있겠지만, 이 책에서 설명하는 기본 개념을 알고 있다면 개발자들은 어떤 플랫폼에서 개발을 하더라도 엄청난 적응력을 발휘할 수 있을 것이다. 참고로 이 책은 저자인 조 더피(Joe Duffy)가 윈도우 비스타와 2008을 개발하던 시기의 경험을 바탕으로 쓰여진 내용이며, 그 당시에 이미 동시성에 대한 마이크로소프트의 기술은 성숙 단계에 올라 있었다고 볼 수 있다. 따라서 그 이후에 출시된 윈도우 7과 8은 모두 이 책에 설명된 기술을 바탕으로 계승 발전된 형태를 띤다. 이 책은 윈도우 7이나 8의 세부 기술에 대해 논의하지는 않으므로 이에 대한 정보를 얻기에는 한계가 있으나, 윈도우의 동시성 프로그래밍의 기본 기술을 깨우치는 데는 충분히 참고할 만하다.
PC 개발자뿐만 아니라, 모바일 개발자, 클라우드 개발자, GPU 개발자 모두가 이 책에서 설명하는 개념을 완벽히 이해하기 바라며, 이 책을 강력히 추천한다.


[ 옮긴이 소개 ]

황진호
IT 경력은 미국에서 시작됐다. 석사 과정을 마치고 1년여 동안 미국의 연구기관에서 방문 연구원으로 재직했다. 미국에서 유명 통신회사의 시스템을 연구/개발하는 몇 가지 프로젝트를 마무리하고, 한국으로 돌아와 포스코 ICT에서 통신 시스템 소프트웨어 개발자로 3년 동안 근무했다. 현재 미국의 조지 워싱턴 대학교의 컴퓨터 사이언스 학과에서 박사 과정을 밟는 중이며, 주 연구 분야는 클라우드 컴퓨팅과 빅 데이터 처리다. 에이콘출판사에서 출간한 『Learning PHP, MySQL & JavaScript 한국어판』(2011)을 번역했다.