■ 애자일 개발에서의 테스트 자동화
■ 경영진의 지원이 성공적인 자동화를 이끌거나 무너뜨릴 수 있는 이유
■ 테스트웨어 아키텍처와 추상화 레벨 선택의 중요성
■ 자동화 효과와 투자 대비 수익(ROI) 계산 방법
■ 기술, 계획, 범위, 기대 결과를 포함하는 관리 관점의 이슈들
■ 모델 기반 테스트(MBT) 자동화, 멍키 테스트 자동화, 탐색적 테스트 자동화
■ 엔터프라이즈급 자동화에서 표준, 커뮤니케이션, 문서, 유연성의 중요함
■ 지원 활동의 자동화
■ 자동화해야 할 테스트와 하지 말아야 할 테스트
■ 자동화의 숨겨진 비용: 유지보수와 실패 분석
■ 테스트 자동화의 올바른 목적: 왜 ‘버그 찾기’가 좋은 목적이 될 수 없는가?
■ 교훈, 기억해야 할 내용, 도움이 될 만한 팁

테스트 자동화에 대해 고민하고, 구현하고, 사용하거나 관리하는 모든 사람들에게 매우 귀중한 책이 될 것이다. 테스터, 분석가, 개발자, 자동화 엔지니어, 자동화 아키텍트, 테스트 매니저, 프로젝트 매니저, QA 전문가, 기술 책임자 모두 이 책을 통해 얻을 수 있는 내용이 많을 것이다.

각 장의 사례는 개별적인 이야기이므로 순서대로 읽을 필요는 없다. 책의 순서는 단지 여러분에게 다양한 경험을 들려주기에 최적화된 순서로 되어 있을 뿐이다.

다양한 장의 특성을 한눈에 볼 수 있게 요약해 읽을 부분을 쉽게 고를 수 있게 했다.

‘케이스 스터디 고찰’에서는 책에서 언급된 프로젝트 관리와 기술적인 이슈의 전반적인 관점과 요점을 설명한다. 또한 이슈에 대한 우리의 관점과 의견을 덧붙였다(테스트웨어 아키텍처 포함). 여기서는 저자들이 현재 진행하고 있거나 진행할 예정인 자동화 프로젝트에서 참고할 조언 중 핵심 부분을 요약해 이야기한다.

1장부터 28장은 케이스 스터디로 저자가 특정 상황에서의 잘된 점과 실패한 점, 얻은 교훈 등의 경험을 이야기한다. 이 중에는 파일 구조나 자동화 코드 같은 아주 구체적인 정보를 기술하는 장도 있고, 일반적인 장도 있다. 10장은 『Software Test Automation』에 실렸던 케이스 스터디를 보완한 것이고 나머지 장은 모두 새로운 내용이다. 29장, ‘테스트 자동화의 일화’는 여러 사람의 경험을 모아 놓은 책 속의 작은 책이라고 할 수 있다. 반 페이지부터 여러 페이지짜리도 있으며 유용하고 흥미로운 경험을 모아 놓았다.

마지막으로 부록에 실린 툴은 각 장에서 언급된 상업용과 오픈소스 툴을 소개한다.

“여러분이 지금 손에 쥐고 있는 이 책에는 테스트 자동화에서 무엇이 효과적인지와 효과적이지 않은지, 힘들게 얻은 귀한 보물과도 같은 지식이 담겨 있다. 길을 잘못 들어섰을 때 참고할 수 있는 이정표를 보여주고 테스트 자동화를 성공으로 이끌어주어 막대한 시간과 비용을 절약할 수 있게 해주는 책이다.”
- 린다 헤이즈(Linda Hayes)

“도로시 그레이엄과 마크 퓨스터는 툴에서 방법론에 이르기까지 자동화에서 배운 눈을 뗄 수 없는 경험을 책으로 엮었다. 이 책은 매우 다양한 산업과 기술 분야의 프로젝트에서 경험한 내용을 정리한 케이스 스터디로서 여러분을 자동화 테스트의 세계로 깊이 빠져들게 만들 최초의 책이다. 유사한 부분과 반복되는 주제를 파악할 수 있고, 이를 통해 반드시 알아야 할 교훈과 피해야 할 함정을 알 수 있다. 테스트 자동화를 성공으로 이끄는 요인을 이해하고 영감을 얻고 싶으면 이 책을 처음부터 끝까지 읽어보기 바란다.”
- 앤드류 폴너(Andrew L. Pollner) / ALP 인터내셔널 사 회장 겸 CEO

“도로시 그레이엄과 마크 퓨스터는 베스트셀러인 『소프트웨어 테스트 자동화(Software Test Automation)』(Addison-Wesley, 1999) 출간 이후 꾸준히 테스트 자동화를 해왔다. 애자일 방법론 덕분에 테스트 자동화는 최근 테스트 사례에서 가장 중요한 주제가 됐다. 이 책의 테스트 케이스들은 폭넓은 관점에서 잘 정리되어 있어 매우 실용적이고 훌륭하다. 테스트 자동화를 진행하고 있거나 시작하려는 모든 이에게 이 책을 강력히 추천한다.”
- 에릭 판 비넨달(Erik van Veenendaal) / Improve Quality Services의 창립자이자 TMMi 재단의 부의장

“이 책을 펼치면 여러분의 눈 앞에서 테스팅 컨퍼런스가 개최되며 풍부한 케이스 스터디와 통찰력으로 구성된 세션을 관람할 수 있다. 물론 컨퍼런스 참가비용보다 훨씬 저렴하며 직접 컨퍼런스에 참석할 필요도 없다. 특히 ‘케이스 스터디 고찰’에 모든 내용이 간결하게 정리되어 있어서 이 부분을 참고하면 자동화를 성공시키기 위해 생각할 수 있는 다양한 관점을 효율적으로 찾아볼 수 있다. 이러한 내용은 컨퍼런스에서도 쉽게 들을 수 없다.”
- 한스 부왈다(Hans Buwalda)

“실제 자동화 프로젝트에서 얻은 가치 있는 경험과 팁, 교훈, 기억해야 할 점이 고스란히 담겨 있는 흥미진진하고 잘 작성된 광범위한 케이스 스터디 모음집이다. 자동화의 여정에서 어떤 것이 효과적이고 어떤 것이 그렇지 않은지를 자신의 직장 상사나 동료에게 알려주고 싶은 사람에게 아주 유용할 것이다.”
- 이사벨 에반스(Isabel Evans) / FBCS CITP, 돌핀 컴퓨터 액세스(Dolphin Computer Access)의 품질 관리자

“이 책에서는 무엇보다 먼저 효과적인 자동화 테스트의 본질을 설명한다. 매우 다양한 상황에서 오랜 기간 겪으면서 얻은 가치 있는 경험을 볼 수 있다. 자동화 테스트를 사용할 때 이 책을 참고하면 조직과 프로젝트에 가장 적합한 방법을 찾을 수 있을 것이고 문제 해결에도 도움이 될 것이다. 관리자, 테스터, 자동화 엔지니어 등 테스트에 관여하는 모두에게 대단히 가치가 높은 책이다.”
- 마틴 긱센(Martin Gijsen) / 독립 테스트 자동화 아키텍트

“도로시 그레이엄과 마크 퓨스터가 집필한 이 책은 테스트 자동화의 이론과 현실 사이에 매우 중요한 다리를 놓았다. 테스트 자동화 프레임워크의 설계와 구현은 선행 경험을 통해서만 얻을 수 있는 재사용 가능한 표준에 매달리는 정밀하지 못한 과학이다. 이 책은 선행 경험을 쌓는 데 도움이 된다. 사법 체계에서 앞선 판례가 이후의 법적 판결을 지지하는 데 인용되듯이, 이 책의 다양한 케이스 스터디도 소프트웨어 테스트 자동화 프레임워크를 설계하고 구현할 때나 지원하고 교육할 때 예시 자료로 활용될 수 있다.”
- 디온 존슨(Dion Johnson) / 자동화 테스트 연구소(Automated Testing Institute) 소프트웨어 테스트 컨설턴트이자 원리 고문

“오랫동안 ‘테스트 자동화는 해봐야 소용없다’는 입장을 유지해왔지만, 이 책은 이런 내 입장을 잠시 멈추고 심사숙고하게 만들었다. 또한 열린 마음으로 ‘아, 그건 미처 생각하지 못했네’라는 느낌을 갖게 했다. 테스트 자동화를 도입하려는 모든 조직에게 첫 레퍼런스로 이 책을 추천한다.”
- 오드리 렝(Audrey Leng)

“이 책은 놀라운 성과다. 테스트 자동화 분야에서 지금까지 쓰여진 최고의 책 중 하나라고 믿는다. 도로시와 마크는 눈길을 끄는 팁과 기억할 점, 배운 점을 포함한 완전히 새로운 개념의 접근 방법으로 28개의 케이스 스터디를 제시한다. 일상적인 경험과 성공, 실패에서 나오는 이 케이스 스터디는 자동화의 여러 관점과 다양한 환경, 혼합된 솔루션을 포함한다. 책은 지혜의 근원이며, 기억을 자극하여 배우는 데 도움을 주는 스토리텔링을 사용하기에 좋은 방법이다. 어떤 수준의 테스트 자동화든 현재 참여하고 있거나 참여할 계획이 있는 사람이라면 반드시 이 책을 봐야 한다.”
- 미케 게베스(Mieke Gevers)

테스트 자동화는 성배이고 젊음의 원천이며 현자의 돌이다. 테스터는 수십 년 동안 수동 테스트(테스트 케이스와 테스트 데이터 생성, 시스템 환경 설정, 테스트 실행, 기대 결과와 실제 결과 비교, 결함 보고)를 할 때의 힘들고 단조로운 작업을 반복하는 것을 해결할 방안으로 테스트 자동화를 생각해왔다. 테스트 자동화는 이 모든 작업을 단순화해줄 수 있다.

그렇지만 불행히도 성공적이고 효과적이며 비용 효율이 높은 테스트 자동화는 달성하기 어렵다. 대부분 테스트 자동화는 이미 방향을 잃은 후에 시작하거나, 계속 실패를 반복하는 프로젝트에 적용하는 경우가 많다.

자동화가 실패하는 이유는 여러 가지이지만, 대체로 실현 불가능한 기대치로 인한 경우가 많다. 이외에도 시간이나 사람, 돈 등 불충분한 자원 할당이나 요구사항에 맞지 않는 툴, 성공하려는 성급한 마음에 품질이 저하되거나 테스트 자동화도 개발 업무와 동일한 전문적 접근이 필요하다는 사실을 충분히 이해하지 못해서 실패한다.

도로시와 마크가 1999년에 펴낸 첫 책 『Software Test Automation』은 이러한 주제를 다루는 표준이 되었다. 이 책의 앞 부분에서는 대부분의 성공적인 자동화 업무(스크립트 기법, 비교 업무 자동화, 테스트웨어 아키텍처, 유용한 메트릭 등)에서 볼 수 있는 사례를 상세히 기술했다. 이어서, 테스트 자동화 업무를 개발했던 여러 조직의 경험담을 기술했다. 이제 두 저자들은 10여년 동안 쌓은 지식을 바탕으로 조직적이며 경험을 공유하는 자동화 업무와 관련한 새로운 가이드를 제시한다. 이 책은 테스트 자동화의 가장 현대적이면서도 고전적인 접근 방식을 기술하면서 최신의 정보까지 모두 제공한다. 각 장에서는 독특한 자동화 업무 관련 이야기(성공담과 실패담)를 펼친다.

이외에도 합리적이고 실현 가능한 목적, 경영진의 지원, ROI를 비롯한 메트릭, 필요한 기술, 계획, 기대치 설정, 관계 형성, 툴, 교육, 정치 등 성공적인 테스트 자동화에 필요한 모든 사항을 반복해 이야기한다. 이 같은 주제는 프로젝트에서 적용 가능하며 개인에게도 동일하게 적용할 수 있다. 이 책의 좋은 점은 테스트 자동화의 영역에서 한 발짝 벗어나 더 폭넓은 정황에서 이러한 주제를 고려해볼 수 있게 한다는 점이다. 내가 도로시와 마크를 처음 만난 건 1998년 뮌헨에서 열린 유로스(EUROSTAR) 컨퍼런스였다. 당시 이들의 테스트 자동화 관련 지식과 같은 업무를 하는 다른 사람을 돕겠다는 열정에 감명을 받았다. 도로시와 마크의 뛰어난 업적을 축하하며 이 책을 추천한다.

- 리 코플랜드(Lee Copeland)

테스트 자동화 툴은 30여년 동안 존재했지만, 많은 자동화 시도가 실패로 끝나거나 일부분만 성공했다. 왜 그럴까? 우리는 먼저 전작인 『Software Test Automation』에서 다뤘던 효과적인 자동화의 원칙이 여전히 유효한지를 확인하고 싶었고, 이외에도 실무에 적용할 수 있는 그 밖의 원칙은 무엇이 있는지 알아보고 싶었다. 그래서 실제 테스트 자동화 개발 관련 정보를 모으기 시작했고, 꽤 기쁜 사실을 발견했다. 10년간 많은 사람이 소프트웨어 테스트 자동화를 성공했고 많은 수가 우리 책을 참조했다. 물론 우리만 좋은 자동화 사례를 발견해서 저술한 것은 아니었지만, 성공적이고 오래가는 자동화는 오늘날에도 여전히 찾기 힘든 듯하다. 이 책에 담긴 이야기가 더욱 많은 이들이 테스트 자동화 업무를 하는 데 도움이 되기를 바란다.

이 책은 현실적인 자동화 이야기를 담고 있다. 테스트 자동화 기법은 초판이 출간된 1999년 이래로 괄목할 만큼 성장해왔다. 성공적인 접근법과 테스트 자동화를 통해 테스트되는 애플리케이션 이외에 몇 년간 테스트 자동화가 어떻게 변해왔는지를 알아내고자 했다. 자동화에 문제가 있을 때 각자의 방식으로 해결하는데, 이러한 경험에서 배울 점과 새로운 방식으로 테스트 자동화가 적용되는 시기와 방법을 찾고 싶었다.

이 책의 케이스 스터디는 성공적인 접근 방식과 실패한 방식 모두를 보여준다. 이 책은 보이지 않는 위험을 피하게 도와주고 이론이 아닌 실제 업무 환경에서 이룬 성공에서 배운 점을 이야기한다. 또한 다양한 전문가의 실제 경험을 살펴볼 수 있는 좋은 기회이다. 케이스 스터디에서는 주로 테스트 실행 자동화를 다루지만 자동화 유형이 언급된 장도 있다. 또한 사용자 인수 테스팅(user acceptance testing)을 포함한 시스템 레벨 자동화가 중점적으로 다뤄지며, 단위 테스팅(unit testing)이나 통합 테스팅(integration testing)을 다루는 장도 있다. 여러 유형의 애플리케이션 이외에 다양한 환경과 플랫폼에서의 테스트 자동화가 기술되며, 전형적인 개발 프로젝트와 애자일 개발 프로젝트에서의 상업용 애플리케이션과 오픈소스, 인하우스 툴을 다룬다. 부록에 기재된 것처럼 90여 개의 상업용과 오픈소스 툴(테스팅 툴만 아니라 각 장에서 사용하는 모든 툴을 포함)이 있으며 수많은 다양한 툴이 있다는 사실에 감탄했다.

경험담을 이야기할 때 저자나 회사 이름을 기재하지 않거나 별칭으로 한 경우도 있지만 내용은 모두 사실에 기반했다. 케이스 스터디를 이야기할 때 일반적인 조언을 주는 것보다는 일어난 일을 모두 기술해 줄 것을 권장했기 때문에 책에서 이야기하는 내용은 실제 있었던 일 그대로다!

도로시 그레이엄(Dorothy Graham)

전 세계에서 유명한 컨설턴트이자 강사 및 저자로 약 40년간 소프트웨어 테스팅 분야에서 활약 중이다. 그로브 컨설턴트(Grove Consultants)에서 약 19년 동안 근무했고, 현재는 학술회와 저술에 힘쓰고 있다. 1993년과 2009년 유로스타 컨퍼런스에서 프로그램 위원장을 맡았고, 소프트웨어 테스팅 분야에서 유러피언 엑셀런스 어워드를 수상했다. 퓨스터와 함께 베스트셀러였던 『Software Test Automation(소프트웨어 테스트 자동화)』(Addison-Wesley, 1999)를 공저했다.

마크 퓨스터(Mark Fewster)

30년간 소프트웨어 테스팅과 자동화 분야에서 다양한 경험을 쌓았다. 다중 플랫폼 그래픽 애플리케이션의 개발자 및 관리자로서 견고한 테스트 자동화 아키텍처를 설계했다. 1993년 이후 지금까지 그로브 컨설턴트에서 소프트웨어 테스팅의 모든 분야에 관한 교육과 컨설팅에 힘쓰고 있다. 그레이엄과 함께 『Software Test Automation(소프트웨어 테스트 자동화)』(Addison-Wesley, 1999)를 공저했다.

테스트 자동화는 QA와 테스트 엔지니어의 로망이다. 테스트 자동화를 꾸며주는 화려한 수식어를 듣고 있으면, 당장이라도 나를 오아시스로 이끌어 줄 것만 같다. 자동화 버튼을 한 번 눌러 두고, 그저 여유롭게 야자수 아래에서 열매나 따 먹으면 될 것 같은 상상을 하게 된다. 하지만 현실은 다르다.

내 경험에 비추어보면 국내에서는 5년 전만 해도, 테스트 자동화는 실패가 당연한 것으로 보였다. 자동화가 돌아간다는 짧은 환희만 맛볼 뿐, 인공호흡기를 늘 해주어야 연명해나가는 것이 테스트 자동화였던 것 같다.

다윗과 골리앗의 이야기를 들어 본 적 있을 것이다. 다윗은 왕의 갑옷과 칼을 착용하고 시험삼아 몇 걸음 걸어보지만, 거추장스러워서 도저히 행동할 수 없었다고 한다. 결국 다윗이 골리앗을 상대할 때 사용한 것은, 늘 손에 있던 물맷돌이었다. 골리앗과 같은 자동화에 맞서 승리를 약속해준다고 말하는 최신의 툴과 플랫폼이 많이 있지만, 오랜 시간에 걸쳐 사용하여 내 손에 익숙하지 않다면 왕의 갑옷과 칼처럼 결국 몇 걸음 걷지 못하고 주저앉게 될 것이다.

이 책은 왕의 갑옷과 칼을 소개하는 책이 아니다. 이 책의 저자들은 스스로 오랜 시간 동안 손에 쥐고 수 없이 사용해 본 자신의 손에 맞는 물맷돌을 소개한다. 어떻게 성공했는지, 어떻게 실패했는지 솔직하게 말해준다. 여기 소개된 스토리들을 그대로 답습하는 것이 성공을 보장하진 않는다. 하지만 인내심을 갖고 내게 맞는 물맷돌을 찾아가는 여정에 있어 도움을 주는 것은 분명하다.

시스템은 더욱 복잡해지고, 서비스를 제공해야 하는 환경은 점점 많아진다. 모바일 환경은 이제 확장 환경 중 하나가 아닌 필수가 되었다. 그렇다고 PC 환경도 놓칠 수는 없다. 이런 환경에서 테스트 커버리지는 개발자가 하든 테스트 엔지니어가 하든 상관없이, 혹은 맨 손으로 하건 자동화를 통해서 하건 상관없이 어느 수준 이상으로 달성해야 한다. 개발 환경에서 애자일 방법은 곧 반복적인 테스트를 말하고 이는 수동으로는 더 이상 감당할 수 없는 상황이다.

이젠, 내 손에 익숙한 무엇인가를 들고 나가야 한다. 그것이 상용 툴일 수도 있고 오픈 소스 툴일 수도 있다. 이미지 기반의 툴이 될 수도 있고, DOM 트리 분석 기반 툴일 수도 있다. 무엇이 가장 좋은지는 누구도 장담할 수 없다. 다만 내 손에 익숙해져서 목표를 향해 던지고 싶을 때 던질 수 있는 물맷돌과 같은 툴이면 된다. 이 책의 사례를 통해, 내 손에 맞는 물맷돌을 찾고 던지는 연습을 시작해야겠다는 용기를 얻을 수 있을 것이다. 그리고 연습을 시작한다면 어느 순간에는 나도 이런 사례를 적게 될 것이다.

여용구

현재 네이버 비즈니스플랫폼 QA팀에 재직 중이다. 1년이 지나도 살아있는, 내실 있는 테스트 자동화에 관심이 있다. 주요 번역서로는 『소프트웨어 테스팅, 마이크로소프트에선 이렇게 한다』(에이콘출판, 2009)가 있다.

김윤명

현재 GlobalEnglish Korea Inc.에서 시니어 QA 엔지니어로 근무하고 있다. 관심사는 애자일 테스팅으로 애자일 테스팅의 올바른 프랙티스와 애자일 방법론 내에서의 효율적인 테스트 자동화를 고민하고 있다. 주요 번역서로는 『소프트웨어 테스팅, 마이크로소프트에선 이렇게 한다』(에이콘출판, 2009)와 『뷰티풀 테스팅』(지앤선, 2011)이 있다.

황영석

명지대학교에서 컴퓨터공학 석사학위를 받고, 네이버 비즈니스플랫폼 QA팀에서 품질 관리 업무를 하고 있다. 주요 관심 분야는 웹 테스팅, 모바일 테스팅, 자동화 테스팅이다.

성찬혁

현재 네이버 비즈니스플랫폼 QA팀에서 QA 엔지니어로 재직 중이다. 저녁이 있는 아름다운 삶을 꿈꾸며, 효과적이고 효율적인 테스트를 위한 연구에 많은 관심을 갖고 테스트 자동화 관련하여 다양한 시도를 해보고 있다. 우리나라 QA 분야의 발전에 조금이나마 기여할 수 있는 방법을 여러모로 모색하는 중이다.