책 소개
요약
최적화 문제를 푸는 데 유용한 알고리즘을 광범위하게 소개한다. 다차원 문제에서 다목적 문제뿐 아니라 불확실성하에서의 최적화 및 유전 알고리즘도 다루고 있다. 세세하고 친절한 그림, 예제와 연습 문제는 문제 뒤에 있는 수학 개념을 이해하기 쉽게 만들고, 최근 과학 분야에서 인기가 급상승하는 언어인 줄리아로 모든 문제를 구현한다.
이 책을 통해 다차원, 국지적 하강법, 1계 및 2계 방법, 확률적 방법, 선형 제약 최적화, 대리모델, 불확실성하에서의 최적화, 불확실성 전파, 표현식 최적화 및 다학제 설계 최적화까지 최적화의 다양한 기법을 숙지함으로써, 최근 유행하는 머신러닝과 딥러닝의 이론 및 실무에 유용하게 적용할 수 있을 것이다.
수학, 통계, 컴퓨터 공학, 모든 공학 분야(전기 공학, 항공우주 공학 포함), 운영 연구 분야의 고급 학부생과 대학원생이 볼 수 있으며, 전문가는 참고 자료로 사용할 수 있다. 특히 고급 단계로 넘어가고자 하는 공학도, 경영과학도, 경제학도에게는 필수 서적이라고 할 수 있다.
추천의 글
“정말 훌륭한 책이다. 디자인이 아름다우며, 줄리아를 사용해 알고리즘을 명확하고 정밀하게 만들었다. 고전적 방법에서 가장 최근의 방법까지 최적화 세계에서 완벽한 보고서다. 수업용 교과서로 쓰기도 좋고, 현대 최적화의 일관성 있는 요약본으로도 유용하다.
- 마이클 트릭(Michael Trick), 카네기멜론대학교의 경영과학부 Harry B and James H Higgins 교수
“아름다운 그림과 예제를 통해 모든 독자는 풍부한 지식을 얻고 직관을 발견할 것이다. 코드 부분은 줄리아와 최적화로의 간결하고 의미 있는 입문을 제공할 것이다.”
- 마이클 손더스(Michael Saunders), 스탠퍼드대학교 연구교수
“코첸더퍼와 윌러는 독자들이 최적화의 현대적 실무를 이해하기 위해 필요한 모든 것을 담았다. 예를 들어, 예전에는 고립된 시뮬레이션이라 하던 것이 지금은 최적화 문제의 내부 루프다. 공학, 컴퓨터 과학, 금융, 응용수학의 모든 학생 또는 전문가는 고전적 기초부터 대리모델, 불확실성 전파와 다분야 통합 최적화에 대해 재미있고 많이 사용되는 더 현대적인 내용을 배우기 위해 이 책의 코드를 읽고 실행하면 좋을 것이다. 독서의 용이성, 인상 깊은 디자인, 실행 가능한 코드와 유쾌한 일화는 이 책을 고전으로 만들 것이다.”
- 알랜 에델만(Alan Edelman), MIT 응용수학과 교수
상세 이미지
목차
목차
- 1장. 들어가며
- 1.1 역사
- 1.2 최적화 프로세스
- 1.3 기본 최적화 문제
- 1.4 제약식
- 1.5 임계점
- 1.6 국지적 극소점의 조건
- 1.7 등고선 그래프
- 1.8 개요
- 1.9 요약
- 1.10 연습문제
- 2장. 미분과 그래디언트
- 2.1 미분
- 2.2 다차원에서의 미분
- 2.3 수치 미분
- 2.4 자동미분
- 2.5 요약
- 2.6 연습문제
- 3장. 괄호법
- 3.1 단봉성
- 3.2 최초의 괄호를 발견하는 법
- 3.3 피보나치 탐색
- 3.4 황금분할 탐색
- 3.5 2차 적합 탐색
- 3.6 슈베르트-피야브스키법
- 3.7 이진 탐색
- 3.8 요약
- 3.9 연습문제
- 4장. 국지적 경사
- 4.1 경사 방향 반복 시행
- 4.2 라인 탐색
- 4.3 근사적 라인 탐색
- 4.4 신뢰 영역법
- 4.5 종료 조건
- 4.6 요약
- 4.7 연습문제
- 5장. 1계 도함수법
- 5.1 그래디언트 하강
- 5.2 켤레 그래디언트법
- 5.3 모멘텀
- 5.4 네스테로프 모멘텀
- 5.5 아다그라드
- 5.6 알엠에스프롭
- 5.7 아다델타
- 5.8 아담
- 5.9 하이퍼그래디언트 하강
- 5.10 요약
- 5.11 연습문제
- 6장. 2계 도함수법
- 6.1 뉴턴법
- 6.2 시컨트법
- 6.3 준뉴턴법
- 6.4 요약
- 6.5 연습문제
- 7장. 직접법
- 7.1 순환적 좌표 탐색
- 7.2 파월법
- 7.3 후크-지브스법
- 7.4 일반화 패턴 탐색
- 7.5 넬더-미드 심플렉스법
- 7.6 사각형 분할
- 7.7 요약
- 7.8 연습문제
- 8장. 확률적 방법
- 8.1 잡음 하강
- 8.2 메시 적응적 직접 탐색
- 8.3 모의 담금질
- 8.4 교차 엔트로피법
- 8.5 자연 진화 전략
- 8.6 공분산 행렬 적응법
- 8.7 요약
- 8.8 연습문제
- 9장. 모집단 방법
- 9.1 초기화
- 9.2 유전 알고리즘
- 9.3 미분 진화
- 9.4 입자 군집 최적화
- 9.5 반딧불이 알고리즘
- 9.6 뻐꾸기 탐색
- 9.7 혼합 방법
- 9.8 요약
- 9.9 연습문제
- 10장. 제약식
- 10.1 제약조건이 있는 최적화
- 10.2 제약조건의 형태
- 10.3 제약조건을 제거하는 변환
- 10.4 라그랑주 승수
- 10.5 부등식 제약조건
- 10.6 쌍대성
- 10.7 페널티법
- 10.8 확대 라그랑주법
- 10.9 내부점법
- 10.10 요약
- 10.11 연습문제
- 11장. 선형 제약 최적화
- 11.1 문제 구성
- 11.2 심플렉스 알고리즘
- 11.3 쌍대 자격
- 11.4 요약
- 11.5 연습문제
- 12장. 다중 목적 최적화
- 12.1 파레토 최적성
- 12.2 제약식 방법
- 12.3 가중치 방법
- 12.4 다목적 모집단법
- 12.5 선호 추출
- 12.6 요약
- 12.7 연습문제
- 13장. 샘플링 플랜
- 13.1 완전 요인법
- 13.2 랜덤 샘플링
- 13.3 균등 투영 플랜
- 13.4 층화 추출법
- 13.5 공간 채움 척도
- 13.6 공간 채움 부분 집합
- 13.7 준랜덤 수열
- 13.8 요약
- 13.9 연습문제
- 14장. 대리 모델
- 14.1 대리 모델의 적합화
- 14.2 선형 모델
- 14.3 기저 함수
- 14.4 잡음을 포함한 목적 함수의 적합화
- 14.5 모델 선택
- 14.6 요약
- 14.7 연습문제
- 15장. 확률적 대리 모델
- 15.1 가우시안 분포
- 15.2 가우시안 프로세스
- 15.3 예측
- 15.4 그래디언트 측정
- 15.5 측정 잡음
- 15.6 가우시안 프로세스 적합화
- 15.7 요약
- 15.8 연습문제
- 16장. 대리 최적화
- 16.1 예측 기반 탐험
- 16.2 오차 기반 탐험
- 16.3 신뢰 구간 하계 탐험
- 16.4 개선 확률 탐험
- 16.5 기대 개선 탐험
- 16.6 안전 최적화
- 16.7 요약
- 16.8 연습문제
- 17장. 불확실성하에서의 최적화
- 17.1 불확실성
- 17.2 집합 기반 불확실성
- 17.3 확률적 불확실성
- 17.4 요약
- 17.5 연습문제
- 18장. 불확실성 전파
- 18.1 샘플링법
- 18.2 테일러 근사
- 18.3 다항식 카오스
- 18.4 베이지안 몬테카를로
- 18.5 요약
- 18.6 연습문제
- 19장. 이산 최적화
- 19.1 정수 계획
- 19.2 라운딩
- 19.3 절단 평면
- 19.4 분기 한정법
- 19.5 동적 계획법
- 19.6 개미집단 최적화
- 19.7 요약
- 19.8 연습문제
- 20장. 표현식 최적화
- 20.1 문법
- 20.2 유전 계획법
- 20.3 문법적 진화 기법
- 20.4 확률적 문법
- 20.5 확률적 프로토타입 트리
- 20.6 요약
- 20.7 연습문제
- 21장. 다분야 통합 최적화
- 21.1 분야 분석
- 21.2 분야 간 일관성
- 21.3 구조
- 21.4 다분야 통합 설계 실현 가능
- 21.5 순차적 최적화
- 21.6 개별 분야 실현 가능
- 21.7 협업 최적화
- 21.8 연립 분석과 설계
- 21.9 요약
- 21.10 연습문제
- 부록 A. 줄리아
- A.1 타입
- A.2 함수
- A.3 제어 흐름
- A.4 패키지
- 부록 B. 테스트 함수
- B.1 액클리 함수
- B.2 부스 함수
- B.3 브라닌 함수
- B.4 플라워 함수
- B.5 미칼레비츠 함수
- B.6 로젠브록의 바나나 함수
- B.7 윌러의 릿지
- B.8 원형 함수
- 부록 C. 수학 개념
- C.1 점근 표기법
- C.2 테일러 전개
- C.3 볼록성
- C.4 놈
- C.5 행렬 미적분
- C.6 양정부호
- C.7 가우시안 분포
- C.8 가우시안 구적
- 부록 D. 해답