엑셀로 배우는 순환 신경망· 강화학습 초입문: RNN(순환신경망).DQN(심층Q-네트워크)편

머리말
역자 서문
이 책의 사용 방법
엑셀 샘플 파일 다운로드 방법


1장 RNN, DQN을 위한 준비
§ 01 RNN, DQN의 첫걸음
▶ 시계열 데이터를 다루게 된 ‘RNN’.
▶ 학습하는 로봇의 지능을 현실로 만든 ‘DQN’..
▶ 왜, 지금 AI가 꽃을 피웠는가?
▶ RNN, DQN을 엑셀로 체험

§ 02 사용할 엑셀 함수는 10개 남짓
▶ 사용할 주요 엑셀 함수
▶ TANH 함수
▶ OFFSET 함수
▶ MATCH 함수
▶ 배열 수식
▶ MMULT 함수

§ 03 최적화 계산이 불필요한 엑셀의 해 찾기
▶ 해 찾기를 사용해 보자
▶ 해 찾기로 구한 ‘최솟값’은 국소해

§ 04 데이터 분석에는 최적화가 필수
▶ 최적화는 데이터 분석에 필수
▶ 회귀분석이란?
▶ 구체적인 예로 회귀분석의 논리를 이해
▶ 회귀분석을 이해하면 데이터 분석도 이해돼


2장 엑셀로 배우는 신경망
§ 01 출발점이 되는 뉴런 모델
▶ 생물의 뉴런 구조
▶ 뉴런의 입력 처리 방법
▶ 발화
▶ 뉴런의 ‘입출력’을 수식으로 표현
▶ 뉴런의 ‘발화’를 수식으로 표현

§ 02 신경세포를 모델링한 인공 뉴런
▶ 뉴런의 움직임을 정리하면
▶ 발화 조건을 함수로 표현
▶ 인공 뉴런
▶ 뉴런의 간단한 그림
▶ 시그모이드 함수
▶ 시그모이드 뉴런
▶ 시그모이드 뉴런의 일반화
▶ 인공 뉴런과 활성화 함수의 정리
▶ 엑셀로 뉴런의 동작 재현
▶ ‘입력의 선형합’의 내적 표현 .

§ 03 신경망의 사고방식
▶ 입력층의 역할
▶ 은닉층의 역할
▶ 출력층의 역할
▶ 뉴런 1개는 지능이 없다!
▶ 특징 추출의 구조
▶ 출력층의 ‘판정원’은 정리하는 역할
▶ 구조를 정리하면
▶ 임곗값의 역할은 불필요한 정보를 차단하는 것
▶ 가중치와 임곗값의 결정 방법
▶ 신경망의 아이디어 정리

§ 04 신경망을 식으로 표현
▶ 변수명을 정하는 규칙
▶ 신경망을 식으로 표현
▶ 신경망 출력의 의미
▶ 정답을 변수화
▶ 제곱오차의 식 표현
▶ 모델의 최적화
▶ 신경망의 목적 함수

§ 05 엑셀로 배우는 신경망
▶ 훈련 데이터의 준비
▶ 신경망의 사고방식에 따라 함수 설정
▶ 목적 함수의 산출
▶ 신경망의 최적화
▶ 최적화된 파라미터 해석
▶ 신경망을 테스트하자

§ 06 보편성 정리
▶ 가중치와 임곗값을 구하는 방법


3장 엑셀로 배우는 RNN
§ 01 RNN의 사고방식
▶ 구체적인 예로 생각한다
▶ 종래의 신경망에 적용해보면?
▶ 신경망이 기억을 갖게 해주는 RNN
▶ 순환 신경망을 나타내는 그림
▶ 컨텍스트 노드의 계산
▶ 다른 예로 확인
▶ 파라미터의 결정 방법은 신경망과 동일

§ 02 순환 신경망을 식으로 표현
▶ 구체적인 과제로 생각한다 .
▶ 수식화 준비
▶ 뉴런의 입출력을 수식으로 표현
▶ 훈련 데이터 준비
▶ 구체적인 식으로 나타내본다
▶ 최적화를 위한 목적 함수를 구한다
▶ 최적화는 목적 함수의 최소화

§ 03 엑셀로 배우는 순환 신경망
▶ 구체적인 예로 생각한다
▶ 문자 코드화와 단어의 분해
▶ 파라미터의 초깃값 설정
▶ 첫 번째 문자의 계산 확인
▶ 두 번째 문자의 계산 확인
▶ 가중치에 음의 값 허용
▶ 단어 수를 늘려 확인


4장 엑셀로 배우는 Q학습
§ 01 Q학습의 사고방식
▶ 강화학습
▶ Q학습을 개미를 이용해 이해
▶ 좀 더 상세히 알아보자
▶ ‘냄새가 강한 방향으로’가 개미의 기본 행동
▶ ε-greedy 법으로 개미의 모험심을 표현
▶ 출구 정보의 갱신
▶ 학습률
▶ 개미의 행동 요약

§ 02 Q학습을 식으로 표현
▶ 개미를 이용해 배우는 Q학습 용어
▶ Q 값은 표의 이미지
▶ Q 값의 의미
▶ Q 값의 표와 개미와의 대응
▶ Q 학습의 수식에서 이용되는 기호의 의미
▶ 개미의 동작을 기호로 정리하면
▶ 할인율 γ, 학습률 a의 의미
▶ 수정 ε-greedy법
▶ 학습의 종료 조건

§ 03 엑셀로 배우는 Q학습
▶ 과제 확인
▶ 워크시트 작성상의 유의점 .
▶ 워크시트로 Q학습


5장 엑셀로 배우는 DQN
§ 01 DQN의 사고방식
▶ DQN의 구조
▶ 개미를 이용해 배우는 DQN
▶ DQN의 입출력 .
▶ DQN의 목적 함수
▶ 최적화 도구로 해 찾기 이용

§ 02 엑셀로 배우는 DQN
▶ 과제 확인
▶ 신경망과 활성화 함수의 가정
▶ Q학습의 결과 정리
▶ 입력층 데이터의 코드화
▶ 가중치와 임곗값의 초깃값 설정
▶ 은닉층에 대해 ‘입력의 선형합’을 구한다
▶ 은닉층의 출력을 구한다
▶ 출력층에 대한 ‘입력의 선형합’을 구한다
▶ 신경망의 목적 함수 계산
▶ DQN의 최적화
▶ DQN의 결과 확인
▶ 적합도를 올리기 위해서는 .


부록
§ A 훈련데이터
§ B 해 찾기의 설치 방법

§ C 순환