강화학습 (reinforcement learning) 정책 학습과 가치 학습 비교 - 정책 경사 (policy gradient)를 이용한 Atari Space Invaders

정책 학습과 가치 학습

강화학습 (reinforcement learning)에서는 Agent를 정책 학습과 가치 학습 두가지 범주의 방식으로 학습시킨다고 한다. 정책 학습은 보상(reward)를 최대화하는 정책(policy)를 직접 학습하고, 가치 학습은 상태(status)와 행동(action)의 모든 가치(value)를 학습한다.

본 포스트에서는 gym을 이용한 Atari 게임 Space Invaders 환경에서 정책 경사를 이용해 정책을 학습하는 Agent를 만들고 학습이 잘 이루어지는지 테스트하였다.


정책 경사 (policy gradient)를 이용한 Atari 게임 Space Invaders 학습

openai gym Atari 게임 Space Invaders


openai gum 설치 후 여러 게임 환경을 불러올 수 있다. 그중 본 포스트에서는 Space Invaders 사용했다.


import gym

env = gym.make("SpaceInvaders-v0")
or 
env = gym.make("SpaceInvaders-ram-v0")

위의 코드를 사용해 Space Invaders 게임 환경을 불러올 수 있다. 'SpaceInvaders-v0'는 (210,160,3) 형태의 이미지 데이터를, 'SpaceInvaders-ram-v0'는 128바이트 형태의 데이터를 observation으로 반환한다. 본 포스트에서는 'SpaceInaders-ram-v0'를 사용하였다.


ipdb> observation
array([[[ 0,  0,  0],
        [ 0,  0,  0],
        [ 0,  0,  0],
        ...,
        [ 0,  0,  0],
        [ 0,  0,  0],
        [ 0,  0,  0]],

       [[ 0,  0,  0],
        [ 0,  0,  0],
        [ 0,  0,  0],
        ...,
        [ 0,  0,  0],
        [ 0,  0,  0],
        [ 0,  0,  0]],

       [[ 0,  0,  0],
        [ 0,  0,  0],
        [ 0,  0,  0],
        ...,
        [ 0,  0,  0],
        [ 0,  0,  0],
        [ 0,  0,  0]],

       ...,

       [[80, 89, 22],
        [80, 89, 22],
        [80, 89, 22],
        ...,
        [80, 89, 22],
        [80, 89, 22],
        [80, 89, 22]],

       [[80, 89, 22],
        [80, 89, 22],
        [80, 89, 22],
        ...,
        [80, 89, 22],
        [80, 89, 22],
        [80, 89, 22]],

       [[80, 89, 22],
        [80, 89, 22],
        [80, 89, 22],
        ...,
        [80, 89, 22],
        [80, 89, 22],
        [80, 89, 22]]], dtype=uint8)

ipdb> observation.shape
(210, 160, 3)


ipdb> observation
array([  0,   7,   0,  68, 241, 162,  34, 183,  68,  13, 124, 255, 255,
        50, 255, 255,   0,  36,  63,  63,  63,  63,  63,  63,  82,   0,
        23,  43,  35, 117, 180,   0,  36,  63,  63,  63,  63,  63,  63,
       110,   0,  23,   1,  60, 126, 126, 126, 126, 255, 255, 255, 195,
        60, 126, 126, 126, 126, 255, 255, 255, 195,  60, 126, 126, 126,
       126, 255, 255, 255, 195,   0,   0,  48,   3, 129,   0,   0,   0,
         0,   0,   0, 246, 246,  63,  63, 246, 246,  63,  63,   0,  21,
        24,   0,  52,  82, 196, 246,  20,   7,   0, 226,   0,   0,   0,
         0,   0,  21,  63,   0, 128, 171,   0, 255,   0, 189,   0,   0,
         0,   0,   0,  99, 255,   0,   0, 235, 254, 192, 242], dtype=uint8)

ipdb> observation.shape
(128,)


episode 상태 데이터

학습은 게임 에피소드가 끝난 후 진행하도록 했다. 그간의 에피소드의 데이터 observation, action, reward들은 별도의 class를 만들어 저장했다.

class EpisodeData:
    
    def __init__(self):
        self.observations = []
        self.actions = []
        self.rewards = []
        
    def store(self, observation, action, reward):
        self.observations.append(observation)
        self.actions.append(action)
        self.rewards.append(reward)
        
    def add(self, observations, actions, rewards):
        self.observations += observations
        self.observations += actions
        self.observations += self.get_discount_rewards(rewards)
    
    def get_discount_rewards(self, rewards, gamma=0.95):
        discounted_returns = [0 for _ in rewards]
        cumulative = 0
        for t in reversed(range(len(self.rewards))):
            cumulative = cumulative * gamma + rewards[t]
            discounted_returns[t] = cumulative
        
        if np.std(discounted_returns) == 0:
            return discounted_returns
        
        discounted_returns -= np.mean(discounted_returns)
        discounted_returns /= np.std(discounted_returns)
            
        return discounted_returns
    
    def reset(self):
        self.observations = []
        self.actions = []
        self.rewards = []


위 class에서는 보상(reward) 데이터를 시간에 따라 감소하는 discounted reward 함수도 추가되어 있다.


감쇠 된 미래 수익/보상 discounted future reward

어떠한 한 행동(Action)이 보상(reward)을 결정 짓는 것은 아니다. 보상을 얻기 전 일련의 행동들 모두가 이 보상들과 관련되어 있다. 행동의 즉각적인 보상 뿐만 아니라 행동이 미래에 가져올 보상도 더해줄 필요가 있다. 이를 미래 수익이라고 한다. 



하지만, 위 그림의 가운데처럼 단순히 미래 수익을 더해주기만 한다면, 너무 먼 미래의 수익에만 의존하거나, 어느 정도의 시간에 미래 수익/보상을 바라볼 지에 대한 처리 시간에 대한 문제가 발생한다. 이에 위 그림의 오른쪽처럼 먼 미래의 수익은 감쇠하면 너무 먼 미래 수익을 바라보는 문제와 시간처리에 대한 문제를 해결할 수 있다. 이를 감쇠 된 미래 수익(discounted future reward)이라고 한다. 감쇠 파라메터 gamma는 일반적으로 0.99~0.97 사이로 설정한다고 한다. 



정책 경사 (policy gradient) 에이전트

정책 경사(policy gradient)역시 일반적인 딥러닝에서의 경사 하강법을 그대로 사용할 수 있다고 한다. 


위 공식을 이용해 손실 함수를 구성하였다. 


class PolicyGradientAgent:      
    def build_model(self):
        with tf.name_scope('ryan_pgagent'):
            self.observation_input = tf.placeholder(shape=[None, self.observation_size],
                                              dtype=tf.float32, name='observation')
            self.action_input = tf.placeholder(shape=[None],
                                         dtype=tf.int32, 
                                         name='action')
            self.discounted_rewards_input = tf.placeholder(shape=[None],
                                                     dtype=tf.float32,
                                                     name='discounted_rewards')

            self.h0 = tf.layers.dense(inputs=self.observation_input, 
                                      units=self.hidden_layer_unit,
                                      activation=tf.nn.relu,
                                      name='h0')
            self.h1 = tf.layers.dense(inputs=self.h0,
                                      units=self.hidden_layer_unit, 
                                      activation=tf.nn.relu,
                                      name='h1')
            self.h2 = tf.layers.dense(inputs=self.h1,
                                      units=self.hidden_layer_unit, 
                                      activation=tf.nn.relu,
                                      name='h2')
            self.h3 = tf.layers.dense(inputs=self.h2,
                                      units=self.hidden_layer_unit, 
                                      activation=tf.nn.relu,
                                      name='h3')
            self.out = tf.layers.dense(inputs=self.h3,
                                       units=self.num_actions,
                                       activation=None,
                                       name='out')
            # Softmax outputs
            self.out_softmax = tf.nn.softmax(self.out, name='out_softmax')
        
        neg_log_prob = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=self.out, labels=self.action_input)
        self.loss = tf.reduce_mean(neg_log_prob * self.discounted_rewards_input)
        self.train_op = tf.train.AdamOptimizer(learning_rate=self.learning_rate).minimize(self.loss)    
    

위 코드는 딥러닝 모델을 만드는 함수다. 입력은 observation, action, discounted reward 3가지며, 손실 함수는 self.loss와 같이 구성할 수 있다. self.out은 학습 과정 중 신경망의 출력으로 나오는 action이고, self.action은 환경에서 행해진 action이다. 손실 최소화는 AdamOptimizer를 사용하였다.


class PolicyGradientAgent:

    def epsilon_greedy_action(self, action, epsilon):
        if random.random() < epsilon:
            return np.argmax(np.random.random(action.shape))
        return np.random.choice(range(len(action.ravel())), p=action.ravel())
        
    def get_action(self,observation,epsilon):
        observation = observation[np.newaxis, :]
        predicted_action = self.sess.run(self.out_softmax, feed_dict = {self.observation_input: observation})
        return self.epsilon_greedy_action(predicted_action, epsilon) 

에이전트가 지역 최소화에 빠지는 것을 방지하고자 get_action함수에서 엡실론 그리디를 활용했다.

policy gradient agent의 나머지 소스 코드는 아래와 같다. 


import tensorflow as tf
import numpy as np
import random

class PolicyGradientAgent:
    
    def __init__(self, observation_size, num_actions,learning_rate=0.01, hidden_layer_unit=10):
        tf.reset_default_graph()
        self.observation_size = observation_size
        self.num_actions = num_actions
        self.learning_rate = learning_rate
        self.hidden_layer_unit = hidden_layer_unit
        self.data = EpisodeData()    
        self.build_model()
        self.sess = tf.Session()   
        self.sess.run(tf.global_variables_initializer())
            
    def store(self, observation, action, reward):
        self.data.store(observation=observation,action=action,reward=reward)
    
    def learn(self,gamma=0.95):
        # discount and normalize reward
        discounted_rewards = self.data.get_discount_rewards(self.data.rewards,gamma=gamma)
        
        # train
        _,loss = self.sess.run([self.train_op,self.loss], feed_dict={
             self.observation_input: np.array(self.data.observations),
             self.action_input: np.array(self.data.actions),
             self.discounted_rewards_input: discounted_rewards})
    
        # reset the data
        self.data.reset()
        return loss



정책 경사(policy gradient) 에이전트 학습 함수

학습 함수는 아래와 같다.

2000회의 에피소드를 실행하며 학습한다. 에피소드 데이터는 별도로 모아두었다. 각 에피소드가 끝날 때마다 agent에 넘겨준다. 매 5회의 에피소드가 끝날때 그때까지 모인 observation, action, reward데이터를 사용하여 agent를 학습시킨다.


import gym
import time
import numpy as np
from RyanPolicyGradientAgent import PolicyGradientAgent,EpisodeData
import matplotlib.pyplot as plt

MAX_EPISODES = 2000
MAX_EPISODES_STEP = 5000

def training(env,agent):
    
    if env == None or agent == None:
        return
    
    training_done_count = 0
    rewards_log = []
    steps_log = []
    loss_log = []

    for episode in range(MAX_EPISODES):
        
        print('episode ',episode)
        step = 0
        reward_sum = 0
        ale_lives = 3
        epsilon = 1.0/((episode/1.0)+1.0)
        observation = env.reset()

        while (ale_lives > 0 and step <= MAX_EPISODES_STEP):
            step += 1
            #env.render()
            action = agent.get_action(observation,epsilon)
            observation_, reward, done, info = env.step(action)
      
            reward_sum += reward
            
            if info['ale.lives'] != ale_lives:
                ale_lives = info['ale.lives']
            
            agent.store(observation=observation, action=action, reward=reward)        
            observation = observation_
                            
            if done or step >= MAX_EPISODES_STEP:
                loss = agent.learn()   
                loss_log.append(loss)
                rewards_log.append(reward_sum)
                steps_log.append(step)
                print('steps ', step,' reward sum: ',reward_sum, ' loss:',loss)
                break;
            
           
        if ale_lives > 0:
            training_done_count += 1
        else:
            training_done_count = 0
        
        if training_done_count > 10:
            print('training done')
            break
    
    #
    print('loss')
    plt.bar(range(len(loss_log)), loss_log, color="red")
    plt.show()
    print('steps')
    plt.bar(range(len(steps_log)), steps_log, color="green")
    plt.show()
    print('reward')
    plt.bar(range(len(rewards_log)), rewards_log, color="blue")
    plt.show()



위 학습함수는 아래 코드처럼 env와 agent를 만들어 구동한다. 


env = gym.make("SpaceInvaders-ram-v0")
observation = env.reset()
agent= PolicyGradientAgent(observation_size=observation.shape[0],
                    num_actions=env.action_space.n,learning_rate=0.01,hidden_layer_unit=10)
training(env,agent)
env.close()


정책 경사(policy gradient) 에이전트 학습 결과



구현된 코드를 사용하여 학습을 진행하면 위 그림과 같은 결과를 얻을 수 있다. 학습이 이루어지지 않는 것처럼 보인다. 학습에 사용되는 episode 수를 늘린다고 해도 학습될 것 같지 않다. 

단순히 결과를 보면 정책 경사(policy gradient) 학습법으로는 Space Invaders 게임의 Agent를 만들 수 없어 보인다. 

물론 구현상의 문제일 수도 있다. Q-learning을 먼저 구현 테스트 해보고 policy gradient agent 구현 내용을 다시 살펴보자.



정책 경사(policy gradient) 에이전트를 이용한 CartPole-v0

Space Invaders 게임 학습 결과가 기대에 미치지 않아 CartPole 환경에서 학습 테스트를 진행했다. 약간의 버그를 발견해 수정했다. (포스트의 코드도 수정했다.)

CartPole 환경의 학습 코드는 아래와 같다. 


import gym
import time
import numpy as np
from RyanPolicyGradientAgent import PolicyGradientAgent
import matplotlib.pyplot as plt

MAX_EPISODES = 5000
MAX_EPISODES_STEP = 5000

def training(env,agent):
    
    if env == None or agent == None:
        return
    
    training_done_count = 0
    rewards_log = []
    steps_log = []
    loss_log = []
    
    for episode in range(MAX_EPISODES):
        print('episode ',episode)
        observation = env.reset()
        episode_reward = 0
        epsilon = 1.0/((episode/2.0)+1.0)
        
        for step in range(1,MAX_EPISODES_STEP+1,1):
            action = agent.get_action(observation,epsilon)
            observation_, reward, done, info = env.step(action)
    
            agent.store(observation=observation, action=action, reward=reward)
            
            episode_reward += reward
            observation = observation_
                
            if done or step>=MAX_EPISODES_STEP:
                
                if step>=MAX_EPISODES_STEP:
                    training_done_count += 1    
                else:
                    training_done_count = 0
                    
                loss = agent.learn()
                rewards_log.append(episode_reward)
                steps_log.append(step)
                loss_log.append(loss)
                
                print(' - steps:', step,' reward sum: ',episode_reward,' loss: ',loss)
                break
            
        if training_done_count > 10:
            print('training done')
            break
    
    #
    print('loss')
    plt.bar(range(len(loss_log)), loss_log, color="red")
    plt.show()
    print('steps')
    plt.bar(range(len(steps_log)), steps_log, color="green")
    plt.show()
    print('reward')
    plt.bar(range(len(rewards_log)), rewards_log, color="blue")
    plt.show()



env = gym.make('CartPole-v0')
env._max_episode_steps = MAX_EPISODES_STEP+2

agent= PolicyGradientAgent(observation_size=env.observation_space.shape[0],num_actions=env.action_space.n,hidden_layer_unit=10)

training(env,agent)

env.close()


학습 결과는 아래와 같다. CartPole환경에서는 학습이 잘되는 것을 볼 수 있다. 




[관련 포스트]
openai gym을 사용하여 강화학습(reinforcement learning) 환경 만들기
강화학습과 마르코프 결정 과정( MDP, Markov Decision process) 관계 요약
강화학습 (reinforcement learning) 정책 학습과 가치 학습 비교 - Deep Q Network를 이용한 Atari Space Invaders 와 CartPole


댓글

댓글 쓰기

이 블로그의 인기 게시물

간단한 cfar 알고리즘에 대해

이미지
Constant False Alarm Rate (CFAR)은 기본적으로 테스트하고자 하는 위치의 cell과 주변 cell의 관계를 보고 테스트 cell이 Target 인지 아닌지를 구분하는 알고리즘이다. 주변 cell과의 관계를 어떤 방식으로 비교하는가에 따라 여러가지 알고리즘이 존재한다. CA-CFAR, GO-CFAR, SO-CFAR, OS-CFAR, VI-CFAR, OSVI-CFAR등이 있다. 이 많은 알고리즘 중 간단하고 기본적인 CA-CFAR과 OS-CFAR에 대해 알아보자. CA-CFAR (Cell Average CFAR)   CA-CFAR의 원리는 위 그림과 같다. 좌우의 Reference Cell의 평균에 Scale Factor T를 곱하고, ADT (Average Decision Threshold)를 합하여 CUT가 타겟인지 아닌지를 구분한다. ADT는 신호의 white noise를 고려하기 위해 더해준다. Scale Factor T와 ADT는 아래와 같은 공식으로 사용할 수 있다. 사용하려는 시스템에 따라 공식은 달라질 수도 있다.   Pfa는 False Alarm 발생 확률을 나타내고, M과N는각 좌우의 Reference Cell의 개수를 나타낸다. OS-CFAR (Order Static CFAR)   OS-CFAR의 원리는 위 그림과 같다. 좌우의 reference cell중 K번째 큰 값의 cell을 Reference Cell의 대표 값으로 정해 CUT가 타겟인지 아닌지를 구분한다. 보통 전제 reference cell의 크기 순에서 (3*N)/4 번째 cell이 성능이 좋다고 알려져 있다. CFAR 사용 예 아래 사진은 위 두 cfar을 사용한 예다. 파란색은 신호이며, 붉은 색은 char을 사용해 만든 threshold이다. 이 threshold보다 큰 값의 신호가 있는 위치에 실제 Tar...
자세한 내용 보기

windows에서 간단하게 크롬캐스트(Chromecast)를 통해 윈도우 화면 미러링 방법

이미지
 Windows 10에서는 미라캐스트를 사용한 무선 디스플레이연결을 지원한다. 하지만, 만약 크롬캐스트(Chromecast)를 사용해 윈도우 화면을 미러링 하고자 할 때, 구글 크롬 브라우저를 사용하면 쉽고 편하게 할 수 있다. https://www.google.co.kr/intl/ko/chrome/ VLC에서도 비디오 화면을 미러링 할 수 있다고 하는데, 잘 동작하지 않고 윈도우 화면 전체를 미러링하지 않아 크롬 브라우저를 사용하고 있다. 크롬 캐스트 윈도우 화면 전송 방법 0. 크롬 캐스트 디바이스와 windows pc는 같은 네트웍에 연결되어 있어야 한다. (같은 공유기에 연결되어 있어야 한다.) 1. 크롬 브라우저의 우측 상단의 메뉴 > 전송을 클릭하면, 현재 사용가능한 크롬캐스트 디바이스 항목을 볼 수 있다. 2. 편의에 따라 탭 전송 아이콘에서 우측 버튼을 클릭하여 항상 표시되게 설정할 수도 있다. 3.  윈도우 화면 전체를 전송하고자 할 때는 탭 전송의 소스에서 '데스크톱 전송'을 선택하고, 바로 위의 크롬캐스트 디바이스를 클릭하면 된다. ** 소스는 미러링 중에는 변경되지 않는다. 먼저 소스를 선택하고 미러링해야 한다.  4. 화면 전송을 끝내고자 할 때는, 탭 전송에서 화면 전송중인 크롬캐스트 디바이스를 클릭하거나, 크롬 브라우저를 종료하면 된다.
자세한 내용 보기

base64 인코딩 디코딩 예제 c 소스

이미지
본 글은 base64 encoder/decoder예제 c 소스 코드를 싣고 있다. BASE64 BASE64는 일련의 데이터를 64종류" ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/ "의 문자만을 이용하여 표현하도록 하는 부호화 방식이다. Base64는 인터넷 이메일 프로토콜이나 http url등에서 사용된다.  부호화 과정은 아래와 같다. 문자 : Hello Hex 코드 : 0x48 0x65 0x6c 0x6c 0x6f 8bits bin 코드: 01001000 01100101 01101100 01101100 01101111 8비트 단위의 문자를 6비트 단위로 분리한다. 6bits bin 코드 : 010010  000110  010101  101100  011011  000110  1111  00  ‘=’ 6비트 2진 코드 값은 BASE64 코드 테이블의 인덱스이고 각 인덱스의 문자로 base64 부호화 한다. 마지막 모자라는 비트는 0으로 채우며, 4글자 단위로 부호화 하기 때문에 4글자가 안되면 ‘=’기호를 사용해 4글자를 맞춘다. Base64 코드 : aGVsbG8= Base64 Encoder source code Base64 인코더 소스는 아래와 같다. 위의 부호화 예대로 text데이터를 받아 6bit 단위로 나누어 base64 코드 테이블에 맞춰 부호화를 진행한다. static const char base64code_ascii[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"; int text2base64_size(const char *text) {...
자세한 내용 보기

아두이노(arduino) 심박센서 (heart rate sensor) 심박수 측정 example code

이미지
하드 정리 중 예전에 만든 아두이노에서 심박센서를 사용하여 심박수 측정하는 소스 코드가 있어, 이를 블로그 글로 남긴다. 인터넷 쇼핑몰에서 쉽게 구할 수 있는 저렴함 센서가 사용 되었으며, 연결은 아래 그림과 같이 연결 되었다.      심박센서의 하트 부위에 손가락을 올려 놓고, 아날로그 A0값을 읽으면 심박의 움직임에 따라 A0값이 변하는 동작이 간단한 센서이다. 아래 그림의 왼쪽은 일정 시간 간격 마다 A0값을 읽어 시리얼 플로터로 본 심박에 따른 데이터이고, 오른쪽은 평균 필터를 사용해 노이즈를 제거한 후 시리얼 플로터로 본 데이터이다.   심박수는 수집된 데이터에서 threshold를 넘는 peak들의 시간 간격을 측정하여 계산한다.  peak위치를 찾는 방법은 여러 가지 방법이 있으나, 소스에 구현된 방법은 신호의 기울기가 +에서 0또는 -로 바뀌는 위치를 peak으로 선정하도록 하였다. 심장이 t시간동안 N회 뛰는 경우 심박수는 heart rate bpm = (N/t)*60 을 표현 할 수 있다.   threshold는 데이터를 보고 임의로 정했으며, 측정 데이터에 따라 자동으로 정하고 싶을 때는 cfar 같은 방법을 사용하면 된다.  소스는 아래와 같다. #define heartbit_adc_threshold      511 #define meanfilter_size             5 #define heartbit_tick_buffer_size   10 ...
자세한 내용 보기

python asyncio를 이용한 async socket server client example code

 본 포스트는 python asyncio 라이브러리를 사용한 async socket 서버와 클라이언트 예제 코드를 싣고 있다. 이전 non-blocking socket의 예제를 asyncio 라이브러리에 맞게 변형하였다.  python socket API 와 non-blocking socket server client example code 1. asyncio (Asynchronous I/O) asyncio는 async/await 구문을 사용해 multi-thread처럼 동시에 진행하는 코드를 작성하는 라이브러리다. 네트워크 및 웹 서버, DB 연결, 분산 작업 대기열을 제공하는 분산 프레임 워크의 기반으로 사용된다고 한다. (  https://docs.python.org/3.7/library/asyncio.html ) async socket server/client 구현에 필요한 asyncio 라이브러리 API는 예제 코드를 보면서, 설명하도록 하겠다. 2. Async socket client example code import asyncio async def pingpong_client():     try:         reader, writer = await asyncio.open_connection(host='localhost',port=8000)     except OSError:         print('connection fail')         return          for _ in range(10):         writer.write(b'ping')     ...
자세한 내용 보기