딥러닝의 정석 예제 코드 chapter 3 텐서플로로 신경망 구현하기 MNIST

딥러닝 공부를 위해 딥러닝의 정석 (Fundamentals of Deep Learning)이라는 책을 구매했다.
책의 예제 코드는 https://github.com/darksigma/Fundamentals-of-deep-learning-book에서 받을 수 있다.
위 github에 올라간 소스는 빌드할 때 간혹 빌드가 되지 않는 경우가 많았다.

아래는 chapter 3 텐서플로로 신경망 구현하기의 예제 코드로 MNIST 데이터를 학습하는 코드와 학습 결과다.
책의 예제와 다르게 dropout을 추가하였다.
MNIST 데이터는 처음 코드 실행 시 해당위치에 파일이 없을 경우 다운 받은 후 실행된다.


[소스코드]

import tensorflow as tf
import time, shutil, os
from tensorflow.examples.tutorials.mnist import input_data

tf.reset_default_graph()
#tf.set_random_seed(777)
mnist = input_data.read_data_sets("../MNIST_data/",one_hot=True)

# Architecture
n_hidden_1 = 256
n_hidden_2 = 256

# Parameters
learning_rate = 0.001
training_epochs = 30
batch_size = 100
display_step = 1

def layer(input, weight_shape, bias_shape):
    weight_init = tf.random_normal_initializer(stddev=(2.0/weight_shape[0])**0.5)
    bias_init = tf.constant_initializer(value=0)
    W = tf.get_variable("W",weight_shape,initializer=weight_init)
    b = tf.get_variable("b",bias_shape,initializer=bias_init)
    return tf.nn.relu(tf.matmul(input,W)+b)

def inference(x,keep_prob):
    with tf.variable_scope("hidden_1"):
        _hidden_1 = layer(x,[784,n_hidden_1],[n_hidden_1])
        hidden_1 = tf.nn.dropout(_hidden_1,keep_prob)
    
    with tf.variable_scope("hidden_2"):
        _hidden_2 = layer(hidden_1,[n_hidden_1,n_hidden_2],[n_hidden_2])
        hidden_2 = tf.nn.dropout(_hidden_2,keep_prob)
    
    with tf.variable_scope("output"):
        output = layer(hidden_2,[n_hidden_2,10],[10])
        
    return output

#loss func
def loss(output, y):
    xentropy = tf.nn.softmax_cross_entropy_with_logits(logits=output, labels=y)
    loss = tf.reduce_mean(xentropy)
    return loss

#Training
def training(cost, global_step):
    tf.summary.scalar("cost",cost)
    optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
    train_op = optimizer.minimize(cost,global_step=global_step)
    return train_op

#Evaluate
def evaluate(output, y):
    correct_prediction = tf.equal(tf.argmax(output,1), tf.argmax(y,1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
    tf.summary.scalar("validation",accuracy)
    return accuracy

if __name__ == '__main__':
    
    if os.path.exists('mlp_logs/'):
        shutil.rmtree('mlp_logs/',ignore_errors=True)
    
    with tf.Graph().as_default():
        with tf.variable_scope('mlp_model'):
            x = tf.placeholder(tf.float32, [None,784]) #mnist data image of shape 28*28=784
            y = tf.placeholder(tf.float32,[None,10]) #0~9 digits recognition -> 10 classes
            keep_prob = tf.placeholder(tf.float32)
            
            output = inference(x,keep_prob)
            cost = loss(output,y)
            global_step = tf.Variable(0,name='global_step',trainable=False)
            train_op = training(cost,global_step)
            eval_op = evaluate(output,y)
            
            summary_op = tf.summary.merge_all()
            saver=tf.train.Saver()
            
            sess=tf.Session()
            
            summary_writer = tf.summary.FileWriter('mlp_logs/',graph_def=sess.graph_def)
            
            init_op = tf.global_variables_initializer()
            
            sess.run(init_op)
            
            #saver.restore(sess, "mlp_logs/model-checkpoint-66000")
            
            #Training cycle
            for epoch in range(training_epochs):
                
                avg_cost = 0.
                total_batch= int(mnist.train.num_examples/batch_size)
                
                for i in range(total_batch):
                    minibatch_x, minibatch_y = mnist.train.next_batch(batch_size)
                    
                    sess.run(train_op,feed_dict={x:minibatch_x, y:minibatch_y, keep_prob:0.5})
                    avg_cost += sess.run(cost,feed_dict={x:minibatch_x, y:minibatch_y, keep_prob:0.5})/total_batch
                
                if epoch % display_step == 0:
                    print("Epoch:", '%04d'%(epoch+1),'cost=','{:.9f}'.format(avg_cost))
                    summary_str,accuracy = sess.run([summary_op,eval_op], feed_dict={x:mnist.validation.images, y:mnist.validation.labels, keep_prob:1})
                    print("validation accuracy :",accuracy)
                    summary_writer.add_summary(summary_str,sess.run(global_step))
                    saver.save(sess,'mlp_logs/model-checkpoint',global_step=global_step)
            
            print("Optimization Finished!")
            
            accuracy = sess.run(eval_op, feed_dict={x: mnist.test.images, y: mnist.test.labels, keep_prob:1})
            print("Test Accuracy:", accuracy)


[실행 결과]

Python 3.7.3 (default, Apr 24 2019, 15:29:51) [MSC v.1915 64 bit (AMD64)]
Type "copyright", "credits" or "license" for more information.

IPython 7.6.1 -- An enhanced Interactive Python.

runfile('D:/working/deep_learning/Fundamentals-of-deep-learning/ch3_multilayer_perceptron_mnist.py', wdir='D:/working/deep_learning/Fundamentals-of-deep-learning')
WARNING:tensorflow:From D:/working/deep_learning/Fundamentals-of-deep-learning/ch3_multilayer_perceptron_mnist.py:14: read_data_sets (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use alternatives such as official/mnist/dataset.py from tensorflow/models.
WARNING:tensorflow:From C:\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:260: maybe_download (from tensorflow.contrib.learn.python.learn.datasets.base) is deprecated and will be removed in a future version.
Instructions for updating:
Please write your own downloading logic.
WARNING:tensorflow:From C:\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:262: extract_images (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.data to implement this functionality.
Extracting ../MNIST_data/train-images-idx3-ubyte.gz
WARNING:tensorflow:From C:\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:267: extract_labels (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.data to implement this functionality.
Extracting ../MNIST_data/train-labels-idx1-ubyte.gz
WARNING:tensorflow:From C:\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:110: dense_to_one_hot (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.one_hot on tensors.
Extracting ../MNIST_data/t10k-images-idx3-ubyte.gz
Extracting ../MNIST_data/t10k-labels-idx1-ubyte.gz
WARNING:tensorflow:From C:\Anaconda3\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:290: DataSet.__init__ (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use alternatives such as official/mnist/dataset.py from tensorflow/models.
WARNING:tensorflow:From C:\Anaconda3\lib\site-packages\tensorflow\python\framework\op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version.
Instructions for updating:
Colocations handled automatically by placer.
WARNING:tensorflow:From D:/working/deep_learning/Fundamentals-of-deep-learning/ch3_multilayer_perceptron_mnist.py:36: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version.
Instructions for updating:
Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`.
WARNING:tensorflow:From D:/working/deep_learning/Fundamentals-of-deep-learning/ch3_multilayer_perceptron_mnist.py:49: softmax_cross_entropy_with_logits (from tensorflow.python.ops.nn_ops) is deprecated and will be removed in a future version.
Instructions for updating:

Future major versions of TensorFlow will allow gradients to flow
into the labels input on backprop by default.

See `tf.nn.softmax_cross_entropy_with_logits_v2`.

WARNING:tensorflow:Passing a `GraphDef` to the SummaryWriter is deprecated. Pass a `Graph` object instead, such as `sess.graph`.
Epoch: 0001 cost= 0.525223048
validation accuracy : 0.9502
Epoch: 0002 cost= 0.229476243
validation accuracy : 0.9648
Epoch: 0003 cost= 0.182049453
validation accuracy : 0.9718
Epoch: 0004 cost= 0.154824135
validation accuracy : 0.9738
Epoch: 0005 cost= 0.135052014
validation accuracy : 0.9762
Epoch: 0006 cost= 0.120618501
validation accuracy : 0.9764
WARNING:tensorflow:From C:\Anaconda3\lib\site-packages\tensorflow\python\training\saver.py:966: remove_checkpoint (from tensorflow.python.training.checkpoint_management) is deprecated and will be removed in a future version.
Instructions for updating:
Use standard file APIs to delete files with this prefix.
Epoch: 0007 cost= 0.113985141
validation accuracy : 0.9788
Epoch: 0008 cost= 0.105176964
validation accuracy : 0.9786
Epoch: 0009 cost= 0.099285459
validation accuracy : 0.9792
Epoch: 0010 cost= 0.093149076
validation accuracy : 0.978
Epoch: 0011 cost= 0.089750568
validation accuracy : 0.9792
Epoch: 0012 cost= 0.082228115
validation accuracy : 0.9814
Epoch: 0013 cost= 0.083891792
validation accuracy : 0.9818
Epoch: 0014 cost= 0.080721498
validation accuracy : 0.9822
Epoch: 0015 cost= 0.077188218
validation accuracy : 0.983
Epoch: 0016 cost= 0.073490976
validation accuracy : 0.9804
Epoch: 0017 cost= 0.071725895
validation accuracy : 0.981
Epoch: 0018 cost= 0.069402803
validation accuracy : 0.9826
Epoch: 0019 cost= 0.068292858
validation accuracy : 0.9814
Epoch: 0020 cost= 0.069043860
validation accuracy : 0.9816
Epoch: 0021 cost= 0.063489767
validation accuracy : 0.9828
Epoch: 0022 cost= 0.063236821
validation accuracy : 0.9836
Epoch: 0023 cost= 0.066826821
validation accuracy : 0.9836
Epoch: 0024 cost= 0.062443590
validation accuracy : 0.9818
Epoch: 0025 cost= 0.057299115
validation accuracy : 0.9818
Epoch: 0026 cost= 0.059020603
validation accuracy : 0.9814
Epoch: 0027 cost= 0.056841880
validation accuracy : 0.9826
Epoch: 0028 cost= 0.059074335
validation accuracy : 0.9816
Epoch: 0029 cost= 0.058189238
validation accuracy : 0.9828
Epoch: 0030 cost= 0.053373935
validation accuracy : 0.9832
Optimization Finished!
Test Accuracy: 0.9826

관련 글:
딥러닝의 정석 예제 코드 chapter 4 경사 하강법을 넘어서
딥러닝의 정석 예제 코드 chapter 5 합성곱 신경망 MNIST
딥러닝의 정석 예제 코드 chapter 5 합성곱 신경망 CIFAR-10 학습
딥러닝의 정석 예제 코드 chapter 6 임베딩과 표상학습 autoencoder mnist

댓글

댓글 쓰기

이 블로그의 인기 게시물

간단한 cfar 알고리즘에 대해

이미지
Constant False Alarm Rate (CFAR)은 기본적으로 테스트하고자 하는 위치의 cell과 주변 cell의 관계를 보고 테스트 cell이 Target 인지 아닌지를 구분하는 알고리즘이다. 주변 cell과의 관계를 어떤 방식으로 비교하는가에 따라 여러가지 알고리즘이 존재한다. CA-CFAR, GO-CFAR, SO-CFAR, OS-CFAR, VI-CFAR, OSVI-CFAR등이 있다. 이 많은 알고리즘 중 간단하고 기본적인 CA-CFAR과 OS-CFAR에 대해 알아보자. CA-CFAR (Cell Average CFAR)   CA-CFAR의 원리는 위 그림과 같다. 좌우의 Reference Cell의 평균에 Scale Factor T를 곱하고, ADT (Average Decision Threshold)를 합하여 CUT가 타겟인지 아닌지를 구분한다. ADT는 신호의 white noise를 고려하기 위해 더해준다. Scale Factor T와 ADT는 아래와 같은 공식으로 사용할 수 있다. 사용하려는 시스템에 따라 공식은 달라질 수도 있다.   Pfa는 False Alarm 발생 확률을 나타내고, M과N는각 좌우의 Reference Cell의 개수를 나타낸다. OS-CFAR (Order Static CFAR)   OS-CFAR의 원리는 위 그림과 같다. 좌우의 reference cell중 K번째 큰 값의 cell을 Reference Cell의 대표 값으로 정해 CUT가 타겟인지 아닌지를 구분한다. 보통 전제 reference cell의 크기 순에서 (3*N)/4 번째 cell이 성능이 좋다고 알려져 있다. CFAR 사용 예 아래 사진은 위 두 cfar을 사용한 예다. 파란색은 신호이며, 붉은 색은 char을 사용해 만든 threshold이다. 이 threshold보다 큰 값의 신호가 있는 위치에 실제 Tar...
자세한 내용 보기

windows에서 간단하게 크롬캐스트(Chromecast)를 통해 윈도우 화면 미러링 방법

이미지
 Windows 10에서는 미라캐스트를 사용한 무선 디스플레이연결을 지원한다. 하지만, 만약 크롬캐스트(Chromecast)를 사용해 윈도우 화면을 미러링 하고자 할 때, 구글 크롬 브라우저를 사용하면 쉽고 편하게 할 수 있다. https://www.google.co.kr/intl/ko/chrome/ VLC에서도 비디오 화면을 미러링 할 수 있다고 하는데, 잘 동작하지 않고 윈도우 화면 전체를 미러링하지 않아 크롬 브라우저를 사용하고 있다. 크롬 캐스트 윈도우 화면 전송 방법 0. 크롬 캐스트 디바이스와 windows pc는 같은 네트웍에 연결되어 있어야 한다. (같은 공유기에 연결되어 있어야 한다.) 1. 크롬 브라우저의 우측 상단의 메뉴 > 전송을 클릭하면, 현재 사용가능한 크롬캐스트 디바이스 항목을 볼 수 있다. 2. 편의에 따라 탭 전송 아이콘에서 우측 버튼을 클릭하여 항상 표시되게 설정할 수도 있다. 3.  윈도우 화면 전체를 전송하고자 할 때는 탭 전송의 소스에서 '데스크톱 전송'을 선택하고, 바로 위의 크롬캐스트 디바이스를 클릭하면 된다. ** 소스는 미러링 중에는 변경되지 않는다. 먼저 소스를 선택하고 미러링해야 한다.  4. 화면 전송을 끝내고자 할 때는, 탭 전송에서 화면 전송중인 크롬캐스트 디바이스를 클릭하거나, 크롬 브라우저를 종료하면 된다.
자세한 내용 보기

Embedded Linux USB Ethernet Gadget 사용하기

이미지
LAN 이나 WiFi 가 없는 보드에서 개발하기엔 불편한 부분이 많다 .  가장 불편한 부분은 수정하여 빌드한 바이너리 파일을 보드에 올려 테스트 할 떄마다 전체 커널 이미지를 다시 올려야하는 수고스러움 이다. 이때 유용하게 사용할 수 있는 방법이 USB Ethernet gadget 을 연결하여 NFS 등을 사용하는 것이다 . USB Ethernet Gadget  커널 설정 방법 Kernel menuconfig 의 Device Drivers > USB support > USB Gadget Support 에서 Ethernet Gadget (with CDC Ethernet support) 를 선택한다 .  RNDIS support 도 선택해야 한다 . 특정 프로세서에서는 kernel config 이외에 다른 설정이나 소스 수정이 필요한 경우도 있다 . Allwinner 의 A20 이나 A64 등의 경우 usb gadget 커널 드라이버 소스에서 is_udc_enable=1 을 해주는 등의 소스 수정도 필요하다 . Sunxi_udc.c static u8 is_udc_enable = 1; 커널 빌드 후 이미지를 디바이스에 올린 다음 부팅한다 . 부팅 후 ifconfig 를 사용하여 usb0 의 ip 를 설정할 수 있다 . 디바이스를 windows PC 와 USB 로 연결하면 , 디바이스 드라이버를 설치하라고 나오는 경우 커널 소스의 Documents/USB/linux.inf 를 설치한다 . USB Serial Port 라고 인식하는 경우 , 장치 관리자에서 드라이버 업데이트를 선택하여 수동으로 위 linux.inf 드라이버를 설치한다 . 드라이버는 서명이 안되어 있어 , 드라이버 인증을 사용하지 않는 모드로 부팅하여 사용하던지 , 관리자 모드의 windows powershell 에서 아래 명령어를 사용하고 리부팅 후 설치해야 한다 . bcdedit.exe -...
자세한 내용 보기

mkfs.fat Device or resource busy 에러 해결법

이미지
 리눅스에서 SD 카드를 포맷할 때 아래와 같이 "Device or resource busy"에러를 출력하며 포맷이 되지 않는 경우가 있다. mkfs.fat: unable to open /dev/mmcblk0p1: Device or resource busy 해결법을 찾아보았다. 이 문제의 원인은  1. 파티션 dev path 가 맞지 않거나,  2. umount가 완전히 이루어 지지 않았거나,  3. mbr파티션에 문제가 있어 발생한다고 한다.  파티션에 문제가 있는 경우 fdisk를 사용하면 문제를 해결할 수 있다. umount에 문제가 있는 경우, umount할 때 -l 옵션이 사용되는 경우 umount 명령이 끝나도 커널 내부에서 리소스가 계속 사용될 가능성이 있다고 한다.  # umount -l /mnt/mmc umount2("/mnt/mmc",MNT_DETACH); 이런 경우 일정 시간 후 다시 시도하면 에러 없이 포맷이 되는 경우가 있다. 또, umount 가 되지 않을 때 "lsof" , "fuser" 명령어를 사용하여 어떤 프로세스가 mmc를 사용하고 있는지도 확인 가능하다. * lsof에서 사용 내역이 없다고 나와도, fuser에서 나올수 있다.  lsof, fuser 명령에서도 mmc를 사용하는 프로세스가 없는 경우에도 "Device or resource busy"에러가 발생할 경우, umount에 -lf 옵션을 두어 강제로 언마운트 후 SD 카드를 포맷하면 "Device or resource busy"에러가 나타나지 않을 확률이 높아진다. # umount -lf /mnt/mmc umount2("/mnt/mmc",MNT_DETACH | MNT_FORCE); * fat32에서는 "-f","...
자세한 내용 보기

python winsound를 이용한 윈도우 환경에서 소리 재생 예제

 본 포스트에는 윈도우 환경에서 python의 winsound라이브러리를 이용한 사운드 재생의 예제를 싣고 있다. import winsound 특정 주파수 톤 재생 Beep를 사용하여 특정 주파수의 소리를 정해진 시간동안 재생할 수 있다. winsound.Beep(frequency, duration) 파라미터 frequency : Hz 단위며, 범위는 37Hz~32,767Hz duration : milliseconds 단위이다. example code import winsoind winsound.Beep(370,2000) wave 재생 지정된 파일, 윈도우 레지스트리에 등록된 사운드 혹은 오디오 데이터(bytes-like object)를 재생한다. 만약 sound 리소스가 없는 경우 시스템 디폴트 사운드를 재생한다.  winsound.PlaySound(sound, flags) 파라미터 sound : 파일 이름, 시스템 사운드 별명, 오디오 데이터 flags : winsound.SND_FILENAME : sound 파라미터는 wave file 이름 이며, SND_ALIAS와 함께 사용하면 안된다.  winsound.SND_ALIAS : sound 파라미터는 시스템 사운드 별명이며, SND_FILENAME와 함께 사용하면 안된다. ex) 'SystemAsterisk', 'SystemExclamation', 'SystemExit', 'SystemHand', 'SystemQuestion' winsound.SND_LOOP : 반복 재생한다. 테스트해보니 SND_ASY...
자세한 내용 보기