Keras 모델 가중치 weights 파라미터 가져오기 설정하기 저장하기 및 불러오기

Keras 모델의 가중치(weights) 파라메터 검색, 설정, 저장 및 불러오기 정리 관련 포스트다.


keras model에서 가중치(weights) 가져오기 

Model.get_weights()

return: 
 - 모델의 가중치 배열

Keras model에 가중치(weights) 설정하기

Model.set_weights(weights)

argument:
 - weights : numpy 배열의 가중치

Keras model의 가중치(weights) 파일로 저장하기

Model.save_weights(filepath, overwrite=True)

arguments:
 - filepath : 저장할 파일 경로, HDF5 형식으로 저장된다.
 - overwrite : 덮어쓰기 여부

파일에서 Keras model 가중치(weights) 불러와 설정하기

Model.load_weights(filepath, by_name=False, skip_mismatch=False, reshpae=False)

arguments:
 - filepath : 가중치 파일의 경로
 - by_name : 이름 또는 토폴로지 순서로 가중치를 로드 할지 여부를 나타낸다.
 - skip_mismath : 가중치 개수나 모양이 일치하지 않는 레이어를 건너 뛸지에 대한 여부를 나타낸다. (by_name이 True인 경우)
 - reshape : reshape 여부를 나타냄


예제 코드


from keras.layers import Input, Dense, Dropout, regularizers
from keras.models import Model, load_model, save_model
from keras.optimizers import Adam


def build_model(in_size, out_sizes, depth=2, layer_units = 128, lr=0.01):
    in_layer = Input(shape=(in_size,),name='input_layer')
    prev = in_layer
    
    for fc in range(depth):
        prev = Dense(units=layer_units, activation='relu', kernel_regularizer=regularizers.l2(l=0.01), name='dense%d'%fc)(prev)
        prev = Dropout(0.1,name='droupout%d'%fc)(prev)
    
    out_layer = Dense(out_sizes,activation='softmax', 
                      kernel_regularizer=regularizers.l2(l=0.01), name='out_layers')(prev)
    model = Model(inputs=[in_layer],outputs=[out_layer])
    optimizer = Adam(lr=lr)
    model.compile(loss='mean_squared_error', optimizer=optimizer,metrics=['accuracy'])
    return model    

def excode_get_set_weight():
    print('excode_get_set_weight')
    
    model1 = build_model(2,2,layer_units=2,depth=1)
    model2 = build_model(2,2,layer_units=2,depth=1)
    
    print('before')
    print('model1 :', model1.get_weights())
    print('model2 :', model2.get_weights())
    
    model1.set_weights(model2.get_weights())
    print('after')
    print('model1 :', model1.get_weights())
    print('model2 :', model2.get_weights())
    
    del model1
    del model2

def excode_save_weight(weight_path):
    print('excode_save_weight')
    model = build_model(2,2,layer_units=2,depth=1)

    print('model weight :', model.get_weights())
    model.save_weights(filepath=weight_path,overwrite=True)
    
    del model
    
def excode_load_weight(weight_path):
    print('excode_load_weight')
    model = build_model(2,2,layer_units=2,depth=1)

    print('model weight :', model.get_weights())
    model.load_weights(filepath=weight_path)
    model.load_weights()
    print('after load_weights model weight :', model.get_weights())
    
    del model

if __name__ == "__main__":
    excode_get_set_weight()
    excode_save_weight('model_weights.h5')
    excode_load_weight('model_weights.h5')  



실행 결과


model1, model2 두개의 모델을 만들어 각각의 가중치를 출력한 결과다. 

before
model1 : [array([[ 0.2364167 ,  0.88603175],
       [ 0.90756714, -1.0964375 ]], dtype=float32), array([0., 0.], dtype=float32), array([[ 1.1414999 ,  0.77426684],
       [ 0.63132596, -1.007914  ]], dtype=float32), array([0., 0.], dtype=float32)]
model2 : [array([[-1.1494689 , -1.0712395 ],
       [-0.12987018,  0.4888729 ]], dtype=float32), array([0., 0.], dtype=float32), array([[-1.1910785 ,  1.0730509 ],
       [-0.18443692,  0.29470563]], dtype=float32), array([0., 0.], dtype=float32)]

get_weight를 통해 받아온 model2의 가중치를 set_weights를 사용해 model1에 설정하면 아래와 같이 model1의 가중치가 model2의 가중치와 같이 변한 것을 볼 수 있다.

after
model1 : [array([[-1.1494689 , -1.0712395 ],
       [-0.12987018,  0.4888729 ]], dtype=float32), array([0., 0.], dtype=float32), array([[-1.1910785 ,  1.0730509 ],
       [-0.18443692,  0.29470563]], dtype=float32), array([0., 0.], dtype=float32)]
model2 : [array([[-1.1494689 , -1.0712395 ],
       [-0.12987018,  0.4888729 ]], dtype=float32), array([0., 0.], dtype=float32), array([[-1.1910785 ,  1.0730509 ],
       [-0.18443692,  0.29470563]], dtype=float32), array([0., 0.], dtype=float32)]


model을 만들어 가중치를 파일로 저장하면 아래 그림처럼 HDF5 형식의 파일이 생성된다.


excode_save_weight
model weight : [array([[-0.03750205, -1.1496917 ],
       [-0.40425277,  0.99050415]], dtype=float32), array([0., 0.], dtype=float32), array([[ 0.05072594, -0.87032056],
       [ 0.63384914, -0.36687708]], dtype=float32), array([0., 0.], dtype=float32)]



모델을 생성하고, excode_save_weight에서 저장된 파일에서 가중치를 불러와 모델에 로드 하면 아래와 같이 지정한 파일의 가중치로 설정된 것을 볼 수 있다.


excode_load_weight
model weight : [array([[-0.31643784, -0.08562171],
       [-0.31086147, -0.70721614]], dtype=float32), array([0., 0.], dtype=float32), array([[ 0.08954179,  0.15135777],
       [-0.33166134,  1.1615216 ]], dtype=float32), array([0., 0.], dtype=float32)]
after load_weights model weight : [array([[-0.03750205, -1.1496917 ],
       [-0.40425277,  0.99050415]], dtype=float32), array([0., 0.], dtype=float32), array([[ 0.05072594, -0.87032056],
       [ 0.63384914, -0.36687708]], dtype=float32), array([0., 0.], dtype=float32)]


[관련 포스트]
Keras 모델 저장(save_model) 및 불러오기 (load_model) 방법

댓글

댓글 쓰기

이 블로그의 인기 게시물

Keras 모델 저장(save_model) 및 불러오기 (load_model) 방법

이미지
Keras 모델을 파일로 저장하고 불러오는 방법 정리 from keras.models import load_model, save_model Keras 모델 파일로 저장하기 keras.models.save_model(model, filepath, overwrite=True, include_optimizer=True) arguments:  model : 저장할 Keras 모델  filepath : 파일 저장 경로  overwrite : 덮어쓰기 여부  include_optimizer : True인 경우 optimizer의 상태를 함께 저장 Keras 모델 파일에서 불러오기 keras.models.load_model(filepath, custom_objects=None, compile=True) arguments:   filepath : 자장된 파일 경로   custom_objects : deserialization 동안 고려되어야할 사용자 정의 class 또는 함수에 대한 옵셔널 디럭토리 매핑 이름(문자열)   compile : 로드 후 모델 컴파일 여부 return:   파일에서 불러온 keras model save_model, load_model 사용 예제 코드 from keras.layers import Input, Dense, Dropout, regularizers from keras.models import Model, load_model, save_model from keras.optimizers import Adam def build_model(in_size, out_sizes, depth=2, layer_units = 128, lr=0.01):     in_layer = Input(shape=(in_size,),name='inp...
자세한 내용 보기

CA-CFAR 예제 코드

이미지
 이전 포스트에서 CFAR의 원리 에 대해 알아본 적이 있다. 본 포스트에서는 Python으로 CA-CFAR에 대해 간단하게 구현한 예제를 수록하고 있다. 구현된 CA-CFAR은 아래 그림과 같이 구현되었다.   ca-cfar 코드 import numpy as np class cacfar(object):     def __init__(self, window_size, guard_size,pfa = 0.01, scale=1.0):         self.pfa = pfa         self.scale = scale         self.window_size = window_size         self.guard_size = guard_size              def cal_threshold(self, left, right):                n = len(left)+len(right)         s = np.sum(np.square(left))+np.sum(np.square(right))                  if n > 0:             T= np.power(self.pfa,(-1.0 /n)) - 1             average = s/n ...
자세한 내용 보기

python asyncio를 이용한 async socket server client example code

 본 포스트는 python asyncio 라이브러리를 사용한 async socket 서버와 클라이언트 예제 코드를 싣고 있다. 이전 non-blocking socket의 예제를 asyncio 라이브러리에 맞게 변형하였다.  python socket API 와 non-blocking socket server client example code 1. asyncio (Asynchronous I/O) asyncio는 async/await 구문을 사용해 multi-thread처럼 동시에 진행하는 코드를 작성하는 라이브러리다. 네트워크 및 웹 서버, DB 연결, 분산 작업 대기열을 제공하는 분산 프레임 워크의 기반으로 사용된다고 한다. (  https://docs.python.org/3.7/library/asyncio.html ) async socket server/client 구현에 필요한 asyncio 라이브러리 API는 예제 코드를 보면서, 설명하도록 하겠다. 2. Async socket client example code import asyncio async def pingpong_client():     try:         reader, writer = await asyncio.open_connection(host='localhost',port=8000)     except OSError:         print('connection fail')         return          for _ in range(10):         writer.write(b'ping')     ...
자세한 내용 보기

간단한 cfar 알고리즘에 대해

이미지
Constant False Alarm Rate (CFAR)은 기본적으로 테스트하고자 하는 위치의 cell과 주변 cell의 관계를 보고 테스트 cell이 Target 인지 아닌지를 구분하는 알고리즘이다. 주변 cell과의 관계를 어떤 방식으로 비교하는가에 따라 여러가지 알고리즘이 존재한다. CA-CFAR, GO-CFAR, SO-CFAR, OS-CFAR, VI-CFAR, OSVI-CFAR등이 있다. 이 많은 알고리즘 중 간단하고 기본적인 CA-CFAR과 OS-CFAR에 대해 알아보자. CA-CFAR (Cell Average CFAR)   CA-CFAR의 원리는 위 그림과 같다. 좌우의 Reference Cell의 평균에 Scale Factor T를 곱하고, ADT (Average Decision Threshold)를 합하여 CUT가 타겟인지 아닌지를 구분한다. ADT는 신호의 white noise를 고려하기 위해 더해준다. Scale Factor T와 ADT는 아래와 같은 공식으로 사용할 수 있다. 사용하려는 시스템에 따라 공식은 달라질 수도 있다.   Pfa는 False Alarm 발생 확률을 나타내고, M과N는각 좌우의 Reference Cell의 개수를 나타낸다. OS-CFAR (Order Static CFAR)   OS-CFAR의 원리는 위 그림과 같다. 좌우의 reference cell중 K번째 큰 값의 cell을 Reference Cell의 대표 값으로 정해 CUT가 타겟인지 아닌지를 구분한다. 보통 전제 reference cell의 크기 순에서 (3*N)/4 번째 cell이 성능이 좋다고 알려져 있다. CFAR 사용 예 아래 사진은 위 두 cfar을 사용한 예다. 파란색은 신호이며, 붉은 색은 char을 사용해 만든 threshold이다. 이 threshold보다 큰 값의 신호가 있는 위치에 실제 Tar...
자세한 내용 보기

windows에서 간단하게 크롬캐스트(Chromecast)를 통해 윈도우 화면 미러링 방법

이미지
 Windows 10에서는 미라캐스트를 사용한 무선 디스플레이연결을 지원한다. 하지만, 만약 크롬캐스트(Chromecast)를 사용해 윈도우 화면을 미러링 하고자 할 때, 구글 크롬 브라우저를 사용하면 쉽고 편하게 할 수 있다. https://www.google.co.kr/intl/ko/chrome/ VLC에서도 비디오 화면을 미러링 할 수 있다고 하는데, 잘 동작하지 않고 윈도우 화면 전체를 미러링하지 않아 크롬 브라우저를 사용하고 있다. 크롬 캐스트 윈도우 화면 전송 방법 0. 크롬 캐스트 디바이스와 windows pc는 같은 네트웍에 연결되어 있어야 한다. (같은 공유기에 연결되어 있어야 한다.) 1. 크롬 브라우저의 우측 상단의 메뉴 > 전송을 클릭하면, 현재 사용가능한 크롬캐스트 디바이스 항목을 볼 수 있다. 2. 편의에 따라 탭 전송 아이콘에서 우측 버튼을 클릭하여 항상 표시되게 설정할 수도 있다. 3.  윈도우 화면 전체를 전송하고자 할 때는 탭 전송의 소스에서 '데스크톱 전송'을 선택하고, 바로 위의 크롬캐스트 디바이스를 클릭하면 된다. ** 소스는 미러링 중에는 변경되지 않는다. 먼저 소스를 선택하고 미러링해야 한다.  4. 화면 전송을 끝내고자 할 때는, 탭 전송에서 화면 전송중인 크롬캐스트 디바이스를 클릭하거나, 크롬 브라우저를 종료하면 된다.
자세한 내용 보기