레플리
글 수 220


 

  개강하기 전에 시간이 남아서 기존의 모델에 몇가지를 좀더 추가해봤습니다. 우선 learning_rate를 학습횟수에 따라 줄여나가는 코드를 다시 넣었습니다. 그리고 인셉션 모듈 내부 등에 정규화시키는 tf.nn.lrn 함수를 첨가해봤습니다. 이렇게 하니 learning_rate를 굉장히 안정적인(?) 값을 넣을 수 있었습니다. 기존에는 0.000001이라는 아주 작은 숫자를 넣지 않았을 때 loss 수치가 오히려 급수적으로 커지는 문제가 발생하거나 아예 nan. 값을 반환했습니다. 하지만 저 두가지를 추가하니 0.01이라는 비교적 평범한 rate 값을 넣게되었습니다.

 

  두번째는 인셉션 모델이 워낙 깊다보니 처음 웨이트값과 편중치값도 단순히 랜덤으로 초기화하는 것이 좋지 못하다고 생각해서 xavier_ininitalizer를 이용하여 초기화했습니다.

 

  이렇게 총 3가지 정도의 변화를 주고나서 학습을 시작했습니다.  처음에는 로스 값이 2.30에서 거의 변화가 생기지 않았습니다. 정확도 역시 10퍼센트 내외로 찍는 수준에 그쳤습니다. 그러나 워낙 모델이 크기 때문에 좀더 여유를 가지고 학습을 시켜봤습니다.  한 500번 째 학습에서 로스함수와 정확도가 변화가 생겼습니다. 로스 수치가 1대로 낮아졌고, 정확도가 20퍼센트로 오르기 시작했습니다. 좋은 느낌이 들어서 노트북에 부하를 조금이나마 덜어주기 위해 모델 저장과 불러오기 기능을 추가한 후에 조금씩 시간 텀을 두면서 학습을 진행했습니다.

 

  한 1000회쯤 가자 로스값은 0점대로 낮아졌고 정확도는 80퍼센트 이상을 기록했습니다. 그리고 다음과 같이 4500회를 넘어가자 정확도가 100퍼센트에 자주 도달하는 것을 볼 수 있었습니다.

 

asdfasdfasdfdsaf.png

(왜 로스 값이 소수 셋째자리 이하부터는 표시가 되지 않을 까요...)

 

  개강을 바로 앞두고 별 기대를 하지 않았었는데 이렇게 뜻밖의 결과를 얻어 행복하네요. 머신러닝 공부에 대한 열의가 더 높아졌습니다. 


깊은바다

2018.08.27 14:23:11
*.68.247.188

축하합니다~ 이래서 딥러닝도 경험이 중요하군요 ㅎㅎ

List of Articles
제목 글쓴이 날짜 조회 수sort
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 359
해당 기술에 대해 궁금합니다. 아까그분 2022-06-14 451
텐서플로우 설치문의 드립니다! file [8] icdoit 2017-06-02 445
인간에 욕설하는 AI 로봇 등장 깊은바다 2016-03-26 439
딥러닝으로 빵의 가격을 자동으로 계산하는 인공지능 깊은바다 2019-01-06 435
[질문]학습과정에서의 Ram [2] 삽질만하네 2020-09-12 424
[질문] http://aidev.co.kr/deeplearning/849 에러가 납니다. [2] Karlnim 2017-10-25 419
딥러닝으로 나만의 폰트를 만들어 주는 서비스 file [1] 깊은바다 2017-10-25 417
파일을 AI를 통해 자동 분류가 가능할까요? [1] ghghgh 2021-01-10 409
카카오 챗봇 개발중 질문있습니다. [5] 챗봇알기 2017-09-19 408
외국인 인공지능 개발 분야 국내 취업이 어려울까요? [2] 삼바 2021-02-15 401
케라스로 만든 코드를 C++에서 쓸 수 있나요? [2] 거북이 2019-11-26 400
질문) 텐서플로우로 구글의 인셉션 모델을 만들고 있습니다. [2] 딥린이 2018-08-17 399
머신러닝 해외 취업 준비 깊은바다 2018-07-20 390
인공지능 만든 이야기나 올릴까 합니다. [1] sws10277@naver.com 2017-08-02 385
Dialogflow로 이미지 불러오기가 가능할까요? [2] 재앤더플루이드 2021-01-06 380