전체 글 (161) 썸네일형 리스트형 Pattern recognition & Machine learning 교재 정리 사이트 주소 http://norman3.github.io/prml/ PRML Sep 27, 2016 요즘 시간이 없어서 업데이트를 자주 못합니다. 그래도 생각날때마다 조금씩 내용을 업데이트하고는 있습니다. 앞으로도 계속 이런 식으로 진행될 것 같습니다. Mar 30, 2016 PRML Study 페 norman3.github.io Entropy, Cross Entropy, KL Divergence 출처 : 초보를 위한 정보이론 안내서 - Entropy란 무엇일까 (hyunw.kim) 초보를 위한 정보이론 안내서 - Entropy란 무엇일까 딥러닝을 공부하다 보면 KL-divergence, cross-entropy 등에서 entropy라는 용어를 자주 접하게 됩니다. 이번 글을 통해서 정보이론의 아버지라 불리는 Shannon이 주창한 기초 개념인 entropy를 정리해봅니다. hyunw.kim Quantity of information : 정보량 - 어떤 내용을 표현하기 위해 물어야 하는 최소한의 질문 개수 (정보는 sequential 하다고 가정함...?? 예를 들어서 정수..) Information Entropy - 불확실성의 정도를 나타내는 개념 - Entorpy 의 값이 크다는 것은 정보를 .. 확률(probability), 가능도(likelihood), 최대우도측정(likelihood maximization) 출처 : 확률(probability)과 가능도(likelihood) 그리고 최대우도추정(likelihood maximization) (tistory.com) 확률(probability)과 가능도(likelihood) 그리고 최대우도추정(likelihood maximization) * 우선 본 글은 유투브 채널StatQuest with Josh Starmer 님의 자료를 한글로 정리한 것 입니다. 만약 영어듣기가 되신다면 아래 링크에서 직접 보시는 것을 추천드립니다. 이렇게 깔끔하게 설명한 자료 jjangjjong.tistory.com https://youtu.be/XepXtl9YKwc - 확률 (Probability) = P(관측값 X | 확률분포 D ) *확률분포(probability distribut.. Tensorflow checkpoint 출처 : https://eehoeskrap.tistory.com/343 [TensorFlow] .ckpt vs .pb vs .pbtxt 차이점 간단하게 말하자면 아래와 같다. ckpt 파일 모델의 변수(가중치)인 체크포인트 파일 pb 파일 모델의 변수 + 구조 (즉, 전체 그래프) 로 이루어진 바이너리 파일 pbtxt 파일 pb 파일을 읽을 수 있는 텍 eehoeskrap.tistory.com train1.ckpt.data-00000-of-00001 모델의 구조를 제외한 모든 변수들을 포함, 모델 복원시 메타파일과 데이터 파일을 이용 train1.ckpt.index 데이터파일과 메타파일을 올바르게 매핑하기 위한 내부적으로 필요한 인덱스 파일임 train1.ckpt.meta 메타 그래프를 포함, 변수 값을.. Batch norm, layer norm, instance norm, group norm http://dongsarchive.tistory.com/74 Batch Norm, Layer Norm, Instance Norm, Group Norm 다양한 Normalization 기법들이 있어서 정리하고자 포스팅한다. Network layer의 output을 normalize 하는 경우 트레이닝 타임이 크게 감소하고, 학습이 잘 된다. 잘 되는 이유에는 초기에는 Internal Covariate S.. dongsarchive.tistory.com Feedforward Network DL : 비선형 함수를 활용 affine transform : 선형으로 변형 activation function : 비선형을 활용 (... 추가 작성 필요 ...) [왜 Feedforward network 는 충분히 잘될 까] 1989,시벤코 정리 (universal approximation theorem) -> 하나 이상의 hidden layer 를 갖는 인공신경만은 임의의 연속인 다변수 함수 f를 원하는 정도로 근사 할 수 있다! -> 그러나 w1,w2..wn, bias, active func 이 잘못되거나 hidden layer neuron 수가 부족하다면 근사하는데 실패 할 수 있으며, 얼마나 큰 네트워크여야 하는지는 모른다 -> 모델 크기, hyper parameter 를 잘 조절해야 한다 ->.. 머신러닝 기초 [기계학습 문제 해결 순서] 1. 해결 할 일(task) 에 대해 input, ouput 이 무엇인지 분석한다. - 회귀인지, 분류인지 - 라벨링이 되어있는지, 아닌지 2. 데이터를 이해한다 (EDA) - Missing value 채움, Outlier 제거 - 데이터 분포 및 값을 검토 - 모델링 시 주의점 파악 - 모델 선택 가설 수립 3. Train, Test 데이터를 대표성을 띄도록 임의로 나누고, metric 을 정의한다. *Validation set 이 필요한 이유 : 학습 중간 과정에 Model 성능 평가 가능, 모델링 진행자를 위해 존재 4. 피처엔지니어링과 모델링을 한다 - 피처엔지니어링 : 데이터 도메인 지긱을 활용하여 데이터 Feature 를 추가로 만들어 주는 과정 (고도화된 DL 에.. Pytorch 이전 1 ··· 15 16 17 18 19 20 21 다음
