ML, DL/딥러닝 기초 (5) 썸네일형 리스트형 OOD (out of distribution detection) 비슷한 용어 novelty-detection, anomaly-detection, open-set-recognition, OOD-detection 베이스 라인 논문 Generalized out-of-distribution detection: A survey Papers with code 도 함 봐보기.. 크게 classification, density, distance based method 로 분류됨 검색 키워드 정리 out of distribution detection physical simulations neural network simulation operator learning papers with code 에서 fem 으로 검색 GPGPU,CUDA, cuDNN GPU - 연산 (ALU) 고속 병렬 처리 - CPU 처럼 다른 구성요소 제어 기능 필요 없음 GPGPU - 단순 그래픽 처리만 하는 GPU 가 아닌, 병렬 연산 기능까지 수행하는 General purpose GPU - 최근에는 GPGPU 도 GPU 라 칭함 CUDA (Compute unified device architecture) - GPU 병렬계산 C/C++ 프로그래밍 지원 소프트웨어 - CUDA 진행 방식 1. 데이터를 main memory 에서 GPU memory 로 이동 2. GPU 는 CPU 가 명령한 연산처리 병렬 수행 3. 연산 종료 시 GPU memory 에 결과 저장한 다음, main memory 에 결과물 업로드하고, CPU 가 main memory 접근하여 작업 마무리 - CUDA.. Batch norm, layer norm, instance norm, group norm http://dongsarchive.tistory.com/74 Batch Norm, Layer Norm, Instance Norm, Group Norm 다양한 Normalization 기법들이 있어서 정리하고자 포스팅한다. Network layer의 output을 normalize 하는 경우 트레이닝 타임이 크게 감소하고, 학습이 잘 된다. 잘 되는 이유에는 초기에는 Internal Covariate S.. dongsarchive.tistory.com Feedforward Network DL : 비선형 함수를 활용 affine transform : 선형으로 변형 activation function : 비선형을 활용 (... 추가 작성 필요 ...) [왜 Feedforward network 는 충분히 잘될 까] 1989,시벤코 정리 (universal approximation theorem) -> 하나 이상의 hidden layer 를 갖는 인공신경만은 임의의 연속인 다변수 함수 f를 원하는 정도로 근사 할 수 있다! -> 그러나 w1,w2..wn, bias, active func 이 잘못되거나 hidden layer neuron 수가 부족하다면 근사하는데 실패 할 수 있으며, 얼마나 큰 네트워크여야 하는지는 모른다 -> 모델 크기, hyper parameter 를 잘 조절해야 한다 ->.. 이전 1 다음
