본문 바로가기

ML, DL

(34)
OOD (out of distribution detection) 비슷한 용어 novelty-detection, anomaly-detection, open-set-recognition, OOD-detection 베이스 라인 논문 Generalized out-of-distribution detection: A survey Papers with code 도 함 봐보기.. 크게 classification, density, distance based method 로 분류됨
검색 키워드 정리 out of distribution detection physical simulations neural network simulation operator learning papers with code 에서 fem 으로 검색
Fully Convolutional Networks for Semantic Segmentation - FCN : semantic segmentation 을 위해 CNN 기반 모델 (AlexNet, VGG16, GoogleNet) 을 변형 - 'Image classification' to 'semantic segmentation model' 은 3가지 과정으로 표현됨 1. Convoluionalization 2. Deconvolution (upsampling) 3. skip architecture Convolutionalization - Image classification 은 중간까지는 CNN 으로 image feature 추출하고, 출력층에서 fc 로 classify 함 - fc layer 한계 : 이미지 위치 정보가 사라짐 -> 따라서 fc layer 를 모두 conv layer 로 대체하여 위치..
GPGPU,CUDA, cuDNN GPU - 연산 (ALU) 고속 병렬 처리 - CPU 처럼 다른 구성요소 제어 기능 필요 없음 GPGPU - 단순 그래픽 처리만 하는 GPU 가 아닌, 병렬 연산 기능까지 수행하는 General purpose GPU - 최근에는 GPGPU 도 GPU 라 칭함 CUDA (Compute unified device architecture) - GPU 병렬계산 C/C++ 프로그래밍 지원 소프트웨어 - CUDA 진행 방식 1. 데이터를 main memory 에서 GPU memory 로 이동 2. GPU 는 CPU 가 명령한 연산처리 병렬 수행 3. 연산 종료 시 GPU memory 에 결과 저장한 다음, main memory 에 결과물 업로드하고, CPU 가 main memory 접근하여 작업 마무리 - CUDA..
tensorflow, keras GPU 메모리 문제 https://twinparadox.tistory.com/606 TensorFlow, Keras GPU 메모리 문제(Out of Memory) 발생 시 시도해볼 방법 빅데이터 처리나 딥러닝을 하다보면 자연스럽게 마주하는 문제가 바로 메모리 문제다. 빅데이터 처리 같은 경우 그냥 파이썬에서 Numpy나 Dataframe을 사용하는 과정에서 발생하는 일이 흔하고, 그 twinparadox.tistory.com
4. Numerical Computation https://leejunhyun.github.io/deep%20learning/2018/09/27/DLB-04/ [DeepLearningBook] Chapter 4 : Numerical Computation 이 책 내용을 정리한 포스트입니다. https://www.deeplearningbook.org/, Ian Goodfellow and Yoshua Bengio and Aaron Courville, An MIT Press book leejunhyun.github.io
3. Probability and Information Theory - Source of uncertainiy 1. Inherent stochasticity in the system bening modeled 2. Imcomplete observability 3. Incomplete modeling (model that must discard some of the information we have observed) - Frequentist probability :related directly to the rates at which events occur - Bayesian probability : related to qualitative levels of certainty (degree of belief) - Probability mass function (PMF) :..
2. Linear Algebra https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwitkrDdpfj5AhUDMN4KHeF2C8gQFnoECAQQAQ&url=https%3A%2F%2Fwww.math.uwaterloo.ca%2F~hwolkowi%2Fmatrixcookbook.pdf&usg=AOvVaw2-gEURFNI1dDk06V90nZio https://www.google.com/url?cd=&esrc=s&q=&rct=j&sa=t&source=web&url=https%3A%2F%2Fwww.math.uwaterloo.ca%2F~hwolkowi%2Fmatrixcookbook.pdf&usg=AOvVaw2-gEURFNI1dDk06V90nZio&ved=2ahUKEwi..