딥러닝 훈련소

안녕하세요 Learning Efficient Convolution Networks through Network Slimming 논문 리뷰 시작하겠습니다.https://arxiv.org/abs/1708.06519 Learning Efficient Convolutional Networks through Network SlimmingThe deployment of deep convolutional neural networks (CNNs) in many real world applications is largely hindered by their high computational cost. In this paper, we propose a novel learning scheme for CNNs to simult..

안녕하세요 Pruning Filters for Efficient ConvNets 논문 리뷰 시작하겠습니다. 1. Abstract & Introduction∙ 다양한 application에서 활용되는 CNN은 큰 연산량과 저장공간이 동반된다∙ 최소한의 성능 감소로 convolution layer의 filter들을 pruning, 모델의 연산량을 줄일 수 있다∙ 모델을 압축하려는 시도는 많았으나 fully connected layer에서의 pruning은 유의미한 연산 시간의 차이를 만들지 못했다∙ VGG-16을 예로 들면 단 1%의 부동소수점 연산만이 fully connected layer에서 이루어진다∙ Filter pruning & retrain 전략으로 정확도를 크게 희생하지 않고도 연산량을 크게 줄..

1.Introduction저번 포스팅에서와 같이 long tail 데이터셋에서의 예측 성능을 높이기 위한 기법을 제시된 논문입니다. 차이점은 이 논문에서는 ImageNet과 같은 데이터셋과는 달리 CelebA 데이터셋을 중심으로 설명하고 있습니다.(RAP와 CIFAR-100 데이터셋으로 실험한 결과도 제공합니다.) CelebA 데이터셋은 여러 유명인들의 얼굴 이미지인데, 총 202,599개의 얼굴 이미지로 구성되며 10,177명 가량의 사람들(명당 20장 정도)이 데이터셋을 이루고 있습니다. 주목할 점은 각 사진마다 40개의 특성 정보들(Smiling, Male, Young, Big nose,...)이 있고, 1또는 0으로 라벨링 되어있다는 것입니다. 따라서 이 데이터셋은 각 사람에 대한 샘플 수는 균형..

1. Introduction ImageNet과 같은 거대한 데이터셋들을 주로 활용하면서, 딥 CNN신경망과 함께 이미지 분류 모델은 엄청난 속도로 발전해왔습니다. 이러한 데이터셋들은 모델 훈련시 준수한 성능을 낼 수 있게 하기 위해 각 클래스마다 샘플(이미지) 개수들이 균형을 이루고 있는데요, 하지만 항상 이렇게 균형잡힌 데이터셋을 활용하여 모델을 훈련시킬 수 있는 것은 아닙니다. 인터넷상에 충분한 양의 이미지 자료가 퍼져 있지 않은 물체를 학습시킬 때를 그 예로 들 수 있겠죠. long-tail 데이터셋이란 그림과 같이 샘플 수가 많은 클래스와 샘플 수가 적은 클래스간의 샘플 수 불균형이 큰 데이터셋을 뜻합니다. 논문에서는 클래스넘버가 클수록 샘플 수가 많은 클래스입니다. 샘플 수를 기준으로 내림차순 ..

(딥러닝에 대한 사전지식이 없으신 분들은 딥러닝 기초이론 편을 마치고 오시면 좋을것 같습니다!) 이번 포스팅에서는 컴퓨터가 이미지를 해석하는 방법과 합성곱 연산에 대해 알아보겠습니다.위 사진을 볼까요? 저는 이 사진을 보라색 장식의 모자를 쓴 여자정도로 표현할 수 있을 것 같은데요, 컴퓨터는 과연 이 사진을 어떻게 해석할 까요?  딥러닝 프레임워크 pytorch를 이용한 이미지 표현입니다. 512 x 512 의 RGB이미지가 각각 세 장이 겹쳐 있는 형태라고 볼 수 있겠네요.  컴퓨터는 각각의 RGB 이미지에 한 픽셀당 0~255의 정수값을 부여하여 해당 픽셀의 밝기를 조절하고, 이렇게 표현된 이미지 파일이 우리에게 보여지게 됩니다. 이제 위와 같은 컴퓨터의 이미지 해석법을 활용하여 이미지를 넣어주었을 ..