딥러닝 훈련소

안녕하세요 Pruning Filters for Efficient ConvNets 논문 리뷰 시작하겠습니다. 1. Abstract & Introduction∙ 다양한 application에서 활용되는 CNN은 큰 연산량과 저장공간이 동반된다∙ 최소한의 성능 감소로 convolution layer의 filter들을 pruning, 모델의 연산량을 줄일 수 있다∙ 모델을 압축하려는 시도는 많았으나 fully connected layer에서의 pruning은 유의미한 연산 시간의 차이를 만들지 못했다∙ VGG-16을 예로 들면 단 1%의 부동소수점 연산만이 fully connected layer에서 이루어진다∙ Filter pruning & retrain 전략으로 정확도를 크게 희생하지 않고도 연산량을 크게 줄..

1.Introduction저번 포스팅에서와 같이 long tail 데이터셋에서의 예측 성능을 높이기 위한 기법을 제시된 논문입니다. 차이점은 이 논문에서는 ImageNet과 같은 데이터셋과는 달리 CelebA 데이터셋을 중심으로 설명하고 있습니다.(RAP와 CIFAR-100 데이터셋으로 실험한 결과도 제공합니다.) CelebA 데이터셋은 여러 유명인들의 얼굴 이미지인데, 총 202,599개의 얼굴 이미지로 구성되며 10,177명 가량의 사람들(명당 20장 정도)이 데이터셋을 이루고 있습니다. 주목할 점은 각 사진마다 40개의 특성 정보들(Smiling, Male, Young, Big nose,...)이 있고, 1또는 0으로 라벨링 되어있다는 것입니다. 따라서 이 데이터셋은 각 사람에 대한 샘플 수는 균형..

위 사진은 '딥러닝' 이라고 검색하면 가장 쉽게 볼 수 있는 이미지 중 하나이다. 이전 포스팅에서 인공지능이 어떻게 구현되는지를 설명했었는데, 그 계산 과정을 이러한 인공신경망으로 도식화 할 수 있다. 이 과정을 이해해보도록 하는 시간을 가져보도록 하겠다. 위 사진을 통해 사람의 뉴런이 신호를 전달하는 법을 알아보자. 먼저 자극을 받아들이는 부분이 존재하고 그 자극을 전달하는 부분이 존재한다. 그 후 다시 해당 자극을 다른 뉴런의 수상돌기로 보낸다. 이를 우리가 실습했던 수면시간에 따라 피로도를 계산하는 메커니즘과 접목시켜 보면 다음과 같이 도식화된다. x는 수면시간이고 y를 피로도라고 생각하면 실습에서 했던 내용과 같다는 것을 알 수 있다. 외부에서 들어오는 x는 데이터이다. 해당 데이터에 우리가 학습..

우리는 실생활에서 알게 모르게 굉장히 많은 인공지능들과 맞닿아 있다. AI 반도체, AI 챗봇, AI 지우개, 생성형 AI 등등,,, 그렇다면 AI란 무엇일까? 나는 AI를 한 마디로 '통계 분석 프로그램' 이라고 표현하고 싶다. 인공지능이 무엇인지 얘기하다가 갑자기 통계 분석 프로그램? 의문이 들 수 있다. 의심은 잠시 접어두고 밑의 예시를 살펴보자. 강아지1 강아지2 강아지3 키 1m 2m 3m 무게 20kg 40kg ? 이 표는 강아지의 키에 따른 무게를 정리해놓은 표이다. 키가 3m인 강아지의 무게는 몇일까? 아마 대부분의 사람들이 60kg라는 결론을 냈을 것이라고 생각한다. 1에 20을 곱하면 20kg, 2에 20을 곱하면 40kg, 3에 20을 곱하면 60이기 때문이다. 이러한 우리의 자연스러..