딥러닝 훈련소

최근 엔비디아(NVIDIA)의 시가총액이 무려 846조 원이나 증발하는 사건이 있었는데요, 그 이유는 다름 아닌 DeepSeek라는 모델의 등장 때문입니다. 중국의 연구팀이 개발한 이 모델은 기존의 AI 모델들이 필요로 했던 고가의 H100 GPU 대신, 저사양 H800 GPU로도 GPT-4에 필적하는 성능을 구현해내는데 성공하였고, 개발팀은 DeepSeek 모델을 오픈소스로 공개하였습니다. 이 발표로 고성능 AI 칩에 대한 수요 감소가 예상되며 엔비디아의 주가 하락까지 이어지게 되었습니다. 이번 포스팅에서는 DeepSeek-R1 논문을 리뷰하며 논문의 메인 컨트리뷰션과 기술적 특징, 그리고 논문에 제시된 성능지표들을 살펴보도록 하겠습니다. https://arxiv.org/abs/2501.12948 De..

안녕하세요! 오늘은 DiTMoS 논문을 리뷰해보도록 하겠습니다. DiTMoS는 기존의 "상향식(top-down)" 모델 압축 전략에서 벗어나, 처음부터 "하향식(bottom-up)"으로 설계된 다수의 약한 모델을 조합하여 높은 정확도를 달성하는 새로운 프레임워크인데요, 이 DiTMoS 프레임워크를 통해 모델의 사이즈를 크게 줄여내며 SRAM이 제한된 마이크로컨트롤러에서의 인공지능 서빙(추론)이 가능하게 했습니다. PerCom 2024 best paper받은 논문입니다 함께 보시죠~https://arxiv.org/abs/2403.09035 DiTMoS: Delving into Diverse Tiny-Model Selection on MicrocontrollersEnabling efficient and ac..

안녕하세요! 오늘 포스팅에서는 Self-Attention이란 무엇인지, 그리고 그것이 어떻게 작동하는지 알아보겠습니다. Self-Attention을 핵심 연산으로 사용하는 트랜스포머는 LLM과 비전 모델 등 다양한 인공지능 모델에서 활용되며, 뛰어난 성능을 자랑하는 구조입니다. 어텐션 스코어 계산부터 Softmax 적용, 최종 출력 생성까지의 과정을 쉽게 설명해드리겠습니다. 기존의 attention은 입력과 출력 사이의 관계를 파악하기 위해 쓰였으나, Self attention은 입력문장에서 단어와 단어들간의 관계를 파악하기 위한 작업입니다.   self attention은 위 그림의 과정을 거쳐서 출력을 내보내게 되는데요,"I like a cat" 이라는 예시 문장을 입력으로 어텐션 연산이 진행되는 과..

안녕하세요. 오늘은 systolic array에 대해 알아보도록 하겠습니다. Systolic Array는 인공지능 연산의 핵심 연산인 행렬곱을 병렬로 파이프라이닝 하여 처리하며, 데이터 흐름을 최적화하여 계산 효율과 자원 활용도를 극대화합니다. 구글의 TPU를 포함한 여러 AI 하드웨어에서도 이 구조가 채택되며, CNN 연산의 하드웨어 가속화에서 중요한 역할을 하고 있습니다. 이번 포스트에서는 systolic array에서 어떻게 컨볼루션 연산 시 데이터를 처리하는지 간단한 예시와 함께 알아보도록 하겠습니다.  행렬 A와 B, 그리고 이 두 행렬의 곱은 위 수식과 같이 이루어지게 됩니다. 곱하고 더하는 과정이 반복되는 것을 확인할 수 있습니다. 위의 행렬곱과 같은 연산을 수행하는 2x2 시스톨릭 어레이입..

안녕하세요 Learning Efficient Convolution Networks through Network Slimming 논문 리뷰 시작하겠습니다.https://arxiv.org/abs/1708.06519 Learning Efficient Convolutional Networks through Network SlimmingThe deployment of deep convolutional neural networks (CNNs) in many real world applications is largely hindered by their high computational cost. In this paper, we propose a novel learning scheme for CNNs to simult..

안녕하세요 Pruning Filters for Efficient ConvNets 논문 리뷰 시작하겠습니다. 1. Abstract & Introduction∙ 다양한 application에서 활용되는 CNN은 큰 연산량과 저장공간이 동반된다∙ 최소한의 성능 감소로 convolution layer의 filter들을 pruning, 모델의 연산량을 줄일 수 있다∙ 모델을 압축하려는 시도는 많았으나 fully connected layer에서의 pruning은 유의미한 연산 시간의 차이를 만들지 못했다∙ VGG-16을 예로 들면 단 1%의 부동소수점 연산만이 fully connected layer에서 이루어진다∙ Filter pruning & retrain 전략으로 정확도를 크게 희생하지 않고도 연산량을 크게 줄..

https://deep-learning00.tistory.com/23 [딥러닝 컴퓨터비전] 스테레오 비전을 이용한 3차원 위치추정 알고리즘안녕하세요 오늘은 스테레오비전을 통하여 객체의 3차원 위치를 측정하는 방법을 알아보겠습니다. 우선 depth map을 만들려면 다른 위치의 두 카메라가 같은 물체를 촬영한 두 영상이 필요합니다deep-learning00.tistory.com 안녕하세요, 저번 포스트에서 depth camera에 원리에 대해서 알아보았는데요.이번 포스트에서는 depth camera로 부터 얻은 정보를 바탕으로 객체의 위도와 경도를 계산하는 법을 알아보겠습니다. 우선 real sense 카메라는 대상 픽셀과의 직선거리 r과 카메라가 보는방향을 기준으로 한 세타(θ) 값을 반환합니다. 이 r..

안녕하세요 오늘은 스테레오비전을 통하여 객체의 3차원 위치를 측정하는 방법을 알아보겠습니다. 우선 depth map을 만들려면 다른 위치의 두 카메라가 같은 물체를 촬영한 두 영상이 필요합니다.우리가 펜을 들고 왼쪽 눈, 오른쪽 눈으로만 펜을 보게 될때, 펜의 위치가 바뀌게 되는 것처럼 보이는 것을 느낄 수 있는데, depth map을 만드는데 이와 같은 원리가 적용되는 것입니다. 따라서 스테레오 비전은 서로 다른 위치의 두 카메라가 같은 물체를 촬영한 두 영상에서 동일 객체의 영상 내 위치 차이를 이용하여 물체의 깊이정보를 구합니다. input으로 두 이미지를 받고 output으로 두 input 영상을 통해 depth map을 출력하는 것입니다. 이때 노란색 삼각형의 닮음을 활용한 비례식과 초록색 삼각..

안녕하세요 저번 포스팅에서 Instance-Aware Repeat Factor Sampling (IRFS) 논문을 읽어보았는데요, 오늘은 이 기법을 활용하여 yolo v8 모델을 훈련시키는 방법을 알아보도록 하겠습니다. https://deep-learning00.tistory.com/21 [논문리뷰] Instance-Aware Repeat Factor Sampling for Long-Tailed Object Detection(IRhttps://arxiv.org/abs/2305.08069 Instance-Aware Repeat Factor Sampling for Long-Tailed Object DetectionWe propose an embarrassingly simple method -- instanc..

https://arxiv.org/abs/2305.08069 Instance-Aware Repeat Factor Sampling for Long-Tailed Object DetectionWe propose an embarrassingly simple method -- instance-aware repeat factor sampling (IRFS) to address the problem of imbalanced data in long-tailed object detection. Imbalanced datasets in real-world object detection often suffer from a large disparity inarxiv.org 1.Introduction안녕하세요 저번 포스팅에서 W..