개발/딥러닝20 GPT로 논문 읽기, 번역하기, 구현하기 저는 평소에 GPT를 많이 사용합니다. 홈페이지 디자인을 만들거나 조금 단순하지만 직접 만들기 귀찮은 함수를 만들 때 GPT한테 만들어 달라고 하면 생각보다 잘 만들어 줍니다. 아니면 교수님께 수강 신청을 하거나 필요한 글을 만들 때도 사용합니다. 하지만 GPT가 만능은 아닙니다. 경우에 따라서 정말 바보 같은 대답을 할 때도 있죠. 저희는 이런 인공지능의 강점을 이용하고 약점을 보완해서 논문을 번역해 볼 것입니다. 그전에, 이 포스팅은 패스트캠퍼스 러닝메이트 크루 활동의 일환으로, 판매 수익의 일부를 수수료로 제공받습니다. https://fastcampus.co.kr/biz_online_researcher?referral=f116b3eedc288656c655800422b20656 설정하기시작하기 전에 .. 2024. 11. 19. [논문 리뷰] NEfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (EfficientNet) ConvNet을 사용하는 네트워크들은 네트워크의 폭, 깊이, 해상도를 잘 바꾸면 모델의 성능이 향상된다고 합니다. 그럼 가장 성능이 좋은 값을 인공지능이 찾도록 하면 되지 않을까요? 이 논문은 여러 파라미터들을 잘 찾아주는 인공지능에 대한 것입니다. 접근법우선 문제에 대한 정의를 해 봅시다. i번째 Conv레이어는 다음과 같이 정의됩니다. $Y_i=F_i(X_i)$ $Y_i$는 출력 텐서, $F_i$는 연산, $X_i$는 입력 텐서입니다.입력 텐서는 (H_i, W_i, C_i)로 표현되는데 $H_i$는 너비, $W_i$는 높이, $C_i$는 채널 수입니다. ConvNet $N$은 $F_k\odot F_{k-1}\odot... F_1(X_1) = \bigodot_{j=1... k} F_j(X_1)$로 표.. 2024. 9. 15. [논문 리뷰] Neural Architecture Search: A Survey(NAS) Neural Architecture Search(NAS)는 인공지능을 만들어 주는 인공지능입니다. 보통 인공지능을 만들 때 모델을 만드는데 이 모델을 인공지능을 이용해서 만들어 보자는 것입니다. 이 인공지능의 컨셉과 발전 과정 집중해서 이야기해 보겠습니다.기본 전략3가지 개념을 알아야 합니다. search space : dense net, convolution, skip connection 등 여러 레이어가 있습니다.search strategy : search space를 어떻게 탐색할지 정합니다.performance estimation strategy : 찾은 아키텍쳐가 얼마나 성능을 내는지 구합니다. 직접 트레이닝해도 되고 퍼포먼스를 예측하는 알고리즘을 도입할 수 있습니다. search strateg.. 2024. 9. 5. [논문 구현] Encoder-Decoder with Atrous SeparableConvolution for Semantic Image Segmentation(DeepLabV3Plus) deepLabV3Plus는 이전 논문들과 다르게 모델 구조가 살짝 복잡합니다. 그래서 모델을 구현하는 것에 중점을 맞출 것입니다. 이전에 사용한 논문을 다시 가져왔습니다. atros conv는 기존의 conv를 변형한 것입니다. tensorflow 에서는 DepthwiseConv2D에 dilation_rate 속성을 주어 구현할 수 있는데 귀찮으니 ResNet50을 그대로 가져다 쓰겠습니다.모델 구현우선 512,512,3 크기를 입력받는다고 하겠습니다. keras.applications에서 ResNet을 가져옵니다. weights는 초기 가중치, include_top은 마지막 dense 레이어를 포함하는지 여부, input_tensor은 입력 크기입니다. 저희 모델의 큰 그림은 아래와 같습니다.여기서 *.. 2024. 8. 27. [논문 리뷰] Encoder-Decoder with Atrous SeparableConvolution for Semantic Image Segmentation(DeepLabV3Plus) 일반적인 segmentation에 대해 잘 동작하는 논문입니다. U-net과 비슷한 계열이라고 할 수 있습니다. U-net 비교했을 때 무엇이 달라졌는지 알아보겠습니다.목표U-net은 의료 데이터에서 시작을 했고 해당 데이터 특성에 맞는 로스 function을 사용했습니다. 하지만 이 논문은 네트워크 구조를 향상하는 것에 목표를 두었습니다. 그러기 위해 독특한 convolution을 제안합니다. 일반적인 conv 연산은 이전 레이어의 피쳐가 10개, 필터의 너비와 높이가 3*3이라 하면 10*3*3 크기의 필터 하나가 하나의 피쳐 맵을 형성 합니다. 하지만 이거는 연산이 너무 많습니다. 그래서 아래 구조의 convolution을 제안합니다. (b)는 필터의 너비와 높이를 1*1로 만든 것으로 기존의 co.. 2024. 8. 20. [논문 구현] You Only Look Once:Unified, Real-Time Object Detection(YOLO v1) 구현 모델 구현모델 구현 자체는 상당히 쉽습니다.우선 Conv 부분을 먼저 만들어 줍니다.아래와 같이 만들어 줍니다. 그리고 밑에 Dense를 사용합니다. 이때, gpu 메모리가 터진다고 경고를 할 때가 있는데 껐다 켜면 해결이 됩니다. 최종적으로 7*7*(3+5*2)로 나옵니다. 3은 클래스의 수입니다.로스로스를 구현해 보겠습니다. 우선 오브젝트가 있는 것과 없는 것으로 나눕니다. 오브젝트가 있는 각각의 셀을 박스 예측과 클래스 예측으로 나눕니다. 한 피쳐 픽셀 당 2개의 바운딩 박스를 예측하므보 5*2 개를 뽑아냅니다. 오브젝트가 없는 것에 대해 confidence score를 계산합니다. 예측한 바운딩 박스와 타겟의 바운딩 박스의 IOU를 구한 다음 가장 많이 겹치는 박스를 구합니다. 셀 당 2개의 박스.. 2024. 8. 11. 이전 1 2 3 4 다음
