Transformer와 Nerf에서의 Positional Encoding의 의미와 사용 목적

딥러닝 Concept 관련 글 목차 참조 : https://towardsdatascience.com/master-positional-encoding-part-i-63c05d90a0c3 참조 : https://www.blossominkyung.com/deeplearning/transfomer-positional-encoding 참조 : https://velog.io/@gibonki77/DLmathPE 참조...

13 minute read

Deformable Convolution 정리

deep learning 관련 글 목차 논문1 : https://arxiv.org/abs/1703.06211 논문2 : https://arxiv.org/abs/1811.11168 논문 발표 영상 :...

1 minute read

Deep Learning에서의 Uncertainty 관련 내용 정리

deep learning 관련 글 목차 참조 : https://www.edwith.org/bayesiandeeplearning/ 참조 : https://www.youtube.com/watch?v=d7y42HfE6uI 참조 : https://www.youtube.com/watch?v=bWfjoOsHT_Y&list=WL&index=103&t=1s 참조...

4 minute read

RegNet, Designing Network Design Spaces

deep learning 관련 글 목차 논문 : https://arxiv.org/abs/2003.13678 참조 : https://2-chae.github.io/category/2.papers/31 참조 : https://jackyoon5737.tistory.com/245 참조...

1 minute read

Focal Loss (Focal Loss for Dense Object Detection) 알아보기

deep learning 관련 글 목차 논문 : https://arxiv.org/pdf/1708.02002.pdf 참조 : https://youtu.be/d5cHhLyWoeg 참조 : https://www.analyticsvidhya.com/blog/2020/08/a-beginners-guide-to-focal-loss-in-object-detection/ 참조...

15 minute read

딥러닝에서의 다양한 Normalization 방법

deep learning 관련 글 목차 참조 : https://mlexplained.com/2018/11/30/an-overview-of-normalization-methods-in-deep-learning/ 참조 : https://ocw.mit.edu/resources/res-6-007-signals-and-systems-spring-2011/ 참조 : https://youtu.be/rVBfM0A3oWY 목차...

3 minute read

Transformer 모델 (Attention is all you need)

deep learning 관련 글 목차 참조 : https://youtu.be/Yk1tV_cXMMU 참조 : https://youtu.be/xhY7m8QVKjo 참조 : https://charon.me/posts/pytorch/pytorch_seq2seq_6/ 참조...

24 minute read

Attention 메커니즘의 이해

deep learning 관련 글 목차 참조 : Neural Machine Translation by Jointly Learning to Align...

9 minute read

HarDNet(A Low Memory Traffic Network)

deep learning 관련 글 목차 논문 : https://arxiv.org/abs/1909.00948 이 네트워크는 DenseNet을 기반으로 만들어 졌기 때문에...

2 minute read

DenseNet (Densely connected convolution networks)

deep learning 관련 글 목차 논문 : https://arxiv.org/pdf/1608.06993.pdf 참조 : https://pytorch.org/hub/pytorch_vision_densenet/ 참조 : https://github.com/pytorch/vision/blob/master/torchvision/models/densenet.py 참조...

9 minute read

Dilated Residual Network for Image Classification and Semantic Segmentation

참조 : https://towardsdatascience.com/review-drn-dilated-residual-networks-image-classification-semantic-segmentation-d527e1a8fb5 참조 : https://blog.naver.com/laonple/220991967450 이번 글에서는 Dilated Residual Network에 대하여 다루어 보려고 합니다....

14 minute read

경량 딥러닝 기술 동향(ETRI)

출처 : https://ettrends.etri.re.kr 이 글을 경량 딥러닝 기술 동향에 대한 ETRI의 글 중에 필요한 내용만...

6 minute read

ReLU6와 ReLU6를 사용하는 이유

이번 글에서는 뉴럴 네트워크에서 사용되는 activation function 중에서 ReLU6에 대하여 다루어 보려고 합니다. ReLU6는 기존의...

1 minute read

Bag of Tricks for Image Classification with Convolutional Neural Networks

논문 : https://arxiv.org/abs/1812.01187 참조 : https://www.youtube.com/watch?v=D-baIgejA4M&list=WL&index=34&t=0s 참조 : https://www.youtube.com/watch?v=2yxsg_aMxz0 참조 : https://hoya012.github.io/blog/Bag-of-Tricks-for-Image-Classification-with-Convolutional-Neural-Networks-Review/ 목차 Base line...

7 minute read

PReLU (Parametric ReLU)

이번 글에서는 PReLU (Parametric ReLU)에 대하여 간략하게 알아보겠습니다. ReLU는 최근 딥러닝 네트워크의 activation function으로 필수적으로...

3 minute read

Global Average Pooling 이란

deep learning 관련 글 목차 참조 : https://kevinthegrey.tistory.com/142 참조 : https://blog.naver.com/nywoo19/221930484253 참조 : https://discuss.pytorch.org/t/global-average-pooling-in-pytorch/6721/11 Covolution...

3 minute read

Activation function 요약

이번 글에서는 다양한 Activation function들을 쉽게 요약해 놓은 그림을 이용하여 설명드리겠습니다. 위 그림에서는 그래프와 식...

1 minute read

Convolution 연산 정리 (w/ Pytorch)

출처 : https://towardsdatascience.com/conv2d-to-finally-understand-what-happens-in-the-forward-pass-1bbaafb0b148 출처 : https://github.com/vdumoulin/conv_arithmetic 출처 : https://pytorch.org/docs/master/generated/torch.nn.Conv2d.html 목차 Convolution 연산 소개 Kernel 이란...

11 minute read

Depthwise separable convolution 연산

출처: https://youtu.be/T7o3xvJLuHk 이번 글에서는 convolution 연산 방법 중 하나인 depthwise separable convolution에 내용에 다루어 보도록...

4 minute read

배치 정규화(Batch Normalization)

참조 https://youtu.be/TDx8iZHwFtM?list=PLlMkM4tgfjnJhhd4wn5aj8fVTYJwIpWkS https://blog.naver.com/infoefficien/221122737854 (저의 또 다른 블로그) 이번 글에서는 딥러닝 개념에서 중요한 것 중 하나인...

14 minute read

Basic Probability and Information Theory

참고자료 https://ratsgo.github.io/convex%20optimization/2017/12/26/convexfunction/ 이번 글에서는 GAN을 다루기 전에 필요한 기본적인 확률과 정보이론을 다루어 보려고 합니다. 1)...

8 minute read

BatchNormalization, Dropout, Pooling 적용 순서

딥러닝 프레임워크를 이용하여 네트워크를 구성할 때 다양한 정규화 기법들을 사용하곤 합니다. 배치 정규화(batch normaliation), 드랍...

1 minute read

딥러닝 학습 시 사용되는 optimizer

출처 : 밑바닥부터 배우는 딥러닝 이번 글에서는 딥러닝 시 사용되는 optimizer들에 대하여 살펴보도록 하겠습니다. 확률적...

3 minute read

딥러닝 Backpropagation 정리

deep learning 관련 글 목록 딥러닝의 backpropagation 관련 내용과 자주 사용되는 식들의 미분값에 대하여 정리해...

4 minute read

Inception Module과 GoogLeNet

참조 : https://youtu.be/V0dLhyg5_Dw https://m.blog.naver.com/laonple/220808903260 이번 글에서는 GoogLeNet 또는 Inception이라는 딥 뉴럴 네트워크에 대하여 알아보도록 하겠습니다....

14 minute read

VAE(Variational AutoEncoder)

deep learning 관련 글 목록 이번 글에서는 Variational AutoEncoder의 기본적인 내용에 대하여 다루어 보도록 하겠습니다....

5 minute read

GAN(Generative Adversarial Network)

목차 Generative Adversarial Network의 의미 Generative Adversarial Network의 상세 내용 Generative Adversarial Network의 구현 Generative...

1 minute read

AutoEncoder의 모든것 (2. Manifold Learning)

이 글은 오토인코더의 모든것 강의를 보고 요약한 글입니다. 이번 글에서는 manifold learning이 무엇인지 직관적으로 한번...

4 minute read

Transposed Convolution과 Checkboard artifact

deep learning 관련 글 목차 참조 : https://distill.pub/2016/deconv-checkerboard/ 목차 Checkboard pattern 이란 Transposed Convolution과 Overlap...

3 minute read

Transposed Convolution을 이용한 Upsampling

deep learning 관련 글 목차 참조 : https://medium.com/activating-robotic-minds/up-sampling-with-transposed-convolution-9ae4f2df52d0 목차 Upsampling의 필요성 Transposed Convolution의 사용 이유...

5 minute read

Batch Normalization 이란 무엇일까?

이번 글에서는 딥러닝에서 자주 사용되는 Batch Normalization에 대하여 알아보도록 하겠습니다. 참고 자료 : Deep Learning...

1 minute read

gram matrix used in style transer

아래는 영어로 작성(?)해 봤던 gram matrix 입니다. Today, we are going to study about gram...

1 minute read

shallow neural network

Explanation for vectorized implementation In this lecture, we study vectorized implementation. It’s simple. with vetorization,...

1 minute read

L1,L2 Regularization

deep learning 관련 글 목차 참조 : https://youtu.be/kuJROoa4kh8 Normalization과 Regularization 이 글에서 설명할 Regularization은 정규화...

10 minute read

Stride와 Pooling의 비교

deep learning 관련 글 목록 참조 : https://stats.stackexchange.com/questions/387482/pooling-vs-stride-for-downsampling Convolutional Neural Network에서 feature의 resolution을 줄일 때,...

2 minute read

ResNet (Residual Network)

이번 글에서는 Residual Network에 대하여 알아보겠습니다. 현재는 가장 기본이 되는 네트워크 중 하나인데, 처음에 나왔을...

10 minute read

딥 러닝 관련 글 목차

딥 러닝 개념 Convolution arithmetic Activation function 요약 PReLU (Parametric ReLU) ReLU6와 ReLU6를 사용하는 이유...

2 minute read