Deep Learning 개념 정리

딥러닝이란?

딥러닝은 머신 러닝의 한 분야로, 인공 신경망(ANN)을 기반으로 한다. 여러 계층으로 이루어진 신경망을 사용하여 복잡한 패턴을 학습할 수 있다.

이름에서 '딥(깊은)'이라는 말이 사용되는 이유는, 신경망이 여러 계층으로 깊게 구성되어 있기 때문이다.

인공 신경망 (Artificial Neural Networks, ANN)

1. 뉴런 (Neuron):

• 인공 신경망의 기본 단위
• 입력 데이터와 가중치를 곱한 후, 활성화 함수를 적용하여 출력 값을 생성

 

 

2. 계층 (Layer):

• 인공 신경망은 여러 계층으로 구성된다.
• 입력 계층 (Input Layer): 입력 데이터를 받는 계층
• 은닉 계층 (Hidden Layer): 입력 계층과 출력 계층 사이에 있는 중간 계층. 여러 개의 은닉 계층을 가진 경우, 이를 '깊은 신경망'이라고 부른다.
• 출력 계층 (Output Layer): 최종 출력 값을 생성하는 계층

 

 

How to get the parameter's values

학습 (Training)

1. 손실 함수 (Loss Function):
   • 모델의 예측 값과 실제 값 사이의 차이를 계산하는 함수입니다.
   • 평균 제곱 오차(Mean Squared Error, MSE), 교차 엔트로피 오차(Cross-Entropy Loss) 등이 있습니다.
2. 역전파 (Backpropagation):
   • 손실 함수를 최소화하기 위해 각 가중치를 업데이트하는 알고리즘입니다.
   • 출력 값에서 입력 방향으로 역순으로 계산하여 가중치를 조절합니다.

다양한 옵티마이저 : https://vision-ai.tistory.com/entry/%EC%98%B5%ED%8B%B0%EB%A7%88%EC%9D%B4%EC%A0%80-Optimizer-%EC%A2%85%EB%A5%98

주요 딥러닝 모델

1. 합성곱 신경망 (Convolutional Neural Networks, CNN):
   • 이미지 처리에 주로 사용한다.
   • 필터를 사용하여 이미지의 특징을 추출
2. 순환 신경망 (Recurrent Neural Networks, RNN):
   • 순차적인 데이터, 예를 들어 텍스트나 시계열 데이터를 처리하는 데 사용한다.
   • 시간에 따른 은닉 상태를 가지며, 이를 통해 순차적인 정보를 학습
3. 트랜스포머 (Transformer):
   • 주로 자연어 처리에 사용되며, self-attention 메커니즘을 기반으로 한다.
   • 긴 범위의 문맥을 고려하여 문장을 처리할 수 있다.

전이 학습 (Transfer Learning)

• 미리 학습된 딥러닝 모델을 새로운 작업에 재사용하는 방법
• 큰 데이터셋에서 미리 학습된 모델의 가중치를 초기값으로 사용하여,
• 작은 데이터셋에서도 좋은 성능을 달성할수있다.

다음장에서 계속