신경망의 역전파: 기계 학습 알고리즘

역전파 신경망(BPNN)을 배우기 전에 다음 사항을 이해해 보겠습니다.

인공 신경망이란 무엇입니까?

신경망은 연결된 I/O 장치 그룹으로, 각 연결에는 해당 컴퓨터 프로그램과 관련된 가중치가 있습니다. 대규모 데이터베이스에서 예측 모델을 구축하는 데 도움이 됩니다. 이 모델은 인간의 신경계를 기반으로 구축되었습니다. 이미지 이해, 인간 학습, 컴퓨터 스피치 등을 수행하는 데 도움이 됩니다.

역전파란 무엇입니까?

역 전파 신경망 훈련의 핵심입니다. 이전 에포크(즉, 반복)에서 얻은 오류율을 기반으로 신경망의 가중치를 미세 조정하는 방법입니다. 가중치를 적절하게 조정하면 오류율을 줄이고 일반화를 높여 모델의 신뢰성을 높일 수 있습니다.

신경망의 역전파는 "오류의 역전파"의 약어입니다. 인공 신경망을 훈련시키는 표준 방법입니다. 이 방법은 네트워크의 모든 가중치에 대한 손실 함수의 기울기를 계산하는 데 도움이 됩니다.

역전파 알고리즘의 작동 방식

신경망의 역전파 알고리즘은 체인 규칙에 따라 단일 가중치에 대한 손실 함수의 그래디언트를 계산합니다. 네이티브 직접 계산과 달리 한 번에 한 레이어씩 효율적으로 계산합니다. 그래디언트를 계산하지만 그래디언트가 어떻게 사용되는지는 정의하지 않습니다. 델타 규칙에서 계산을 일반화합니다.

다음의 역전파 신경망 예제 다이어그램을 살펴보면 이해가 쉽습니다.

1. 입력 X, 미리 연결된 경로를 통해 도착
2. 입력은 실제 가중치 W를 사용하여 모델링됩니다. 가중치는 일반적으로 무작위로 선택됩니다.
3. 입력 레이어부터 은닉 레이어, 출력 레이어까지 모든 뉴런의 출력을 계산합니다.
4. 출력의 오류 계산

ErrorB= Actual Output – Desired Output

5. 출력 레이어에서 숨겨진 레이어로 다시 이동하여 오류가 줄어들도록 가중치를 조정합니다.

원하는 결과가 나올 때까지 이 과정을 계속 반복하세요

왜 역전파가 필요한가?

역전파의 가장 두드러진 장점은 다음과 같습니다.

• 역전파는 빠르고 간단하며 프로그래밍하기 쉽습니다.
• 입력 숫자 외에는 조정할 매개변수가 없습니다.
• 네트워크에 대한 사전 지식이 필요하지 않으므로 유연한 방법입니다.
• 일반적으로 잘 작동하는 표준 방법입니다.
• 학습하고자 하는 기능의 특징에 대해서는 특별히 언급할 필요가 없습니다.

피드포워드 네트워크란 무엇입니까?

피드포워드 신경망은 노드가 결코 순환을 형성하지 않는 인공 신경망입니다. 이러한 종류의 신경망에는 입력층, 은닉층, 출력층이 있습니다. 인공 신경망의 최초이자 간단한 유형입니다.

역전파 네트워크의 유형

역전파 네트워크의 두 가지 유형은 다음과 같습니다.

• 정적 역전파
• 반복적 역전파

정적 역전파

이는 정적 출력에 대한 정적 입력 매핑을 생성하는 일종의 역전파 네트워크입니다. 광학 문자 인식과 같은 정적 분류 문제를 해결하는 데 유용합니다.

반복적 역전파

데이터 마이닝의 순환 역전파는 고정된 값에 도달할 때까지 피드포워드됩니다. 그 후 오류가 계산되어 역방향으로 전파됩니다.

이 두 방법의 주요 차이점은 정적 역전파에서는 매핑이 빠르고 반복적 역전파에서는 매핑이 비정적이라는 것입니다.

역전파의 역사

• 1961년 J. Kelly, Henry Arthur 및 E. Bryson은 제어 이론의 맥락에서 연속 역전파의 기본 개념을 도출했습니다.
• 1969년에 Bryson과 Ho는 다단계 동적 시스템 최적화 방법을 제시했습니다.
• 1974년 Werbos는 이 원리를 인공 신경망에 적용할 가능성을 언급했습니다.
• 1982년에 Hopfield는 신경망에 대한 아이디어를 내놓았습니다.
• 1986년 David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams의 노력으로 역전파가 인정을 받았습니다.
• 1993년 Wan은 역전파 방법의 도움으로 국제 패턴 인식 대회에서 최초로 우승했습니다.

역전파 핵심 사항

• 훈련된 네트워크에 최소한의 영향을 미치는 요소 가중치 링크를 통해 네트워크 구조를 단순화합니다.
• 입력 레이어와 은닉 유닛 레이어 간의 관계를 개발하려면 입력 및 활성화 값 그룹을 연구해야 합니다.
• 주어진 입력 변수가 네트워크 출력에 미치는 영향을 평가하는 데 도움이 됩니다. 이 분석을 통해 얻은 지식은 규칙으로 표현되어야 합니다.
• 역전파는 이미지나 음성 인식과 같이 오류가 발생하기 쉬운 프로젝트를 수행하는 심층 신경망에 특히 유용합니다.
• 역전파는 체인 및 거듭제곱 규칙을 활용하여 역전파가 여러 출력에 대해 작동하도록 허용합니다.

최고의 연습 역전파

신경망의 역전파는 "신발끈" 비유를 통해 설명할 수 있습니다.

긴장감이 너무 약함 =

• 제한이 충분하지 않고 매우 느슨함

긴장이 너무 심하다 =

• 너무 많은 제약(과도한 훈련)
• 시간이 너무 많이 걸림(상대적으로 느린 프로세스)
• 깨질 확률이 더 높아요

하나의 레이스를 다른 것보다 더 많이 당기는 것 =

• 불편함(편향)

역전파 사용의 단점

• 특정 문제에 대한 역전파의 실제 성능은 입력 데이터에 따라 달라집니다.
• 데이터 마이닝의 역전파 알고리즘은 시끄러운 데이터에 매우 민감할 수 있습니다.
• 역전파를 위해서는 미니 배치 대신 행렬 기반 접근 방식을 사용해야 합니다.

요약

• 신경망은 연결된 I/O 장치 그룹으로, 각 연결에는 해당 컴퓨터 프로그램과 관련된 가중치가 있습니다.
• 역전파는 "오류의 역전파"의 약어입니다. 인공 신경망을 훈련시키는 표준 방법입니다.
• 역전파 알고리즘 기계 학습 빠르고 간단하며 프로그래밍하기 쉽습니다.
• 피드포워드 BPN 네트워크는 인공 신경망입니다.
• 역전파 네트워크의 두 가지 유형은 1)정적 역전파 2) 순환적 역전파입니다.
• 1961년 J. Kelly, Henry Arthur 및 E. Bryson은 제어 이론의 맥락에서 연속 역전파의 기본 개념을 도출했습니다.
• 역전파 데이터 마이닝 훈련된 네트워크에 최소한의 영향을 미치는 가중치 링크를 제거하여 네트워크 구조를 단순화합니다.
• 이미지나 음성 인식과 같이 오류가 발생하기 쉬운 프로젝트를 수행하는 심층 신경망에 특히 유용합니다.
• 역전파의 가장 큰 단점은 시끄러운 데이터에 민감할 수 있다는 것입니다.