신경망에서의 역전파: 머신러닝 알고리즘 및 예시

인공 신경망이란 무엇입니까?

인공 신경망은 각 연결에 가중치가 부여된 연결된 입출력 장치들의 집합입니다. 대규모 데이터베이스에서 예측 모델을 구축하는 데 도움을 주며, 인간의 신경계에서 어휘를 차용하여 설계되었습니다. 이러한 신경망은 이미지 이해, 머신 러닝, 컴퓨터 음성 인식 및 기타 여러 패턴 인식 작업에 활용됩니다.

역전파는 이러한 가중치를 어떻게 설정해야 하는지 결정하는 알고리즘이므로, 이 두 가지 개념은 함께 이해하는 것이 가장 좋습니다.

역전파란 무엇입니까?

역전파는 신경망 학습의 핵심입니다. 이는 이전 에포크(즉, 반복)에서 얻은 오류율을 기반으로 신경망의 가중치를 미세 조정하는 방법입니다. 가중치를 적절히 조정하면 오류율을 줄이고 일반화 성능을 향상시켜 모델의 신뢰성을 높일 수 있습니다.

신경망의 역전파는 "오류의 역전파"의 약어입니다. 인공 신경망을 훈련시키는 표준 방법입니다. 이 방법은 네트워크의 모든 가중치에 대한 손실 함수의 기울기를 계산하는 데 도움이 됩니다.

두 용어가 자주 혼동됩니다. 역전파만 해당됩니다. 계산 기울기; 경사 하강법과 같은 최적화 도구가 실제로 하는 일입니다. 변경 해당 기울기를 사용하여 가중치를 계산합니다. 거의 모든 최신 프레임워크는 자체 미분 엔진을 통해 역전파를 자동으로 수행합니다.

역전파 알고리즘의 작동 방식

신경망의 역전파 알고리즘은 연쇄 법칙을 이용하여 단일 가중치에 대한 손실 함수의 기울기를 계산합니다. 이는 단순한 직접 계산 방식과는 달리 한 번에 한 레이어씩 효율적으로 계산합니다. 역전파 알고리즘은 기울기를 계산하지만, 그 기울기가 어떻게 사용되는지는 정의하지 않습니다. 이는 델타 법칙의 계산 방식을 일반화한 것입니다.

이 알고리즘의 효율성은 연쇄 법칙에서 비롯됩니다. 초기 가중치 하나가 최종 손실에 미치는 영향은 출력까지의 경로를 따라 각 가중치의 부분적인 미분값의 곱으로 나타나므로, 알고리즘은 각 레이어의 중간 결과를 캐시하고 아래 레이어의 모든 가중치에 대해 이를 재사용합니다. 즉, 가중치마다 전체 네트워크를 다시 계산하는 대신 이 방식을 사용하는 것입니다.

이해를 돕기 위해 다음 역전파 신경망 예시 다이어그램을 살펴보십시오. trac전체 과정을 한 번 거칩니다. 입력은 왼쪽에서 들어오고, 활성화 값은 은닉층을 거쳐 출력으로 이동하며, 측정된 오류는 동일한 연결을 따라 되돌아가 가중치를 수정합니다.

1. 입력 X, 미리 연결된 경로를 통해 도착
2. 입력은 실제 가중치 W를 사용하여 모델링됩니다. 가중치는 일반적으로 무작위로 선택됩니다.
3. 입력 레이어부터 은닉 레이어, 출력 레이어까지 모든 뉴런의 출력을 계산합니다.
4. 출력값의 오차를 계산하세요:

   ErrorB= Actual Output – Desired Output
   

5. 출력 레이어에서 숨겨진 레이어로 다시 이동하여 오류가 줄어들도록 가중치를 조정합니다.
6. 원하는 결과가 나올 때까지 이 과정을 반복하십시오.

많은 교과서에서 같은 양을 다음과 같이 표기합니다. 원하는 값에서 실제 값을 뺀 값두 가지 관례 모두 유효합니다. 최적화 프로그램이 실행될 때 부호가 흡수되기 때문입니다.trac네트워크 전체에서 하나의 규칙을 유지한다면 이는 기울기입니다.

실제로 오류는 단순 대체 오류인 경우는 드뭅니다.trac회귀 분석의 경우 평균 제곱 오차, 분류의 경우 교차 엔트로피와 같은 손실 함수는 출력별 차이를 역전파를 통해 실제로 계산되는 단일 숫자로 변환합니다.

왜 역전파가 필요한가?

역전파의 가장 두드러진 장점은 다음과 같습니다.

• 역전파는 빠르고 간단하며 프로그래밍하기 쉽습니다.
• 이 함수는 자체적으로 새로운 매개변수를 추가하지 않습니다. 사용자가 수행하는 튜닝은 최적화 도구와 네트워크에 속하며, 주로 학습률과 입력 개수에 대한 것입니다.
• 네트워크에 대한 사전 지식이 필요하지 않으므로 유연한 방법입니다.
• 일반적으로 잘 작동하는 표준 방법입니다.
• 학습하고자 하는 기능의 특징에 대해서는 특별히 언급할 필요가 없습니다.

간단히 말해, 효율적인 기울기 계산 방법이 없다면 단일 레이어보다 더 깊은 레이어를 학습시키는 것은 계산적으로 비현실적입니다.

피드포워드 네트워크란 무엇입니까?

피드포워드 신경망은 노드가 결코 순환을 형성하지 않는 인공 신경망입니다. 이러한 종류의 신경망에는 입력층, 은닉층, 출력층이 있습니다. 인공 신경망의 최초이자 간단한 유형입니다.

여기서 이러한 구분이 중요한 이유는 역전파의 순방향 전달이 정확히 순방향 전달과 동일하기 때문입니다. 다만 오류 수정이 반대 방향으로 진행될 뿐입니다.

역전파 네트워크의 유형

역전파 네트워크의 두 가지 유형은 다음과 같습니다.

• 정적 역전파
• 반복적 역전파

정적 역전파

이는 지도를 생성하는 역전파 네트워크의 한 종류입니다.ping 정적 입력에 대한 정적 출력입니다. 광학 문자 인식과 같은 정적 분류 문제를 해결하는 데 유용합니다.

반복적 역전파

반복 역전파 데이터 마이닝 고정된 값에 도달할 때까지 값이 순차적으로 전달됩니다. 그 후 오차가 계산되어 역방향으로 전파됩니다.

이 두 방법의 주요 차이점은 지도가ping 정적 역전파에서는 빠른 속도를 보이지만, 순환 역전파에서는 비정적인 속도를 보입니다. 아래 표는 두 가지 방식을 비교한 것입니다.

역전파의 역사

• 1961년, J. 켈리, 헨리 아서, 그리고 E. 브라이슨은 제어 이론의 맥락에서 연속 역전파의 기본 개념을 도출했습니다.
• 1969년에 Bryson과 Ho는 다단계 동적 시스템 최적화 방법을 제시했습니다.
• 1970년, 세포 린나인마는 현대 역전파 알고리즘의 기반이 되는 계산 방법인 자동 미분의 역모드를 발표했습니다.
• 1974년 Werbos는 이 원리를 인공 신경망에 적용할 가능성을 언급했습니다.
• 1982년에 Hopfield는 신경망에 대한 아이디어를 내놓았습니다.
• 1986년 David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams의 노력으로 역전파가 인정을 받았습니다.
• 1989년, 얀 르쿤과 그의 동료들은 역전파 알고리즘을 사용하는 합성곱 신경망을 훈련시켜 손으로 쓴 숫자를 읽도록 했는데, 이는 최초의 대규모 실용적 활용 사례 중 하나였다.
• 1993년 Wan은 역전파 방법의 도움으로 국제 패턴 인식 대회에서 최초로 우승했습니다.
• 2006년, 힌튼의 심층 신념 네트워크와 계층별 사전 훈련에 대한 연구는 기울기 소실 문제로 침체되었던 심층 네트워크 훈련에 대한 관심을 다시 불러일으켰습니다.
• 2010년, 자비에 글로로와 요슈아 벤지오는 심층 신경망을 훈련하기 어려운 이유를 분석하고 개선된 가중치 초기화 방법을 도입했으며, 이는 ReLU 활성화 함수와 함께 심층 역전파를 실용화하는 데 기여했습니다.
• 2012년, AlexNet(Krizhevsky, Sutskever, Hinton)은 GPU 가속 역전파를 사용하여 ImageNet 대회에서 우승하며 현대 딥러닝 붐을 일으켰습니다.
• 2014년에 Adam 최적화기(Kingma 및 Ba)가 도입되었고, 역전파에 사용되는 기본 경사 하강법 변형으로 빠르게 자리 잡았습니다.
• 2015년 배치 정규화와 잔차 네트워크(ResNet)는 수백 개의 레이어를 통과하는 역전파를 가능하게 함으로써 매우 깊은 네트워크에서의 기울기 흐름 문제를 해결했습니다.
• 2015년부터 2017년까지 TensorFlow와 PyTorch는 자동 미분을 표준 소프트웨어 기능으로 만들었기 때문에 더 이상 기울기를 수동으로 계산할 필요가 없었습니다.
• 2017년에 도입된 트랜스포머 아키텍처는 역전파를 사용하여 엔드투엔드 방식으로 학습되며, 이를 기반으로 구축된 대규모 언어 모델들도 마찬가지입니다.
• 2019년, 벤지오, 힌튼, 그리고 르쿤은 심층 신경망에 대한 연구로 ACM AM 튜링상을 수상했습니다.
• 2020년, "역전파와 뇌"(Lillicrap, Santoro, Marris, Akerman, Hinton)라는 논문은 뇌가 역전파와 유사한 학습을 ​​할 수 있다고 주장하며 생물학적 타당성에 대한 논쟁을 다시 불러일으켰다.
• 2022년, 힌튼은 역방향 전달 과정을 완전히 생략하는 학습 방법인 순방향-순방향 알고리즘을 제안했습니다.
• 2024년, 존 홉필드와 제프리 힌튼은 인공 신경망을 이용한 기계 학습을 가능하게 한 기초적인 발견으로 노벨 물리학상을 수상했습니다.
• 2025년에는 순방향-순방향 학습 방식이 합성곱 네트워크로 확장되어 역전파 없는 학습이 이미지 분류 작업에서 효과적일 수 있음을 보여주었습니다.
• 2026년 현재, 역전파는 거의 모든 딥러닝 모델에서 표준 학습 알고리즘으로 남아 있으며, 메모리 및 계산 비용을 줄이는 경사 하강법 없는, 지역적, 병렬 학습 방법에 대한 연구가 계속되고 있습니다.

역전파 핵심 사항

• 학습된 네트워크에 미치는 영향이 가장 적은 가중 링크를 제거하여 네트워크 구조를 단순화합니다.
• 입력 레이어와 은닉 유닛 레이어 간의 관계를 개발하려면 입력 및 활성화 값 그룹을 연구해야 합니다.
• 주어진 입력 변수가 네트워크 출력에 미치는 영향을 평가하는 데 도움이 됩니다. 이 분석을 통해 얻은 지식은 규칙으로 표현되어야 합니다.
• 역전파는 이미지나 음성 인식과 같이 오류가 발생하기 쉬운 프로젝트를 수행하는 심층 신경망에 특히 유용합니다.
• 역전파는 체인 및 거듭제곱 규칙을 활용하여 출력 개수에 관계없이 작동할 수 있습니다.

최고의 역전파 연습

신경망의 역전파는 "신발끈" 비유를 통해 설명할 수 있습니다. 가중치 업데이트는 신발끈의 장력과 매우 유사합니다. 장력이 너무 약하면 신발끈이 풀리고, 너무 강하면 신발끈이 끊어집니다.

이 비유에서 두 가지 실용적인 습관을 도출할 수 있습니다. 첫째, 학습 전에 입력값을 조정하여 특정 특징이 다른 특징보다 더 큰 영향을 미치지 않도록 해야 합니다. 둘째, 검증 손실을 관찰하여 과적합이 발생하기 전에 긴장을 해소해야 합니다.

역전파 사용의 단점

• 특정 문제에 대한 역전파의 실제 성능은 입력 데이터에 따라 달라집니다.
• 데이터 마이닝의 역전파 알고리즘은 시끄러운 데이터에 매우 민감할 수 있습니다.
• 미니 배치 처리에서는 역전파를 행렬 기반 접근 방식으로 구현해야 합니다.ping 한 번에 하나의 예시씩 살펴보는 것이 훨씬 느립니다.
• 심층 신경망에서 작은 미분값의 반복적인 곱셈은 기울기를 0으로 수렴하게 만들 수 있으므로 초기 레이어는 거의 학습하지 못합니다. 이는 앞서 설명한 기울기 소실 문제(vanishing gradient problem)와 관련이 있습니다. Google 머신 러닝 단기 집중 과정.

이러한 요소들이 해당 방법을 배제하는 것은 아닙니다. 오히려 실무자들이 얕은 신경망에서 더 복잡한 신경망으로 넘어갈 때 ReLU 활성화 함수, 정규화, 그리고 신중한 학습률 스케줄링을 활용하는 이유가 바로 이것들입니다. 깊은 학습 모델입니다.

자주 묻는 질문