멀티스레딩 Python 예: GIL 배우기 Python

The Python 프로그래밍 언어는 멀티프로세싱 또는 멀티스레딩을 사용할 수 있도록 해줍니다. 이 튜토리얼에서는 멀티스레드 애플리케이션을 작성하는 방법을 배우게 됩니다. Python.

스레드란 무엇입니까?

스레드는 동시 프로그래밍에서 실행 단위입니다. 멀티스레딩은 CPU가 하나의 프로세스에서 여러 작업을 동시에 실행할 수 있도록 하는 기술입니다. 이러한 스레드는 프로세스 리소스를 공유하면서 개별적으로 실행될 수 있습니다.

프로세스란 무엇입니까?

프로세스란 기본적으로 실행 중인 프로그램을 말합니다. 컴퓨터에서 애플리케이션(예: 브라우저 또는 텍스트 편집기)을 실행하면 운영 체제가 프로세스를 생성합니다. 프로세스.

멀티스레딩이란? Python?

멀티스레딩 Python 멀티스레딩은 프로세스 내의 여러 스레드가 메인 스레드와 데이터 공간을 공유하는 잘 알려진 프로그래밍 기법입니다. 이를 통해 스레드 간의 정보 공유 및 통신이 쉽고 효율적입니다. 스레드는 프로세스보다 가볍습니다. 여러 스레드는 프로세스 리소스를 공유하면서 개별적으로 실행될 수 있습니다. 멀티스레딩의 목적은 여러 작업과 함수를 동시에 실행하는 것입니다.

멀티프로세싱이란 무엇입니까?

멀티 프로세싱 여러 개의 관련 없는 프로세스를 동시에 실행할 수 있습니다. 이러한 프로세스는 리소스를 공유하지 않고 IPC를 통해 통신합니다.

Python 멀티 스레딩과 멀티 프로세싱

프로세스와 스레드를 이해하려면 다음 시나리오를 생각해 보세요. 컴퓨터의 .exe 파일은 프로그램입니다. 이 파일을 열면 운영체제가 메모리에 로드하고 CPU가 실행합니다. 이때 실행 중인 프로그램의 인스턴스를 프로세스라고 합니다.

모든 프로세스에는 두 가지 기본 구성 요소가 있습니다.

• The Code
• 자료

이제 프로세스에는 다음과 같은 하나 이상의 하위 부분이 포함될 수 있습니다. 스레드. 이는 운영체제 아키텍처에 따라 다릅니다. 스레드는 운영체제가 별도로 실행할 수 있는 프로세스의 일부라고 생각하면 됩니다.

즉, 스레드는 운영체제가 독립적으로 실행할 수 있는 명령어들의 흐름입니다. 단일 프로세스 내의 스레드들은 해당 프로세스의 데이터를 공유하며, 병렬 처리를 위해 서로 협력하도록 설계되었습니다.

멀티스레딩을 사용하는 이유는 무엇입니까?

멀티스레딩을 사용하면 애플리케이션을 여러 개의 하위 작업으로 분할하여 이러한 작업을 동시에 실행할 수 있습니다. 멀티스레딩을 올바르게 사용하면 애플리케이션 속도, 성능 및 렌더링을 모두 개선할 수 있습니다.

Python 멀티 스레딩

Python 멀티프로세싱과 멀티스레딩 모두를 위한 구문을 지원합니다. 이 튜토리얼에서는 주로 구현에 중점을 둘 것입니다. 멀티 스레드 응용 프로그램 Python스레드를 처리하는 데 사용할 수 있는 주요 모듈은 두 가지가 있습니다. Python:

1. The 실 모듈, 그리고
2. The 스레딩 모듈

그러나 Python또한 전역 인터프리터 잠금(GIL)이라는 것도 있습니다. 이는 성능 향상에 큰 도움이 되지 않으며 오히려 성능 저하를 초래할 수도 있습니다. 감소 일부 멀티스레드 애플리케이션의 성능. 이 튜토리얼의 다음 섹션에서 이에 대한 모든 내용을 배우게 됩니다.

스레드 및 스레딩 모듈

이 튜토리얼에서 배우게 될 두 가지 모듈은 스레드 모듈 그리고 스레딩 모듈.

그러나 스레드 모듈은 오랫동안 더 이상 사용되지 않았습니다. 다음으로 시작 Python 3, 더 이상 사용되지 않는 것으로 지정되었으며 다음으로만 액세스할 수 있습니다. _실 이전 버전과의 호환성을 위해.

더 높은 수준을 사용해야합니다 스레딩 배포하려는 애플리케이션에 필요한 모듈입니다. 스레드 모듈은 교육적인 목적으로만 여기에 다루어졌습니다.

스레드 모듈

이 모듈을 사용하여 새 스레드를 생성하는 구문은 다음과 같습니다.

thread.start_new_thread(function_name, arguments)

자, 이제 코딩을 시작하기 위한 기본 이론을 다루었습니다. 그러니 당신의 IDLE 또는 메모장을 사용하여 다음을 입력하세요.

import time
import _thread

def thread_test(name, wait):
   i = 0
   while i <= 3:
      time.sleep(wait)
      print("Running %s\n" %name)
      i = i + 1

   print("%s has finished execution" %name)

if __name__ == "__main__":
    
    _thread.start_new_thread(thread_test, ("First Thread", 1))
    _thread.start_new_thread(thread_test, ("Second Thread", 2))
    _thread.start_new_thread(thread_test, ("Third Thread", 3))

파일을 저장하고 F5를 눌러 프로그램을 실행하세요. 모든 작업이 올바르게 완료되면 다음과 같은 결과가 표시됩니다.

다음 섹션에서는 레이스 상황과 그에 대처하는 방법에 대해 더 자세히 알아보겠습니다.

코드 설명

1. 이 문장들은 실행 및 지연을 처리하는 데 사용되는 시간 및 스레드 모듈을 가져옵니다. Python 스레드.
2. 여기서는 다음과 같은 함수를 정의했습니다. 스레드_테스트, 이는 다음에 의해 호출됩니다. start_new_thread 이 메서드는 while 루프를 네 번 반복하며, 해당 함수를 호출한 스레드의 이름을 출력합니다. 반복이 완료되면 스레드 실행이 종료되었다는 메시지를 출력합니다.
3. 이것은 프로그램의 주요 섹션입니다. 여기서는 간단히 전화를 걸면 됩니다. start_new_thread 방법 스레드_테스트 인수로 함수를 전달합니다. 이렇게 하면 인수로 전달된 함수에 대한 새 스레드가 생성되고 실행이 시작됩니다. 참고로, 이 부분(thread_test)은 스레드로 실행하려는 다른 함수로 대체할 수 있습니다.

스레딩 모듈

이 모듈은 스레딩의 고수준 구현입니다. Python 멀티스레드 애플리케이션 관리를 위한 사실상의 표준입니다. 스레드 모듈과 비교했을 때 훨씬 더 다양한 기능을 제공합니다.

스레딩 모듈의 구조

다음은 이 모듈에 정의된 몇 가지 유용한 함수 목록입니다.

뒷이야기: 스레드 클래스

threading 모듈을 사용하여 멀티스레드 프로그램을 코딩하기 전에 Thread 클래스를 이해하는 것이 매우 중요합니다. Thread 클래스는 스레드의 기본 틀과 동작을 정의하는 핵심 클래스입니다. Python.

멀티스레드 환경을 만드는 가장 일반적인 방법은 다음과 같습니다. Python 이 응용 프로그램은 Thread 클래스를 확장하고 run() 메서드를 재정의하는 클래스를 선언하는 것입니다.

요약하면 Thread 클래스는 별도의 코드에서 실행되는 코드 시퀀스를 나타냅니다. 실 통제의.

따라서 멀티스레드 앱을 작성할 때는 다음과 같이 합니다.

1. Thread 클래스를 상속하는 클래스를 정의합니다.
2. 오버라이드 __init__ 건설자
3. 오버라이드 운영() 방법

스레드 개체가 만들어지면 스타트() 이 방법을 사용하여 이 활동의 ​​실행을 시작할 수 있으며, 어울리다() 메소드를 사용하면 현재 활동이 완료될 때까지 다른 모든 코드를 차단할 수 있습니다.

이제 스레딩 모듈을 사용하여 이전 예제를 구현해 보겠습니다. 다시 한번, 프로그램을 실행하세요. IDLE 다음을 입력합니다.

import time
import threading

class threadtester (threading.Thread):
    def __init__(self, id, name, i):
       threading.Thread.__init__(self)
       self.id = id
       self.name = name
       self.i = i
       
    def run(self):
       thread_test(self.name, self.i, 5)
       print ("%s has finished execution " %self.name)

def thread_test(name, wait, i):

    while i:
       time.sleep(wait)
       print ("Running %s \n" %name)
       i = i - 1

if __name__=="__main__":
    thread1 = threadtester(1, "First Thread", 1)
    thread2 = threadtester(2, "Second Thread", 2)
    thread3 = threadtester(3, "Third Thread", 3)

    thread1.start()
    thread2.start()
    thread3.start()

    thread1.join()
    thread2.join()
    thread3.join()

위 코드를 실행하면 다음과 같은 결과가 출력됩니다.

코드 설명

1. 이 부분은 이전 예제와 동일합니다. 여기서는 실행 및 지연을 처리하는 데 사용되는 time 및 thread 모듈을 가져옵니다. Python 스레드.
2. 이번 비트에서는 threadtester라는 클래스를 생성합니다. Thread 스레딩 모듈의 클래스입니다. 이것은 스레드를 생성하는 가장 일반적인 방법 중 하나입니다. Python하지만 생성자와 해당 메서드만 오버라이드해야 합니다. 운영() 방법을 사용하세요. 위의 코드 샘플에서 볼 수 있듯이 __init__ 메서드(생성자)가 재정의되었습니다. 마찬가지로 운영() 방법. 여기에는 스레드 내부에서 실행하려는 코드가 포함되어 있습니다. 이 예에서는 thread_test() 함수를 호출했습니다.
3. 이것은 thread_test() 메서드이며, 이 메서드는 값을 인수로 받습니다. i 인수로 i를 받아 매 반복마다 1씩 감소시키고, i가 0이 될 때까지 나머지 코드를 실행합니다. 각 반복에서 현재 실행 중인 스레드의 이름을 출력하고, wait초(인수로 제공됨) 동안 대기합니다.
4. thread1 = threadtester(1, “첫 번째 스레드”, 1) 여기서는 스레드를 생성하고 __init__에서 선언한 세 가지 매개 변수를 전달합니다. 첫 번째 매개변수는 스레드의 ID이고, 두 번째 매개변수는 스레드 이름이며, 세 번째 매개변수는 while 루프가 실행되어야 하는 횟수를 결정하는 카운터입니다.
5. thread2.start() 메서드는 스레드의 실행을 시작하는 데 사용됩니다. 내부적으로 start() 함수는 클래스의 run() 메서드를 호출합니다.
6. thread3.join() Join() 메서드는 다른 코드의 실행을 차단하고 호출된 스레드가 완료될 때까지 기다립니다.

아시다시피, 같은 프로세스에 속한 스레드들은 해당 프로세스의 메모리와 데이터에 접근할 수 있습니다. 따라서 둘 이상의 스레드가 동시에 데이터를 변경하거나 접근하려고 하면 오류가 발생할 수 있습니다.

다음 섹션에서는 스레드가 기존 액세스 트랜잭션을 확인하지 않고 데이터 및 임계 영역에 액세스할 때 발생할 수 있는 다양한 유형의 문제점을 살펴보겠습니다.

교착 상태 및 경쟁 조건

교착상태와 경쟁조건에 대해 배우기 전에 동시 프로그래밍과 관련된 몇 가지 기본 정의를 이해하는 것이 도움이 될 것입니다.

• 중요 섹션: 이는 공유 변수에 접근하거나 수정하는 코드 조각으로, 원자적 트랜잭션으로 실행되어야 합니다.
• 컨텍스트 전환: CPU가 한 작업에서 다른 작업으로 전환하기 전에 스레드의 상태를 저장하여 나중에 동일한 지점에서 작업을 재개할 수 있도록 하는 프로세스입니다.

교착 상태

교착 상태 동시성/멀티스레드 애플리케이션을 작성할 때 개발자들이 가장 두려워하는 문제는 무엇일까요? Python교착 상태를 이해하는 가장 좋은 방법은 컴퓨터 과학에서 흔히 볼 수 있는 고전적인 예제 문제인 교착 상태를 이용하는 것입니다. 식사 Philo소퍼스 문제.

식사철학자의 문제점은 다음과 같습니다.

그림에서처럼 다섯 명의 철학자가 스파게티(파스타의 일종)가 담긴 다섯 접시와 포크 다섯 개가 놓인 원탁에 앉아 있습니다.

식사 Philo소퍼스 문제

철학자는 언제나 먹고 있거나 생각하고 있어야 합니다.

게다가 철학자는 스파게티를 먹기 전에 자신에게 인접한 두 개의 포크(즉, 왼쪽과 오른쪽 포크)를 집어야 합니다. 교착 상태의 문제는 다섯 명의 철학자가 모두 오른쪽 포크를 동시에 집어들 때 발생합니다.

철학자들은 모두 포크를 하나씩 가지고 있기 때문에, 그들은 모두 다른 사람들이 포크를 내려놓을 때까지 기다릴 것입니다. 결과적으로, 그들 중 누구도 스파게티를 먹을 수 없을 것입니다.

마찬가지로, 동시 시스템에서는 서로 다른 스레드나 프로세스(철학자)가 동시에 공유 시스템 리소스(포크)를 획득하려고 할 때 교착 상태가 발생합니다. 결과적으로 어떤 프로세스도 다른 프로세스가 보유한 다른 리소스를 기다리면서 실행할 기회를 얻지 못합니다.

레이스 조건

경쟁 조건이란 시스템이 두 개 이상의 작업을 동시에 수행할 때 발생하는 원치 않는 프로그램 상태를 말합니다. 예를 들어, 다음의 간단한 for 루프를 생각해 보세요.

i=0; # a global variable
for x in range(100):
    print(i)
    i+=1;

생성하면 n 이 코드를 동시에 실행하는 스레드 수가 많을 경우, 프로그램 실행이 완료될 때 스레드들이 공유하는 변수 i의 값을 정확히 알 수 없습니다. 실제 멀티스레딩 환경에서는 스레드들이 겹칠 수 있고, 한 스레드가 i 값을 가져오거나 수정하는 동안 다른 스레드가 해당 값에 접근하여 값이 변경될 수 있기 때문입니다.

멀티스레드 또는 분산 환경에서 발생할 수 있는 주요 문제는 크게 두 가지 유형으로 나눌 수 있습니다. Python 이 문제는 애플리케이션에서 발생합니다. 다음 섹션에서는 스레드 동기화를 통해 이 문제를 해결하는 방법을 배우게 됩니다.

Sync스레드를 크로나이징

경쟁 조건, 교착 상태 및 기타 스레드 기반 문제를 처리하기 위해 threading 모듈은 다음을 제공합니다. 로크 객체. 아이디어는 스레드가 특정 리소스에 액세스하려고 할 때 해당 리소스에 대한 잠금을 획득한다는 것입니다. 스레드가 특정 리소스를 잠그면 잠금이 해제될 때까지 다른 스레드가 액세스할 수 없습니다. 결과적으로 리소스에 대한 변경 사항은 원자적이 되고 경쟁 조건이 회피됩니다.

잠금은 다음에 의해 구현되는 저수준 동기화 기본입니다. _실 모듈. 잠금 장치는 언제든지 다음 두 가지 상태 중 하나에 있을 수 있습니다. 고정 or 잠금 해제되었습니다. 두 가지 방법을 지원합니다.

1. 습득하다(): 잠금 상태가 해제된 경우 acquire() 메서드를 호출하면 상태가 잠금으로 변경되고 메서드가 반환됩니다. 그러나 상태가 잠금인 경우, acquire() 호출은 다른 스레드에서 release() 메서드가 호출될 때까지 차단됩니다.
2. 풀어 주다(): release() 메소드는 상태를 잠금 해제로 설정하는 데, 즉 잠금을 해제하는 데 사용됩니다. 잠금을 획득한 스레드일 필요는 없지만 모든 스레드에서 호출할 수 있습니다.

다음은 앱에서 잠금 기능을 사용하는 예입니다. 앱을 실행해 보세요. IDLE 다음을 입력하세요.

import threading
lock = threading.Lock()

def first_function():
    for i in range(5):
        lock.acquire()
        print ('lock acquired')
        print ('Executing the first funcion')
        lock.release()

def second_function():
    for i in range(5):
        lock.acquire()
        print ('lock acquired')
        print ('Executing the second funcion')
        lock.release()

if __name__=="__main__":
    thread_one = threading.Thread(target=first_function)
    thread_two = threading.Thread(target=second_function)

    thread_one.start()
    thread_two.start()

    thread_one.join()
    thread_two.join()

이제 F5를 누르세요. 다음과 같은 출력이 표시됩니다.

코드 설명

1. 여기서는 간단히 호출하여 새 잠금을 생성합니다. 스레딩.잠금() 공장 기능. 내부적으로 Lock()은 플랫폼에서 유지 관리하는 가장 효과적인 구체적 Lock 클래스의 인스턴스를 반환합니다.
2. 첫 번째 문에서는 acquire() 메서드를 호출하여 잠금을 획득합니다. 잠금이 부여되면 인쇄합니다. "잠금 획득" 콘솔에. 스레드를 실행하려는 모든 코드의 실행이 완료되면 release() 메서드를 호출하여 잠금을 해제합니다.

이론은 타당하지만, 락이 실제로 제대로 작동했는지 어떻게 알 수 있을까요? 출력 결과를 보면 각 print 문이 정확히 한 줄씩 출력되는 것을 확인할 수 있습니다. 이전 예제에서는 여러 스레드가 print() 메서드에 동시에 접근했기 때문에 출력 결과가 뒤죽박죽이었던 것을 기억하실 겁니다. 하지만 여기서는 락을 획득한 후에만 print 함수가 호출됩니다. 따라서 출력은 한 줄씩 순차적으로 표시됩니다.

자물쇠를 제외하면, Python 또한 아래에 나열된 바와 같이 스레드 동기화를 처리하기 위한 몇 가지 다른 메커니즘도 지원합니다.

1. RLock
2. Semaphores
3. 상태
4. 이벤트 및
5. 장애물

전역 통역사 잠금(및 처리 방법)

자세한 내용을 알아보기 전에 PythonGIL을 시작하기 전에, 앞으로 나올 내용을 이해하는 데 도움이 될 몇 가지 용어를 정의해 보겠습니다.

1. CPU 바운드 코드: 이는 CPU에 의해 직접 실행되는 모든 코드 조각을 의미합니다.
2. I/O 바운드 코드: 이는 운영체제를 통해 파일 시스템에 접근하는 모든 코드를 의미합니다.
3. CPython: 참고자료입니다 이행 of Python C로 작성된 인터프리터로 설명될 수 있으며 Python (프로그래밍 언어).

GIL이란 무엇입니까? Python?

글로벌 통역사 잠금(GIL) in Python GIL(Global Interpreter Lock)은 프로세스 간 상호 작용 시 사용되는 프로세스 잠금 또는 뮤텍스입니다. 특정 리소스에 한 번에 하나의 스레드만 접근할 수 있도록 보장하고, 객체와 바이트코드를 동시에 사용하는 것을 방지합니다. 이는 단일 스레드 프로그램의 성능 향상에 도움이 됩니다. Python 매우 간단하고 구현하기 쉽습니다.

잠금을 사용하면 주어진 시간에 하나의 스레드만 특정 리소스에 액세스할 수 있도록 할 수 있습니다.

의 특징 중 하나 Python 이는 각 인터프리터 프로세스에 전역 잠금을 사용한다는 것을 의미하며, 따라서 모든 프로세스가 해당 프로세스를 처리하게 됩니다. Python 인터프리터 자체를 리소스로 활용합니다.

예를 들어, 당신이 글을 썼다고 가정해 보세요. Python 이 프로그램은 CPU 및 I/O 작업을 모두 수행하기 위해 두 개의 스레드를 사용합니다. 이 프로그램을 실행하면 다음과 같은 일이 발생합니다.

1. The Python 인터프리터는 새로운 프로세스를 생성하고 스레드를 생성합니다.
2. thread-1이 실행을 시작하면 먼저 GIL을 획득하고 잠급니다.
3. thread-2가 지금 실행되려면 다른 프로세서가 비어 있더라도 GIL이 해제될 때까지 기다려야 합니다.
4. 이제, 쓰레드-1이 I/O 작업을 기다리고 있다고 가정해 보자. 이때 쓰레드-2은 GIL을 해제하고 쓰레드-XNUMX는 그것을 획득한다.
5. I/O 작업을 완료한 후 스레드 1이 지금 실행하려면 스레드 2가 GIL을 해제할 때까지 다시 기다려야 합니다.

이 때문에 한 번에 하나의 스레드만 인터프리터에 접근할 수 있으므로, 실행 중인 스레드는 하나뿐입니다. Python 특정 시점의 코드.

단일 코어 프로세서에서는 시간 분할(이 튜토리얼의 첫 번째 섹션 참조)을 사용하여 스레드를 처리하므로 문제가 없습니다. 그러나 멀티 코어 프로세서의 경우, CPU 집약적인 함수가 여러 스레드에서 실행되면 실제로 사용 가능한 모든 코어를 동시에 사용하지 않기 때문에 프로그램 효율성에 상당한 영향을 미칩니다.

GIL이 왜 필요했나요?

는 CPython 가비지 컬렉터는 참조 카운팅이라는 효율적인 메모리 관리 기법을 사용합니다. 작동 방식은 다음과 같습니다. 모든 객체는 참조 카운팅을 통해 메모리에 저장됩니다. Python 객체는 참조 카운트를 가지며, 새로운 변수에 할당되거나 튜플, 리스트 등의 컨테이너에 추가될 때 참조 카운트가 증가합니다. 마찬가지로, 참조가 범위를 벗어나거나 `del` 문이 호출될 때 참조 카운트가 감소합니다. 객체의 참조 카운트가 0이 되면 가비지 컬렉션이 발생하고 할당된 메모리가 해제됩니다.

하지만 문제는 참조 카운트 변수가 다른 전역 변수와 마찬가지로 경쟁 조건에 취약하다는 점입니다. 이 문제를 해결하기 위해 개발자들은 Python 전역 인터프리터 잠금을 사용하기로 결정했습니다. 다른 옵션은 각 객체에 잠금을 추가하는 것이었는데, 이는 교착 상태를 초래하고 acquire() 및 release() 호출로 인한 오버헤드를 증가시켰을 것입니다.

따라서 GIL은 멀티스레드 환경에 상당한 제약 요소입니다. Python CPU 사용량이 많은 작업을 실행하는 프로그램(사실상 단일 스레드처럼 작동하는 프로그램)을 말합니다. 애플리케이션에서 여러 CPU 코어를 활용하려면 다음을 사용하십시오. 멀티 프로세싱 대신 모듈.

자주 묻는 질문