python gil이 있으니까 thread safe 할까요?

OS 2021. 5. 22. 23:16
반응형

 multithreading을 공부하시다 보면, GIL에 대해 한 번 정도는 들어보시게 됩니다. Global Interpreter Lock의 줄임말입니다. 그런데 이것이 있으면 Lock이 필요 없을까요? 관련 질문을 봐도, 답은 한결같이 아닐 수도 있다는 것이였습니다.

 

 

[관련글]

원자성을 만족하는 연산을 n번 호출하는 연산은 원자적일까요?

 

 

 이 문서를 읽어 보시면, 각각의 byte code가 어쩌고 저쩌고 언급을 하다가 atomic 하다는 언급을 하고 있어요.

 

 


 아래 예제를 보도록 하겠습니다.

 

 foo는 global 변수 x에 diff를 100번 더합니다.

 

 main 부분을 보겠습니다. diff가 1, -1, 1, -1이 들어감을 알 수 있어요. 18번째 줄에 target이 foo 메서드이고, args가 li의 원소들임을 보면 알 수 있습니다. 각 쓰레드마다 diff 값은 1, -1, 1, -1이 들어가는데요. 정상적으로 수행이 되었다면, 0이라는 값이 찍혀야 할 겁니다. 그런데 이상한 값이 찍히는 경우가 있어요.

 

 

 -100? 이는 73553번째 테스트에서 -100이 찍혔다는 의미입니다.

 

  100과 -100이 찍힌 경우도 있었습니다. 매우 드문 케이스이지만, 0이 아닌 값이 나왔다는 의미는 스레드 안전하지 않다는 의미입니다. range(100)을 range(1)로 바꿔봐도 마찬가지 현상이 나타납니다. 왜 그럴까요?

 

 


 관련 글을 보셨다면 눈치를 채셨을지도 모르겠지만 atomic한 연산을 n번 호출한 것은 atomic 하지 않기 때문에 벌어진 일입니다. 무슨 말인지 dis 모듈로 뜯어보도록 하겠습니다. 문제가 발생한 것은 foo 메서드인 듯 싶으니, foo 메서드만 뜯어보도록 하겠습니다.

 

 

 dis 모듈의 Bytecode를 써 보겠습니다. 인자로 foo를 넣었는데요. 함수를 의미합니다.

 

 

 foo의 일부 바이트 코드만 가지고 온 것인데요. GLOBAL 변수 x를 가져오고, ADD 1을 하고, 다시 STORE GLOBAL하는 과정을 거침을 알 수 있어요. 이 셋이 다 atomic 하다고 하면, 저 연산들을 수행하는 도중에는 다른 쓰레드가 낄 일이 없을 겁니다. 문제는, 각각의 연산들이 끝났을 때, 그 찰나의 순간에 다른 쓰레드가 끼어 들 수도 있다는 것입니다. toctou도 비슷한 원리로 이루어 지고요. 관심이 있으시다면 이 글을 참고해 보시는 것도 좋을 듯 싶습니다.

 

 

 예를 들자면 이런 경우가 생길 수 있어요. 바이트 코드 단위로 묶여 있다면 충분히 나올 수 있는 상황입니다. 아니면, 아래와 같은 상황도 충분히 가능할 겁니다.

 

 

 여기서 군청색은 스레드 1, 노란색은 스레드 2가 해당 바이트 코드를 실행했다는 것을 의미합니다. 이 때, load GLOBAL이 문제인데요. 문서에 따르면, 글로벌 변수의 값을 STACK에 끌고 온다고 되어 있어요.

 

 

 그러면 상황은 위와 같이 도식화를 시킬 수 있어요. 이 상황에서 두 번째 쓰레드가 load x를 하게 되면, 상황은 아래와 같이 됩니다.

 

 

 이렇게 되면, 상황이 다이나믹하게 돌아갑니다. binary_add는 stack에서 돌아가는 연산이니, 1번 쓰레드가 add 1을 하면 stack의 x에는 1이 저장될 거고, 2번 쓰레드가 add -1을 하면 stack의 x에는 -1이 저장될 겁니다. store을 해 버리면 어떨까요? 여기에서는 노란색의 store가 더 뒤에 일어나니, 아래와 같이 될 겁니다.

 

 

 1 + -1은 0인데, -1이 되어 버린 상황이네요. 이것은 atomic한 연산 여러개는 atomic하지 않아서 벌어진 일입니다. bytecode에 대한 정보들은 공식 문서를 참고하셔도 되고, 여기를 참고하셔도 괜찮을 듯 싶네요.

 

 


 그러면 어떻게 하면 좋을까요?

 

 

 가능한 방법 중 하나는, lock을 걸어주면 됩니다. 여기서 문제가 되는 것은 global x가 문제가 되는 것이였습니다. 여기에 여러 쓰레드가 접근해서, x + diff를 하는 것이 문제였는데요. 아예 foo 함수에 진입했을 때, lock을 걸어버리고, 다 끝났을 때 lock을 해제하면 됩니다.

 

 

 그러면 아까와 다르게 -100이나 100이 출력되지 않음을 알 수 있습니다.

반응형

댓글을 달아 주세요

  1. 언약

    쉽지않네요! 좋은 글 감사합니다 :)

    • 코딩강아지
      2021.05.25 01:51 신고

      아 그리고 lock 같은 건 with 절로 처리 하는 게 좋다 하네요.
      요새 백준에서 파이선 잘 하시는 분들 코드 보고 공부하고 있는데
      생각보다 공부해야 할 게 많네요.

    • 언약
      2021.05.25 09:11 신고

      팁 감사합니다!!
      백준 랭커님이 열심히 하는 모습을 보니 저도 마음을 다잡게 되는군요 !!

    • 코딩강아지
      2021.05.25 20:13 신고

      코테도 개최하고 좋은 경험이였습니다 ㅎㅎ