렐루 함수(ReLU), XAI

신경망에서 활성화함수는 선형함수가 아닌 비선형함수를 써야한다고 배웠다.

 

렐루를 사용했을 때 음수값일 경우엔 0, 음수가 아니면 들어온 값이 출력으로 나온다.

양수일때만 생각하면 비선형함수가 아니고 Linear와 똑같은데

렐루가 왜 그게 동작이 잘되는 것일까 궁금해졌다..

 

음수일땐 노드가 아예 0이 되버려서 전달을 못하게 되고, 양수일땐 선형함수인걸...

 

이 부분을 계에속 고민하다가 도저히 잘 모르겠어서 교수님께 여쭤봤다.

 

 

---

 

신경망에서 활성화함수를 비선형 함수로 쓰는 이유는 선형함수를 쓰면 아무리 연산을 해봤자

선형함수이기 때문에 모양을 바꿔주기 위해서 비선형함수를 쓰는 것이고,

그 부분에 대해서는 다들 동의를 한거라고 하셨다.

 

신경망에 쓰기 위해서 렐루 함수를 만든 게 아니고, 렐루 함수를 써봤더니 성능이 잘 나와서 쓰고 있는 것이라고 했다.

그래서 학자들도 왜 잘되는지는 답변하지 못하고 아직은 정확하게는 잘 모른다고 한다...

 

렐루 함수가 왜 신경망에 쓰면 성능이 괜찮은지를 설명하고자 설명가능한 인공지능을 하는 것이고,

이게 수학적으로 잘 되는 거라고 증명이 되었다면 활성화 함수가 더 나오지 않았을 것이라고 했다..

왜 잘되는지를 수학적으로 증명을 한 것이 아니기 때문에 새로운 활성화 함수들이 계속해서 나오는 것이다. (리키렐루)

 

 

 

이게 한계점이라고 한다,, 왜 잘되는지 이유를 모르는 것,,,,

써봤더니 잘되서 사용한다는거

 

 

 

 

 

이것을 사용하였을때 왜 잘되는지 알면 어떤 태스크에선 무엇을 사용하면 최고의 성능이 나올 것이라고 계산할 수도 있을테고, 그러면 더 편하고 좋을 것 같다고 생각이 든다

지금은 사용하면서도 약간 어딘가 마음이 불편하다

왜 잘되는건지 알고싶다

 

 

설명가능한 인공지능(XAI) 예전부터 계속 궁금해서 책을 구하긴 했는데

지금 하고있는 교육과정 따라가기 바빠서 나중에 여유가 생긴다면 책을 읽어봐야겠다...