<Evoformer>
입력으로 MSA representation, Pair representation이 들어온다. pair representation의 값이 Row wise gated self attention with pair bias에 들어온다. 즉, 공간적 특징과 진화적 특징이 섞이게 된다. 그리고 column wise gated self attention, transition layer를 거친다. 이 세개의 블럭 (Row wise ~, Column wise ~, Transition)은 MSA representation이다. self attention으로, 자기 자신에 대한 정보를 인코딩 한다. transition이 끝나면, outer product mean을 통해 진화정보를 공간적 정보로 넣어주게 된다.
- MSA representation 설명
row wise gated self attention 에 대해서 조금 더 설명해보겠다.
self attention이라는 것이, Query, Key, Value를 이용해서 아미노산 사이의 관계를 인코딩 하는 것이다. 여기서는 입력 시퀀스 (r,cm)차원에 대해서 선형 변환을 통해 Query, Key를 구하고, 이 매트릭스에 pair representation을 더해주었다. 즉, 단백질의 아미노산 시퀀스 사이의 정보와 단백질 아미노산의 공간 정보가 섞이게 되었다.그리고 이 매트릭스에 대해서 Value값을 곱해주었고, linear layer을 통해서 다시 (r,cm)차원으로 변환해주었다.
column wise gated self attention에서는 column에 대해서 self attention을 진행했다. 즉, 단백질의 i번째 아미노산들 사이의 관계를 본것이다.
row wise gated self attention 은 종에 대한 self attention, column wise gated self attention은 단백질의 위치에서 아미노산에 대한 self attention 이다. 즉, 종에 대해서, 단백질 위치에대해서 정보를 가지고 있다.
transition은 2개의 linear layer를 이용해서 차원변환을 시켜준다.
그리고 outer product를 사용해서 pair representation과 차원을 같게 만들어준다.
'연구' 카테고리의 다른 글
| scaffold의 의미 (0) | 2022.10.29 |
|---|---|
| Alphafold2 논문 리뷰4 [Evoformer - pair representation] (0) | 2022.10.25 |
| Alphafold2 논문 리뷰2 [입력 부분] (0) | 2022.10.25 |
| Alphafold2 논문 리뷰1 - 성능 (0) | 2022.10.25 |
| SSPro 사용해서 단백질 2차구조 예측하기 (1) | 2022.09.22 |