<aside> 📌 프로젝트를 위해 공부 했던 'Graphormer' 에 대해 정리하고자 한다. 이번 포스팅에서는 'Graphormer'을 처음 소개했던 'Do Transformers Really Perform Bad for Graph Representation?' 논문의 내용을 바탕으로 참고 자료와 함께 다시 정리하였다.

</aside>

0. Preliminaries

• Transformer
• Transformer in Graph

1. Introudction

• Graph representation에서 Transformer 좋은 성과를 거두지 못함
• graph domain에 transformer를 활용하려는 많은 시도가 있었지만, 유일한 효과적인 방법은 고전적인 GNN 방법에서 Aggregation module을 softmax attention으로 변경하는 것이었음
• Transformer architecture가 graph model에 적합한지 여부와, graph representation에서 어떻게 접목하도록 만들지 해결하지 못함
  • 기존 방식은 graph structure information를 충분히 반영하지 못하고 있음
  • Self-Attention은 node에 반영된 graph sturcture information와 node pair간의 관계를 고려하지 않고, 의미적 유사성만 계산
• 위의 문제점들을 해결하기 위해 ‘Graphormer’에서 효과적으로 구조적 정보를 encoding 할 수 있는 방식을 제안

2. Graphormer

• graph structural information를 transformer model로 활용하는 것이 중요
• Graphformer에서는 세가지 encoding 방식을 제시 (Centrality Encoding , Spatial Encoding, Edge Encoding)

                                             [ 그림 1 ] illustration of Graphormer architecture

2.1 Centrality Encoding

• attention은 centrality information을 충분히 담지 못함 (의미론적 유사성을 계산함)

• Centrality Encoding을 degree 값으로 표현 (BERT의 position encoding과 유사)

• In-degree embedding, Out-degree embedding간에 합을 통해 centrality를 정의

  $$ h^{(0)}i = x_i\,+\,z^-{deg^-{(u_i)}}\,+\,z^+_{deg^+(u_i)} \;\;where\;\;z^-,\,z^+\in \mathbb{R} $$

  ( $z^-,\,z^+$ 는 learnable embedding vectors )

  $\therefore$ Sementic correlation과 node importance를 attention에 고려 가능하게 함

2.2 Spatical Encoding