LoFTR: Detector-Free Local Feature Matching with Transformers

1. Feature Detection description matching (기존 SIFT처럼 클래식한) Vision Transformer를 배우면서 Transformer로 개선 가능한 Vision application이 어떤게 있을지 고민하다가 CG 수업때 흥미롭게 들었던 3D Reconstruction이 떠올랐고, 핵심이던 Feature extraction & matching을 개선할 수 있을까? 에 대한 물음이 생겼었다. 그래서 Corner를 찾고, 비교하는 기존의 방식을 Transformer로 모든 Patch의 Feature를 Extraction하고(Global하고, Context정보를 포함할 것으로 추측함) 두 이미지의 Patch를 비교하면 괜찮지 않을까? 라고 생각해보았다. 근데 이를 조사하는..

→2022.01.22

DIP3. Intensity transformation and spatial filtering - 4. Sharpening(Highpass) spatial filters

1. 소개 Sharpening은 intensity를 강조하여 medical image이나 electronic printing 등에서 패턴인식을 위한 image enhancement를 위해 사용된다. Lowpass때는 integration을 통한 Averaging이였다면, 여기서는 Differentiation을 통한 Intensity 변화량 강조이다. 즉, 점에서의 미분값이 Intensity 불연속성(노이즈와 같은 튀는 값)과 비례할 것이기때문에, image differentiation은 edge / 노이즈와 같은 불연속성을 강조하고, 천천히 변화하는 지역을 억제할 것이다. 이를 lowpass때 처럼 Frequency domain에서 생각해보자면 sharpening은 highpass filtering으로 ..

→2022.01.17

DIP3. Intensity transformation and spatial filtering - 3. Smoothing(Lowpass) Spatial Filter

1. Smoothing(Lowpass) Spatial Filter란? 적용, 목적 Smoothing (also called averaging) spatial filters는 intensity에서 sharp(갑자기 intensity가 치솟는)함을 줄이는데 사용된다. sharp한 특성을 띠는 패턴이 random noise에서 발견되기 때문에 Lowpass filter를 하면 노이즈 감소 효과가 있다. 얼마나 감소되는지는 kernel의 size와 coefficient에 따라 결정된다. 노이즈 감소 외에도 이미지 내에서 쓸대없는 / 상관없는(매우 작은, 노이즈같은) 디테일을 감소시켜주는 역할또한 한다. 이외에도 intensity level의 부족으로 생긴 잘못된 경계를 smoothing 하는데 이용되기도, 이후..

→2022.01.17

DIP3. Intensity transformation and spatial filtering - 2. Histogram processing

1. Histogram Processing 이미지 중 Intensity r_k의 개수 n_k를 histogram function h로 나타낸 것을 다음과 같이 나타낸다. 이를 정규화 한 것을 다음과 같이 표현한다. 이처럼 히스토그램으로 나타내면 복잡한 연산 없이, hisgoram-based techniques를 적용하여 빠르고 적합한 implementation이 가능하다. 이러한 장점때문에 real-time image processing으로 자주 쓰인다고 한다. 어떤것이 어떻게 쓰이는지 알아보자. 히스토그램의 모형은 이미지의 외형에 따라 결정된다. 만약 검정색이 지배적이면 히스토그램의 대부분이 낮은 곳에 집중적으로 분포되고 만약 경계가 뚜렷한(contrast가 높은) 이미지라면 히스토그램이 모든 히스토그..

→2022.01.17

DIP3. Intensity transformation and spatial filtering - 1. Spatial domain의 기초 Transformation

1. 목표 Spatial domain processing의 개념을 이해하고, transform domain processing과의 차이점에 대해서 알아본다 intensity transformation에 대해 알아본다.image histogram의 물리학적 의미를 이해하고 이를 이용해서 image enhancement를 한다.Spatial filtering의 메커니즘을 이해하고, 어떻게 적용할지 알아본다. 2. Background 앞선 목표에서도 보았듯이 이번 챕터의 목표는 Spatial domain에서의 연산을 이해하는 것이다. Spatial domain이라고 하면 뭔가 싶겠지만 간단하게 image plane 그 자체를 의미한다. 그리고 그 image plane(즉, 이미지 내의 픽셀 단위)에서의 연산이..

→2022.01.17

Vision Transformer 이해 4. SOTA Transformer model ( Scaling vision with sparse mixture of experts )

0. Scaling vision with sparse mixture of experts 본 논문은 Vision transformer를 개선시킨 논문이다. 이 논문의 키워드는 ViT의 Encoder 내 MLP(Multi Layer Perceptron)에 Conditional computation을 추가하였다는 것이다. (시간상 ViT 논문 리뷰는 생략) 여기서 Conditional computation이란 무엇일까? 일반 vision model들은 모두 dense하다. 즉, 입력에 대해 출력을 낼 때 모든 파라미터를 사용한다. 그런데 Conditional compuation은 모델을 sparse하게 만들자는 것이다. 즉, 입력에 대해 일정 condition에 부합하는 파라미터만 사용하고 모든 파라미터를 사..

→2022.01.15