개발일기장

연산을 효율적으로 하기 위해 float에서 연산하는 것이 아닌 integer 연산을 합니다. 대신 정확도는 줄어듭니다 $r = S(q-z)$ q: quantized fixed-point value (integer) r: real float-point value S: scale (float) Z: zero-point (bias) 어느 모델의 weight가 다음과 같은 분포를 하고 있다고 가정해봅시다 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 그리고 3비트로 아래의 수를 나타내고 싶다고 가정해봅시다.(uint3) uint3의 범위는 0($ \alpha_q $)~7($ \beta_q $)입니다 위 weight의 범위는 -2($ \alpha $)~14($ \beta $)입니다 총 ..

Direct Convolution for 루프로 직접 계산(MAC : Multiply Accumulation operation) 캐시 사용하지 못함, 병렬처리 못함 GEMM(General Matrix Multiply) IM2COL로 Input과 Weight를 matrix로 변형해서 계산 GPU 연산에 빠르다 FFT-based Convolution weight와 input을 FFT로 변환해서 pointwise multiplication 수행 IFFT로 원복 (자세한 내용은 다음에 다루겠습니다) 2-D convolution $(G*F)[i,j]=\sum_m \sum_n G[i+m,j+n]F[m,n]$ i+m,j+n가 범위를 벗어나면 무시한다. Fourier Transform 후 곱셈 계산을 위해 filter..