SIMD 병렬 프로그래밍

김지환

2016년 07월 09일

읽는데 걸리는 시간: 3 분

SIMD란 Single Instruction Multiple Data의 약자로, 하나의 명령어로 여러개의 데이터를 한번에 처리하는 기법입니다. 일반적인 프로그램의 경우 대부분 SISD(Single Instruction Single Data)으로 구현되어 있고, 이것은 기본적인 폰노이만 컴퓨터가 사용하는 방식입니다. 하지만 동영상 인코딩, 그래픽 렌더링 등의 작업에 SIMD를 적용하였을 때는 성능적으로 큰 이득을 취할 수 있습니다.

CPU-Z같은 프로그램에서 CPU가 지원하는 명령어 셋들을 확인할 수 있는데, Intel의 경우 MMX(SSE2), AMD는 3D Now!같은 기술들이 SIMD를 의미합니다.

SISD VS SIMD

위의 예는 우리가 일반적으로 사고하는 SISD 방식과 이제부터 알아볼 SIMD 연산에 대한 차이를 나타낸 것입니다. Vector4 + Vector4를 간단하게 SISD와 SIMD로 표현한다면 다음과 같습니다.

// SISD
var a = [1, 2, 3, 4];
var b = [5, 6, 7, 8];
var c = [];

c[0] = a[0] + b[0];
c[1] = a[1] + b[1];
c[2] = a[2] + b[2];
c[3] = a[3] + b[3];
c; // Array[6, 8, 10, 12]


// SIMD
var a = SIMD.Float32x4(1, 2, 3, 4);
var b = SIMD.Float32x4(5, 6, 7, 8);
var c = SIMD.Float32x4.add(a,b); // Float32x4[6, 8, 10, 12]

게임을 만들기 위해선 벡터, 행렬 연산은 피할 수 없습니다. 그래서 더욱 SIMD를 이용해 코드를 작성하면 좋겠지만, 그것은 쉽지 않은 작업일 것입니다. 하지만 대표적인 그래픽 라이브러리인 DirectX와 OpenGL은 SIMD를 지원합니다.

DirectX 11부터 제공되는 XNAMath 라이브러리가 SSE2(SIMD)명령어 셋을 이용해 구현되었습니다
ex) XMLoadFloat3, XMVector3Transform, …

어떻게 구현하죠?

SIMD는 직접 어셈블리로 구현하거나, Intrinsic Function을 이용하여 구현할 수 있습니다. * Intrinsic Function은 inline function으로, 모습은 함수와 동일하지만 어셈블리 명령어와 1:1로 매칭되어 좀 더 쉽게 SSE를 이용할 수 있게 해주는 내장 함수입니다. 어셈블리어로 코드를 짜는건 모두에게 쉽지 않은 일이기 때문에 Intrinsic function을 이용해 코드를 작성하도록 하겠습니다. (하지만 Intrinsic function을 이용하면 직접 어셈블리어로 코드를 작성하는 것보다 필요없는 명령어들이 조금 더 생성됩니다)

* _mm_set_ss가 Intrinsic Function이며, 어셈블리어에 함수 호출에 대한 명령어가 없습니다.

프로그래머가 SIMD로 변환되기 쉽도록 코드를 작성하였다면, 요즘의 최신 컴파일러들은 설정에 따라 자체적으로 SIMD Instruction을 사용한 코드로 변환해줍니다.

그리고 SIMD를 제대로 사용하기 위해서는 정렬된 메모리(aligned memory)를 사용해야 합니다. 정렬된 메모리가 어떤 의미인지 다음 코드에 주석으로 설명하도록 하겠습니다.

short a, b, c, d;                 // (1) Not aligned
short a[4];                       // (2) Not Aligned
__declspec(align(32)) short a[4]; // (3) Aligned

(1)의 경우에는 그냥 고개를 끄덕거릴 수 있다고 생각합니다. 하지만 (2)의 경우는 왜 정렬되지 않았다고 표현하고 (3)은 왜 정렬되었다고 표현하는걸까요?

그림을 보니 이해가 조금 되시나요? Align의 정의는 메모리 시작지점을 align한 숫자의 배수로 맞추고, 내부 원소 하나하나의 크기를 align한 크기로 맞추는 것을 뜻합니다.

Intrinsic Function

위의 제목을 클릭하면 Intel의 Intrinsic Function들에 대한 목록이 나옵니다.

출처: http://www.slideshare.net/KooKyeongWon/0204-sse?qid=59f2c516-76bf-4f04-8977-d2ae7c5745db&v=&b=&from_search=1

Intrinsic 함수의 명명법은 위의 그림과 같습니다.

저는 위의 함수 목록을 참고하여 두 배열에서 각 항목의 최댓값을 구하는 코드를 SISD, SIMD로 작성하려고 합니다.

	const int n = 1000000000;
	__m128i a, b, r;
	__declspec(align(16)) short v1[8] = { 1, 2, 3, 4, 5, 6, 7, 8 };
	__declspec(align(16)) short v2[8] = { 8, 1, 7, 2, 6, 3, 5, 4 };
	__declspec(align(16)) short result[8];

  // SISD
	for (int i = 0; i < n; ++i) {
		result[0] = v1[0] > v2[0] ? v1[0] : v2[0];
		result[1] = v1[1] > v2[1] ? v1[1] : v2[1];
		result[2] = v1[2] > v2[2] ? v1[2] : v2[2];
		result[3] = v1[3] > v2[3] ? v1[3] : v2[3];
		result[4] = v1[4] > v2[4] ? v1[4] : v2[4];
		result[5] = v1[5] > v2[5] ? v1[5] : v2[5];
		result[6] = v1[6] > v2[6] ? v1[6] : v2[6];
		result[7] = v1[7] > v2[7] ? v1[7] : v2[7];
	}

	// SIMD
	for (int i = 0; i < n; ++i) {
		a = _mm_loadu_si128((__m128i *)v1);
		b = _mm_loadu_si128((__m128i *)v2);
		r = _mm_max_epi16(a, b);
		_mm_storeu_si128((__m128i *)result, r);
	}

저도 직접 실행하기 전까진 신뢰할 수 없었는데 정말 놀라운 결과를 보게 되었습니다.

정리

이해하기 어렵고, 공부해야할 분야가 많은 주제이다보니 저도 제대로 설명했는지 조금 걱정이 됩니다. 그리고 예제가 너무 빈약했지만 이 글은 SIMD 기초의 일부만을 다뤘을 뿐이고, 훨씬 더 깊은 내용을 공부해야하는 분야입니다.

사실 라이브러리나 프레임워크 개발하는 분이 아닌 이상 이렇게까지 최적화를 할 필요가 있을까 싶지만 앞으로 SIMD는 더더욱 많은 곳에서 쓰일 것이라 생각합니다. 또한 최적화할 부분을 잘 판단하여 적용한다면 힘들지만 정말로 큰 성과를 얻을 수 있지 않을까요?

Reference