simd-poc/simd_double.h at master · tkloczko/simd-poc · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
// Version: $Id$
//
//

// Commentary:
//
//

// Change Log:
//
//

// Code:

#pragma once

#include <immintrin.h>

// /////////////////////////////////////////////////////////////////
// Wrapper for avx 256 double
// /////////////////////////////////////////////////////////////////

struct simd_double
{
    __m256d xmm;
    simd_double(void) : xmm( _mm256_setzero_pd() ) {}
    simd_double(__m256d x) : xmm(x) {}
    double operator [] (std::size_t i) const { return reinterpret_cast<const double *>(&xmm)[i]; }
};

// /////////////////////////////////////////////////////////////////
// Operations
// /////////////////////////////////////////////////////////////////

inline simd_double operator + (const simd_double& a, const simd_double& b)
{
    return _mm256_add_pd(a.xmm, b.xmm);
}

inline simd_double operator - (const simd_double& a, const simd_double& b)
{
    return _mm256_sub_pd(a.xmm, b.xmm);
}

inline simd_double operator * (const simd_double& a, const simd_double& b)
{
    return _mm256_mul_pd(a.xmm, b.xmm);
}

inline simd_double operator / (const simd_double& a, const simd_double& b)
{
    return _mm256_div_pd(a.xmm, b.xmm);
}

// /////////////////////////////////////////////////////////////////
// Setters
// /////////////////////////////////////////////////////////////////

inline simd_double set(double value)
{
    return _mm256_set1_pd(value);
}

inline void setZero(simd_double& value)
{
    value.xmm = _mm256_setzero_pd();
}

// /////////////////////////////////////////////////////////////////
// Reduction via sum
// /////////////////////////////////////////////////////////////////

inline double sum(const simd_double& a)
{
    const simd_double b( _mm256_hadd_pd(a.xmm, a.xmm) );
    const __m128d c = _mm_add_pd( _mm256_extractf128_pd(b.xmm, 1), _mm256_castpd256_pd128(b.xmm) );
    return *reinterpret_cast<const double *>(&c);
}

// /////////////////////////////////////////////////////////////////
// Load, store and stream
// /////////////////////////////////////////////////////////////////

inline simd_double load(const double *address)
{
    return _mm256_load_pd(address);
}

inline simd_double loadu(const double *address)
{
    return _mm256_loadu_pd(address);
}

inline void store(double *address, const simd_double& value)
{
    _mm256_store_pd(address, value.xmm);
}

inline void storeu(double *address, const simd_double& value)
{
    _mm256_storeu_pd(address, value.xmm);
}

inline void stream(double *address, const simd_double& value)
{
    _mm256_stream_pd(address, value.xmm);
}

//
// simd_double.h ends here