docs/report/introduction/test_environment_sut_calib_hsw.rst

   1 Haswell
   2 ~~~~~~~
   3
   4 Following sections include sample calibration data measured on t1-sut1
   5 server running in one of the Intel Xeon Haswell testbeds as specified in
   6 `FD.io CSIT Testbeds - Xeon Haswell`_.
   7
   8 Calibration data obtained from all other servers in Haswell testbeds
   9 shows the same or similar values.
  10
  11 Linux cmdline
  12 ^^^^^^^^^^^^^
  13
  14 ::
  15
  16     $ cat /proc/cmdline
  17     BOOT_IMAGE=/vmlinuz-4.15.0-72-generic root=UUID=c59ae603-8076-41f4-bb5d-bc3fc8dd3ea1 ro isolcpus=1-17,19-35 nohz_full=1-17,19-35 rcu_nocbs=1-17,19-35 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0console=ttyS0,115200n8
  18
  19
  20 Linux uname
  21 ^^^^^^^^^^^
  22
  23 ::
  24
  25     $ uname -a
  26     Linux t1-tg1 4.15.0-72-generic #81-Ubuntu SMP Tue Nov 26 12:20:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
  27
  28
  29 System-level Core Jitter
  30 ^^^^^^^^^^^^^^^^^^^^^^^^
  31
  32 ::
  33
  34     $ sudo taskset -c 3 /home/testuser/pma_tools/jitter/jitter -i 30
  35     Linux Jitter testing program version 1.8
  36     Iterations=30
  37     The pragram will execute a dummy function 80000 times
  38     Display is updated every 20000 displayUpdate intervals
  39     Timings are in CPU Core cycles
  40     Inst_Min:    Minimum Excution time during the display update interval(default is ~1 second)
  41     Inst_Max:    Maximum Excution time during the display update interval(default is ~1 second)
  42     Inst_jitter: Jitter in the Excution time during rhe display update interval. This is the value of interest
  43     last_Exec:   The Excution time of last iteration just before the display update
  44     Abs_Min:     Absolute Minimum Excution time since the program started or statistics were reset
  45     Abs_Max:     Absolute Maximum Excution time since the program started or statistics were reset
  46     tmp:         Cumulative value calcualted by the dummy function
  47     Interval:    Time interval between the display updates in Core Cycles
  48     Sample No:   Sample number
  49
  50        Inst_Min   Inst_Max   Inst_jitter last_Exec  Abs_min    Abs_max      tmp       Interval     Sample No
  51         160024     172636      12612     160028     160024     172636    1573060608 3205463144          1
  52         160024     188236      28212     160028     160024     188236     958595072 3205500844          2
  53         160024     185676      25652     160028     160024     188236     344129536 3205485976          3
  54         160024     172608      12584     160024     160024     188236    4024631296 3205472740          4
  55         160024     179260      19236     160028     160024     188236    3410165760 3205502164          5
  56         160024     172432      12408     160024     160024     188236    2795700224 3205452036          6
  57         160024     178820      18796     160024     160024     188236    2181234688 3205455408          7
  58         160024     172512      12488     160028     160024     188236    1566769152 3205461528          8
  59         160024     172636      12612     160028     160024     188236     952303616 3205478820          9
  60         160024     173676      13652     160028     160024     188236     337838080 3205470412         10
  61         160024     178776      18752     160028     160024     188236    4018339840 3205481472         11
  62         160024     172788      12764     160028     160024     188236    3403874304 3205492336         12
  63         160024     174616      14592     160028     160024     188236    2789408768 3205474904         13
  64         160024     174440      14416     160028     160024     188236    2174943232 3205479448         14
  65         160024     178748      18724     160024     160024     188236    1560477696 3205482668         15
  66         160024     172588      12564     169404     160024     188236     946012160 3205510496         16
  67         160024     172636      12612     160024     160024     188236     331546624 3205472204         17
  68         160024     172480      12456     160024     160024     188236    4012048384 3205455864         18
  69         160024     172740      12716     160028     160024     188236    3397582848 3205464932         19
  70         160024     179200      19176     160028     160024     188236    2783117312 3205476012         20
  71         160024     172480      12456     160028     160024     188236    2168651776 3205465632         21
  72         160024     172728      12704     160024     160024     188236    1554186240 3205497204         22
  73         160024     172620      12596     160028     160024     188236     939720704 3205466972         23
  74         160024     172640      12616     160028     160024     188236     325255168 3205471216         24
  75         160024     172484      12460     160028     160024     188236    4005756928 3205467388         25
  76         160024     172636      12612     160028     160024     188236    3391291392 3205482748         26
  77         160024     179056      19032     160024     160024     188236    2776825856 3205467152         27
  78         160024     172672      12648     160024     160024     188236    2162360320 3205483268         28
  79         160024     176932      16908     160024     160024     188236    1547894784 3205488536         29
  80         160024     172452      12428     160028     160024     188236     933429248 3205440636         30
  81
  82
  83 Memory Bandwidth
  84 ^^^^^^^^^^^^^^^^
  85
  86 ::
  87
  88     $ sudo /home/testuser/mlc --bandwidth_matrix
  89     Intel(R) Memory Latency Checker - v3.5
  90     Command line parameters: --bandwidth_matrix
  91
  92     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
  93     Measuring Memory Bandwidths between nodes within system
  94     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
  95     Using all the threads from each core if Hyper-threading is enabled
  96     Using Read-only traffic type
  97                      Numa node
  98     Numa node        0       1
  99         0        57935.5   30265.2
 100         1        30284.6   58409.9
 101
 102 ::
 103
 104     $ sudo /home/testuser/mlc --peak_injection_bandwidth
 105     Intel(R) Memory Latency Checker - v3.5
 106     Command line parameters: --peak_injection_bandwidth
 107
 108     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 109
 110     Measuring Peak Injection Memory Bandwidths for the system
 111     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 112     Using all the threads from each core if Hyper-threading is enabled
 113     Using traffic with the following read-write ratios
 114     ALL Reads        :  115762.2
 115     3:1 Reads-Writes :  106242.2
 116     2:1 Reads-Writes :  103031.8
 117     1:1 Reads-Writes :  87943.7
 118     Stream-triad like:  100048.4
 119
 120 ::
 121
 122     $ sudo /home/testuser/mlc --max_bandwidth
 123     Intel(R) Memory Latency Checker - v3.5
 124     Command line parameters: --max_bandwidth
 125
 126     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 127
 128     Measuring Maximum Memory Bandwidths for the system
 129     Will take several minutes to complete as multiple injection rates will be tried to get the best bandwidth
 130     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 131     Using all the threads from each core if Hyper-threading is enabled
 132     Using traffic with the following read-write ratios
 133     ALL Reads        :  115782.41
 134     3:1 Reads-Writes :  105965.78
 135     2:1 Reads-Writes :  103162.38
 136     1:1 Reads-Writes :  88255.82
 137     Stream-triad like:  105608.10
 138
 139
 140 Memory Latency
 141 ^^^^^^^^^^^^^^
 142
 143 ::
 144
 145     $ sudo /home/testuser/mlc --latency_matrix
 146     Intel(R) Memory Latency Checker - v3.5
 147     Command line parameters: --latency_matrix
 148
 149     Using buffer size of 200.000MB
 150     Measuring idle latencies (in ns)...
 151                      Numa node
 152     Numa node        0       1
 153         0           101.0   132.0
 154         1           141.2    98.8
 155
 156 ::
 157
 158     $ sudo /home/testuser/mlc --idle_latency
 159     Intel(R) Memory Latency Checker - v3.5
 160     Command line parameters: --idle_latency
 161
 162     Using buffer size of 200.000MB
 163     Each iteration took 227.2 core clocks ( 99.0    ns)
 164
 165 ::
 166
 167     $ sudo /home/testuser/mlc --loaded_latency
 168     Intel(R) Memory Latency Checker - v3.5
 169     Command line parameters: --loaded_latency
 170
 171     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 172
 173     Measuring Loaded Latencies for the system
 174     Using all the threads from each core if Hyper-threading is enabled
 175     Using Read-only traffic type
 176     Inject  Latency Bandwidth
 177     Delay   (ns)    MB/sec
 178     ==========================
 179      00000  294.08   115841.6
 180      00002  294.27   115851.5
 181      00008  293.67   115821.8
 182      00015  278.92   115587.5
 183      00050  246.80   113991.2
 184      00100  206.86   104508.1
 185      00200  123.72    72873.6
 186      00300  113.35    52641.1
 187      00400  108.89    41078.9
 188      00500  108.11    33699.1
 189      00700  106.19    24878.0
 190      01000  104.75    17948.1
 191      01300  103.72    14089.0
 192      01700  102.95    11013.6
 193      02500  102.25     7756.3
 194      03500  101.81     5749.3
 195      05000  101.46     4230.4
 196      09000  101.05     2641.4
 197      20000  100.77     1542.5
 198
 199
 200 L1/L2/LLC Latency
 201 ^^^^^^^^^^^^^^^^^
 202
 203 ::
 204
 205     $ sudo /home/testuser/mlc --c2c_latency
 206     Intel(R) Memory Latency Checker - v3.5
 207     Command line parameters: --c2c_latency
 208
 209     Measuring cache-to-cache transfer latency (in ns)...
 210     Local Socket L2->L2 HIT  latency    42.1
 211     Local Socket L2->L2 HITM latency    47.0
 212     Remote Socket L2->L2 HITM latency (data address homed in writer socket)
 213                       Reader Numa Node
 214     Writer Numa Node     0       1
 215                 0        -   108.0
 216                 1    106.9       -
 217     Remote Socket L2->L2 HITM latency (data address homed in reader socket)
 218                       Reader Numa Node
 219     Writer Numa Node     0       1
 220                 0        -   107.7
 221                 1    106.6       -
 222
 223 .. include:: ../introduction/test_environment_sut_meltspec_hsw.rst