docs/report/introduction/test_environment_sut_calib_skx.rst

   1 Calibration Data - Skylake
   2 --------------------------
   3
   4 Following sections include sample calibration data measured on
   5 s11-t31-sut1 server running in one of the Intel Xeon Skylake testbeds as
   6 specified in `FD.io CSIT testbeds - Xeon Skylake, Arm, Atom`_.
   7
   8 Calibration data obtained from all other servers in Skylake testbeds
   9 shows the same or similar values.
  10
  11
  12 Linux cmdline
  13 ~~~~~~~~~~~~~
  14
  15 ::
  16
  17     $ cat /proc/cmdline
  18     BOOT_IMAGE=/boot/vmlinuz-4.15.0-72-generic root=UUID=e05120bb-7127-43db-b1e3-a66edd4c43bd ro isolcpus=1-27,29-55,57-83,85-111 nohz_full=1-27,29-55,57-83,85-111 rcu_nocbs=1-27,29-55,57-83,85-111 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0 console=ttyS0,115200n8
  19
  20
  21 Linux uname
  22 ~~~~~~~~~~~
  23
  24 ::
  25
  26     $ uname -a
  27     Linux s3-t21-sut1 4.15.0-72-generic #81-Ubuntu SMP Tue Nov 26 12:20:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
  28
  29
  30 System-level Core Jitter
  31 ~~~~~~~~~~~~~~~~~~~~~~~~
  32
  33 ::
  34
  35     $ sudo taskset -c 3 /home/testuser/pma_tools/jitter/jitter -i 20
  36     Linux Jitter testing program version 1.8
  37     Iterations=20
  38     The pragram will execute a dummy function 80000 times
  39     Display is updated every 20000 displayUpdate intervals
  40     Timings are in CPU Core cycles
  41     Inst_Min:    Minimum Excution time during the display update interval(default is ~1 second)
  42     Inst_Max:    Maximum Excution time during the display update interval(default is ~1 second)
  43     Inst_jitter: Jitter in the Excution time during rhe display update interval. This is the value of interest
  44     last_Exec:   The Excution time of last iteration just before the display update
  45     Abs_Min:     Absolute Minimum Excution time since the program started or statistics were reset
  46     Abs_Max:     Absolute Maximum Excution time since the program started or statistics were reset
  47     tmp:         Cumulative value calcualted by the dummy function
  48     Interval:    Time interval between the display updates in Core Cycles
  49     Sample No:   Sample number
  50
  51        Inst_Min   Inst_Max   Inst_jitter last_Exec  Abs_min    Abs_max      tmp       Interval     Sample No
  52         160022     171330      11308     160022     160022     171330    2538733568 3204142750          1
  53         160022     167294       7272     160026     160022     171330     328335360 3203873548          2
  54         160022     167560       7538     160026     160022     171330    2412904448 3203878736          3
  55         160022     169000       8978     160024     160022     171330     202506240 3203864588          4
  56         160022     166572       6550     160026     160022     171330    2287075328 3203866224          5
  57         160022     167460       7438     160026     160022     171330      76677120 3203854632          6
  58         160022     168134       8112     160024     160022     171330    2161246208 3203874674          7
  59         160022     169094       9072     160022     160022     171330    4245815296 3203878798          8
  60         160022     172460      12438     160024     160022     172460    2035417088 3204112010          9
  61         160022     167862       7840     160030     160022     172460    4119986176 3203856800         10
  62         160022     168398       8376     160024     160022     172460    1909587968 3203854192         11
  63         160022     167548       7526     160024     160022     172460    3994157056 3203847442         12
  64         160022     167562       7540     160026     160022     172460    1783758848 3203862936         13
  65         160022     167604       7582     160024     160022     172460    3868327936 3203859346         14
  66         160022     168262       8240     160024     160022     172460    1657929728 3203851120         15
  67         160022     169700       9678     160024     160022     172460    3742498816 3203877690         16
  68         160022     170476      10454     160026     160022     172460    1532100608 3204088480         17
  69         160022     167798       7776     160024     160022     172460    3616669696 3203862072         18
  70         160022     166540       6518     160024     160022     172460    1406271488 3203836904         19
  71         160022     167516       7494     160024     160022     172460    3490840576 3203848120         20
  72
  73
  74 Memory Bandwidth
  75 ~~~~~~~~~~~~~~~~
  76
  77 ::
  78
  79     $ sudo /home/testuser/mlc --bandwidth_matrix
  80     Intel(R) Memory Latency Checker - v3.5
  81     Command line parameters: --bandwidth_matrix
  82
  83     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
  84     Measuring Memory Bandwidths between nodes within system
  85     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
  86     Using all the threads from each core if Hyper-threading is enabled
  87     Using Read-only traffic type
  88                     Numa node
  89     Numa node       0       1
  90         0     107947.7    50951.5
  91         1      50834.6   108183.4
  92
  93 ::
  94
  95     $ sudo /home/testuser/mlc --peak_injection_bandwidth
  96     Intel(R) Memory Latency Checker - v3.5
  97     Command line parameters: --peak_injection_bandwidth
  98
  99     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 100
 101     Measuring Peak Injection Memory Bandwidths for the system
 102     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 103     Using all the threads from each core if Hyper-threading is enabled
 104     Using traffic with the following read-write ratios
 105     ALL Reads        :  215733.9
 106     3:1 Reads-Writes :  182141.9
 107     2:1 Reads-Writes :  178615.7
 108     1:1 Reads-Writes :  149911.3
 109     Stream-triad like:  159533.6
 110
 111 ::
 112
 113     $ sudo /home/testuser/mlc --max_bandwidth
 114     Intel(R) Memory Latency Checker - v3.5
 115     Command line parameters: --max_bandwidth
 116
 117     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 118
 119     Measuring Maximum Memory Bandwidths for the system
 120     Will take several minutes to complete as multiple injection rates will be tried to get the best bandwidth
 121     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 122     Using all the threads from each core if Hyper-threading is enabled
 123     Using traffic with the following read-write ratios
 124     ALL Reads        :  216875.73
 125     3:1 Reads-Writes :  182615.14
 126     2:1 Reads-Writes :  178745.67
 127     1:1 Reads-Writes :  149485.27
 128     Stream-triad like:  180057.87
 129
 130
 131 Memory Latency
 132 ~~~~~~~~~~~~~~
 133
 134 ::
 135
 136     $ sudo /home/testuser/mlc --latency_matrix
 137     Intel(R) Memory Latency Checker - v3.5
 138     Command line parameters: --latency_matrix
 139
 140     Using buffer size of 2000.000MB
 141     Measuring idle latencies (in ns)...
 142                  Numa node
 143     Numa node    0       1
 144         0      81.4    131.1
 145         1     131.1     81.3
 146
 147 ::
 148
 149     $ sudo /home/testuser/mlc --idle_latency
 150     Intel(R) Memory Latency Checker - v3.5
 151     Command line parameters: --idle_latency
 152
 153     Using buffer size of 2000.000MB
 154     Each iteration took 202.0 core clocks ( 80.8    ns)
 155
 156 ::
 157
 158     $ sudo /home/testuser/mlc --loaded_latency
 159     Intel(R) Memory Latency Checker - v3.5
 160     Command line parameters: --loaded_latency
 161
 162     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 163
 164     Measuring Loaded Latencies for the system
 165     Using all the threads from each core if Hyper-threading is enabled
 166     Using Read-only traffic type
 167     Inject  Latency Bandwidth
 168     Delay   (ns)    MB/sec
 169     ==========================
 170      00000  282.66   215712.8
 171      00002  282.14   215757.4
 172      00008  280.21   215868.1
 173      00015  279.20   216313.2
 174      00050  275.25   216643.0
 175      00100  227.05   215075.0
 176      00200  121.92   160242.9
 177      00300  101.21   111587.4
 178      00400   95.48    85019.7
 179      00500   94.46    68717.3
 180      00700   92.27    49742.2
 181      01000   91.03    35264.8
 182      01300   90.11    27396.3
 183      01700   89.34    21178.7
 184      02500   90.15    14672.8
 185      03500   89.00    10715.7
 186      05000   82.00     7788.2
 187      09000   81.46     4684.0
 188      20000   81.40     2541.9
 189
 190
 191 L1/L2/LLC Latency
 192 ~~~~~~~~~~~~~~~~~
 193
 194 ::
 195
 196     $ sudo /home/testuser/mlc --c2c_latency
 197     Intel(R) Memory Latency Checker - v3.5
 198     Command line parameters: --c2c_latency
 199
 200     Measuring cache-to-cache transfer latency (in ns)...
 201     Local Socket L2->L2 HIT  latency    53.7
 202     Local Socket L2->L2 HITM latency    53.7
 203     Remote Socket L2->L2 HITM latency (data address homed in writer socket)
 204                          Reader Numa Node
 205     Writer Numa Node        0       1
 206                 0           -   113.9
 207                 1       113.9       -
 208     Remote Socket L2->L2 HITM latency (data address homed in reader socket)
 209                          Reader Numa Node
 210     Writer Numa Node        0       1
 211                 0           -   177.9
 212                 1       177.6       -
 213
 214 .. include:: ../introduction/test_environment_sut_meltspec_skx.rst