docs/report/introduction/test_environment_sut_calib_skx.rst

   1 Calibration Data - Skylake
   2 --------------------------
   3
   4 Following sections include sample calibration data measured on
   5 s11-t31-sut1 server running in one of the Intel Xeon Skylake testbeds as
   6 specified in `CSIT Testbeds: Xeon Skx, Arm, Atom
   7 <https://wiki.fd.io/view/CSIT/Testbeds:_Xeon_Skx,_Arm,_Atom.#Server_Specification>`_.
   8
   9 Calibration data obtained from all other servers in Skylake testbeds
  10 shows the same or similar values.
  11
  12
  13 Linux cmdline
  14 ~~~~~~~~~~~~~
  15
  16 ::
  17
  18     $ cat /proc/cmdline
  19     BOOT_IMAGE=/vmlinuz-4.15.0-23-generic root=UUID=759ad671-ad46-441b-a75b-9f54e81837bb ro isolcpus=1-27,29-55,57-83,85-111 nohz_full=1-27,29-55,57-83,85-111 rcu_nocbs=1-27,29-55,57-83,85-111 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0 console=ttyS0,115200n8
  20
  21
  22 Linux uname
  23 ~~~~~~~~~~~
  24
  25 ::
  26
  27     $ uname -a
  28     Linux s5-t22-sut1 4.15.0-23-generic #25-Ubuntu SMP Wed May 23 18:02:16 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
  29
  30
  31 System-level Core Jitter
  32 ~~~~~~~~~~~~~~~~~~~~~~~~
  33
  34 ::
  35
  36     $ sudo taskset -c 3 /home/testuser/pma_tools/jitter/jitter -i 20
  37     Linux Jitter testing program version 1.8
  38     Iterations=20
  39     The pragram will execute a dummy function 80000 times
  40     Display is updated every 20000 displayUpdate intervals
  41     Timings are in CPU Core cycles
  42     Inst_Min:    Minimum Excution time during the display update interval(default is ~1 second)
  43     Inst_Max:    Maximum Excution time during the display update interval(default is ~1 second)
  44     Inst_jitter: Jitter in the Excution time during rhe display update interval. This is the value of interest
  45     last_Exec:   The Excution time of last iteration just before the display update
  46     Abs_Min:     Absolute Minimum Excution time since the program started or statistics were reset
  47     Abs_Max:     Absolute Maximum Excution time since the program started or statistics were reset
  48     tmp:         Cumulative value calcualted by the dummy function
  49     Interval:    Time interval between the display updates in Core Cycles
  50     Sample No:   Sample number
  51
  52        Inst_Min   Inst_Max   Inst_jitter last_Exec  Abs_min    Abs_max      tmp       Interval     Sample No
  53         160022     171330      11308     160022     160022     171330    2538733568 3204142750          1
  54         160022     167294       7272     160026     160022     171330     328335360 3203873548          2
  55         160022     167560       7538     160026     160022     171330    2412904448 3203878736          3
  56         160022     169000       8978     160024     160022     171330     202506240 3203864588          4
  57         160022     166572       6550     160026     160022     171330    2287075328 3203866224          5
  58         160022     167460       7438     160026     160022     171330      76677120 3203854632          6
  59         160022     168134       8112     160024     160022     171330    2161246208 3203874674          7
  60         160022     169094       9072     160022     160022     171330    4245815296 3203878798          8
  61         160022     172460      12438     160024     160022     172460    2035417088 3204112010          9
  62         160022     167862       7840     160030     160022     172460    4119986176 3203856800         10
  63         160022     168398       8376     160024     160022     172460    1909587968 3203854192         11
  64         160022     167548       7526     160024     160022     172460    3994157056 3203847442         12
  65         160022     167562       7540     160026     160022     172460    1783758848 3203862936         13
  66         160022     167604       7582     160024     160022     172460    3868327936 3203859346         14
  67         160022     168262       8240     160024     160022     172460    1657929728 3203851120         15
  68         160022     169700       9678     160024     160022     172460    3742498816 3203877690         16
  69         160022     170476      10454     160026     160022     172460    1532100608 3204088480         17
  70         160022     167798       7776     160024     160022     172460    3616669696 3203862072         18
  71         160022     166540       6518     160024     160022     172460    1406271488 3203836904         19
  72         160022     167516       7494     160024     160022     172460    3490840576 3203848120         20
  73
  74
  75 Memory Bandwidth
  76 ~~~~~~~~~~~~~~~~
  77
  78 ::
  79
  80     $ sudo /home/testuser/mlc --bandwidth_matrix
  81     Intel(R) Memory Latency Checker - v3.5
  82     Command line parameters: --bandwidth_matrix
  83
  84     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
  85     Measuring Memory Bandwidths between nodes within system
  86     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
  87     Using all the threads from each core if Hyper-threading is enabled
  88     Using Read-only traffic type
  89                     Numa node
  90     Numa node       0       1
  91         0     107947.7    50951.5
  92         1      50834.6   108183.4
  93
  94 ::
  95
  96     $ sudo /home/testuser/mlc --peak_injection_bandwidth
  97     Intel(R) Memory Latency Checker - v3.5
  98     Command line parameters: --peak_injection_bandwidth
  99
 100     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 101
 102     Measuring Peak Injection Memory Bandwidths for the system
 103     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 104     Using all the threads from each core if Hyper-threading is enabled
 105     Using traffic with the following read-write ratios
 106     ALL Reads        :  215733.9
 107     3:1 Reads-Writes :  182141.9
 108     2:1 Reads-Writes :  178615.7
 109     1:1 Reads-Writes :  149911.3
 110     Stream-triad like:  159533.6
 111
 112 ::
 113
 114     $ sudo /home/testuser/mlc --max_bandwidth
 115     Intel(R) Memory Latency Checker - v3.5
 116     Command line parameters: --max_bandwidth
 117
 118     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 119
 120     Measuring Maximum Memory Bandwidths for the system
 121     Will take several minutes to complete as multiple injection rates will be tried to get the best bandwidth
 122     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 123     Using all the threads from each core if Hyper-threading is enabled
 124     Using traffic with the following read-write ratios
 125     ALL Reads        :  216875.73
 126     3:1 Reads-Writes :  182615.14
 127     2:1 Reads-Writes :  178745.67
 128     1:1 Reads-Writes :  149485.27
 129     Stream-triad like:  180057.87
 130
 131
 132 Memory Latency
 133 ~~~~~~~~~~~~~~
 134
 135 ::
 136
 137     $ sudo /home/testuser/mlc --latency_matrix
 138     Intel(R) Memory Latency Checker - v3.5
 139     Command line parameters: --latency_matrix
 140
 141     Using buffer size of 2000.000MB
 142     Measuring idle latencies (in ns)...
 143                  Numa node
 144     Numa node    0       1
 145         0      81.4    131.1
 146         1     131.1     81.3
 147
 148 ::
 149
 150     $ sudo /home/testuser/mlc --idle_latency
 151     Intel(R) Memory Latency Checker - v3.5
 152     Command line parameters: --idle_latency
 153
 154     Using buffer size of 2000.000MB
 155     Each iteration took 202.0 core clocks ( 80.8    ns)
 156
 157 ::
 158
 159     $ sudo /home/testuser/mlc --loaded_latency
 160     Intel(R) Memory Latency Checker - v3.5
 161     Command line parameters: --loaded_latency
 162
 163     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
 164
 165     Measuring Loaded Latencies for the system
 166     Using all the threads from each core if Hyper-threading is enabled
 167     Using Read-only traffic type
 168     Inject  Latency Bandwidth
 169     Delay   (ns)    MB/sec
 170     ==========================
 171      00000  282.66   215712.8
 172      00002  282.14   215757.4
 173      00008  280.21   215868.1
 174      00015  279.20   216313.2
 175      00050  275.25   216643.0
 176      00100  227.05   215075.0
 177      00200  121.92   160242.9
 178      00300  101.21   111587.4
 179      00400   95.48    85019.7
 180      00500   94.46    68717.3
 181      00700   92.27    49742.2
 182      01000   91.03    35264.8
 183      01300   90.11    27396.3
 184      01700   89.34    21178.7
 185      02500   90.15    14672.8
 186      03500   89.00    10715.7
 187      05000   82.00     7788.2
 188      09000   81.46     4684.0
 189      20000   81.40     2541.9
 190
 191
 192 L1/L2/LLC Latency
 193 ~~~~~~~~~~~~~~~~~
 194
 195 ::
 196
 197     $ sudo /home/testuser/mlc --c2c_latency
 198     Intel(R) Memory Latency Checker - v3.5
 199     Command line parameters: --c2c_latency
 200
 201     Measuring cache-to-cache transfer latency (in ns)...
 202     Local Socket L2->L2 HIT  latency    53.7
 203     Local Socket L2->L2 HITM latency    53.7
 204     Remote Socket L2->L2 HITM latency (data address homed in writer socket)
 205                          Reader Numa Node
 206     Writer Numa Node        0       1
 207                 0           -   113.9
 208                 1       113.9       -
 209     Remote Socket L2->L2 HITM latency (data address homed in reader socket)
 210                          Reader Numa Node
 211     Writer Numa Node        0       1
 212                 0           -   177.9
 213                 1       177.6       -