docs/report/introduction/test_environment_sut_calib_clx.rst

   1 Cascade Lake
   2 ~~~~~~~~~~~~
   3
   4 Following sections include sample calibration data measured on
   5 s32-t27-sut1 server running in one of the Intel Xeon Skylake testbeds as
   6 specified in `FD.io CSIT testbeds - Xeon Cascade Lake`_.
   7
   8 Calibration data obtained from all other servers in Cascade Lake testbeds
   9 shows the same or similar values.
  10
  11
  12 Linux cmdline
  13 ^^^^^^^^^^^^^
  14
  15 ::
  16
  17     $ cat /proc/cmdline
  18     BOOT_IMAGE=/boot/vmlinuz-5.4.0-65-generic root=UUID=b1f0dc29-1d4f-4777-b37d-a5e26e233d55 ro audit=0 hpet=disable intel_idle.max_cstate=1 intel_iommu=on intel_pstate=disable iommu=pt isolcpus=1-27,29-55,57-83,85-111 mce=off nmi_watchdog=0 nohz_full=1-27,29-55,57-83,85-111 nosoftlockup numa_balancing=disable processor.max_cstate=1 rcu_nocbs=1-27,29-55,57-83,85-111 tsc=reliable console=ttyS0,115200n8 quiet
  19
  20 Linux uname
  21 ^^^^^^^^^^^
  22
  23 ::
  24
  25     $ uname -a
  26     Linux 5.4.0-65-generic #73-Ubuntu SMP Mon Jan 18 17:25:17 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
  27
  28
  29 System-level Core Jitter
  30 ^^^^^^^^^^^^^^^^^^^^^^^^
  31
  32 ::
  33
  34     $ sudo taskset -c 3 /home/testuser/pma_tools/jitter/jitter -i 30
  35     Linux Jitter testing program version 1.9
  36     Iterations=30
  37     The pragram will execute a dummy function 80000 times
  38     Display is updated every 20000 displayUpdate intervals
  39     Thread affinity will be set to core_id:7
  40     Timings are in CPU Core cycles
  41     Inst_Min:    Minimum Excution time during the display update interval(default is ~1 second)
  42     Inst_Max:    Maximum Excution time during the display update interval(default is ~1 second)
  43     Inst_jitter: Jitter in the Excution time during rhe display update interval. This is the value of interest
  44     last_Exec:   The Excution time of last iteration just before the display update
  45     Abs_Min:     Absolute Minimum Excution time since the program started or statistics were reset
  46     Abs_Max:     Absolute Maximum Excution time since the program started or statistics were reset
  47     tmp:         Cumulative value calcualted by the dummy function
  48     Interval:    Time interval between the display updates in Core Cycles
  49     Sample No:   Sample number
  50
  51     Inst_Min,Inst_Max,Inst_jitter,last_Exec,Abs_min,Abs_max,tmp,Interval,Sample No
  52     160022,167590,7568,160026,160022,167590,2057568256,3203711852,1
  53     160022,170628,10606,160024,160022,170628,4079222784,3204010824,2
  54     160022,169824,9802,160024,160022,170628,1805910016,3203812064,3
  55     160022,168832,8810,160030,160022,170628,3827564544,3203792594,4
  56     160022,168248,8226,160026,160022,170628,1554251776,3203765920,5
  57     160022,167834,7812,160028,160022,170628,3575906304,3203761114,6
  58     160022,167442,7420,160024,160022,170628,1302593536,3203769250,7
  59     160022,169120,9098,160028,160022,170628,3324248064,3203853340,8
  60     160022,170710,10688,160024,160022,170710,1050935296,3203985878,9
  61     160022,167952,7930,160024,160022,170710,3072589824,3203733756,10
  62     160022,168314,8292,160030,160022,170710,799277056,3203741152,11
  63     160022,169672,9650,160024,160022,170710,2820931584,3203739910,12
  64     160022,168684,8662,160024,160022,170710,547618816,3203727336,13
  65     160022,168246,8224,160024,160022,170710,2569273344,3203739052,14
  66     160022,168134,8112,160030,160022,170710,295960576,3203735874,15
  67     160022,170230,10208,160024,160022,170710,2317615104,3203996356,16
  68     160022,167190,7168,160024,160022,170710,44302336,3203713628,17
  69     160022,167304,7282,160024,160022,170710,2065956864,3203717954,18
  70     160022,167500,7478,160024,160022,170710,4087611392,3203706674,19
  71     160022,167302,7280,160024,160022,170710,1814298624,3203726452,20
  72     160022,167266,7244,160024,160022,170710,3835953152,3203702804,21
  73     160022,167820,7798,160022,160022,170710,1562640384,3203719138,22
  74     160022,168100,8078,160024,160022,170710,3584294912,3203716636,23
  75     160022,170408,10386,160024,160022,170710,1310982144,3203946958,24
  76     160022,167276,7254,160024,160022,170710,3332636672,3203706236,25
  77     160022,167052,7030,160024,160022,170710,1059323904,3203696444,26
  78     160022,170322,10300,160024,160022,170710,3080978432,3203747514,27
  79     160022,167332,7310,160024,160022,170710,807665664,3203716210,28
  80     160022,167426,7404,160026,160022,170710,2829320192,3203700630,29
  81     160022,168840,8818,160024,160022,170710,556007424,3203727658,30
  82
  83
  84 Memory Bandwidth
  85 ^^^^^^^^^^^^^^^^
  86
  87 ::
  88
  89     $ sudo /home/testuser/mlc --bandwidth_matrix
  90     Intel(R) Memory Latency Checker - v3.7
  91     Command line parameters: --bandwidth_matrix
  92
  93     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
  94     Measuring Memory Bandwidths between nodes within system
  95     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
  96     Using all the threads from each core if Hyper-threading is enabled
  97     Using Read-only traffic type
  98                     Numa node
  99     Numa node            0       1
 100            0        122097.7     51327.9
 101            1        51309.2      122005.5
 102
 103 ::
 104
 105     $ sudo /home/testuser/mlc --peak_injection_bandwidth
 106     Intel(R) Memory Latency Checker - v3.7
 107     Command line parameters: --peak_injection_bandwidth
 108
 109     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
 110
 111     Measuring Peak Injection Memory Bandwidths for the system
 112     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 113     Using all the threads from each core if Hyper-threading is enabled
 114     Using traffic with the following read-write ratios
 115     ALL Reads        :      243159.4
 116     3:1 Reads-Writes :      219132.5
 117     2:1 Reads-Writes :      216603.1
 118     1:1 Reads-Writes :      203713.0
 119     Stream-triad like:      193790.8
 120
 121 ::
 122
 123     $ sudo /home/testuser/mlc --max_bandwidth
 124     Intel(R) Memory Latency Checker - v3.7
 125     Command line parameters: --max_bandwidth
 126
 127     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
 128
 129     Measuring Maximum Memory Bandwidths for the system
 130     Will take several minutes to complete as multiple injection rates will be tried to get the best bandwidth
 131     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
 132     Using all the threads from each core if Hyper-threading is enabled
 133     Using traffic with the following read-write ratios
 134     ALL Reads        :      244114.27
 135     3:1 Reads-Writes :      219441.97
 136     2:1 Reads-Writes :      216603.72
 137     1:1 Reads-Writes :      203679.09
 138     Stream-triad like:      214902.80
 139
 140
 141 Memory Latency
 142 ^^^^^^^^^^^^^^
 143
 144 ::
 145
 146     $ sudo /home/testuser/mlc --latency_matrix
 147     Intel(R) Memory Latency Checker - v3.7
 148     Command line parameters: --latency_matrix
 149
 150     Using buffer size of 2000.000MiB
 151     Measuring idle latencies (in ns)...
 152                     Numa node
 153     Numa node            0       1
 154            0          81.2   130.2
 155            1         130.2    81.1
 156
 157 ::
 158
 159     $ sudo /home/testuser/mlc --idle_latency
 160     Intel(R) Memory Latency Checker - v3.7
 161     Command line parameters: --idle_latency
 162
 163     Using buffer size of 2000.000MiB
 164     Each iteration took 186.1 core clocks ( 80.9    ns)
 165
 166 ::
 167
 168     $ sudo /home/testuser/mlc --loaded_latency
 169     Intel(R) Memory Latency Checker - v3.7
 170     Command line parameters: --loaded_latency
 171
 172     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
 173
 174     Measuring Loaded Latencies for the system
 175     Using all the threads from each core if Hyper-threading is enabled
 176     Using Read-only traffic type
 177     Inject  Latency Bandwidth
 178     Delay   (ns)    MB/sec
 179     ==========================
 180      00000  233.86   243421.9
 181      00002  230.61   243544.1
 182      00008  232.56   243394.5
 183      00015  229.52   244076.6
 184      00050  225.82   244290.6
 185      00100  161.65   236744.8
 186      00200  100.63   133844.0
 187      00300   96.84    90548.2
 188      00400   95.71    68504.3
 189      00500   95.68    55139.0
 190      00700   88.77    39798.4
 191      01000   84.74    28200.1
 192      01300   83.08    21915.5
 193      01700   82.27    16969.3
 194      02500   81.66    11810.6
 195      03500   81.98     8662.9
 196      05000   81.48     6306.8
 197      09000   81.17     3857.8
 198      20000   80.19     2179.9
 199
 200
 201 L1/L2/LLC Latency
 202 ^^^^^^^^^^^^^^^^^
 203
 204 ::
 205
 206     $ sudo /home/testuser/mlc --c2c_latency
 207     Intel(R) Memory Latency Checker - v3.7
 208     Command line parameters: --c2c_latency
 209
 210     Measuring cache-to-cache transfer latency (in ns)...
 211     Local Socket L2->L2 HIT  latency        55.5
 212     Local Socket L2->L2 HITM latency        55.6
 213     Remote Socket L2->L2 HITM latency (data address homed in writer socket)
 214                             Reader Numa Node
 215     Writer Numa Node     0       1
 216                 0        -   115.6
 217                 1    115.6       -
 218     Remote Socket L2->L2 HITM latency (data address homed in reader socket)
 219                             Reader Numa Node
 220     Writer Numa Node     0       1
 221                 0        -   178.2
 222                 1    178.4       -
 223
 224 .. include:: ../introduction/test_environment_sut_meltspec_clx.rst