Docs: Update report sections
[csit.git] / docs / report / introduction / test_environment_sut_calib_skx.rst
1 Calibration Data - Skylake
2 --------------------------
3
4 Following sections include sample calibration data measured on
5 s11-t31-sut1 server running in one of the Intel Xeon Skylake testbeds as
6 specified in `FD.io CSIT testbeds - Xeon Skylake, Arm, Atom`_.
7
8 Calibration data obtained from all other servers in Skylake testbeds
9 shows the same or similar values.
10
11
12 Linux cmdline
13 ~~~~~~~~~~~~~
14
15 ::
16
17     $ cat /proc/cmdline
18     BOOT_IMAGE=/boot/vmlinuz-4.15.0-72-generic root=UUID=e05120bb-7127-43db-b1e3-a66edd4c43bd ro isolcpus=1-27,29-55,57-83,85-111 nohz_full=1-27,29-55,57-83,85-111 rcu_nocbs=1-27,29-55,57-83,85-111 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0 console=ttyS0,115200n8
19
20
21 Linux uname
22 ~~~~~~~~~~~
23
24 ::
25
26     $ uname -a
27     Linux s3-t21-sut1 4.15.0-72-generic #81-Ubuntu SMP Tue Nov 26 12:20:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
28
29
30 System-level Core Jitter
31 ~~~~~~~~~~~~~~~~~~~~~~~~
32
33 ::
34
35     $ sudo taskset -c 3 /home/testuser/pma_tools/jitter/jitter -i 20
36     Linux Jitter testing program version 1.8
37     Iterations=20
38     The pragram will execute a dummy function 80000 times
39     Display is updated every 20000 displayUpdate intervals
40     Timings are in CPU Core cycles
41     Inst_Min:    Minimum Excution time during the display update interval(default is ~1 second)
42     Inst_Max:    Maximum Excution time during the display update interval(default is ~1 second)
43     Inst_jitter: Jitter in the Excution time during rhe display update interval. This is the value of interest
44     last_Exec:   The Excution time of last iteration just before the display update
45     Abs_Min:     Absolute Minimum Excution time since the program started or statistics were reset
46     Abs_Max:     Absolute Maximum Excution time since the program started or statistics were reset
47     tmp:         Cumulative value calcualted by the dummy function
48     Interval:    Time interval between the display updates in Core Cycles
49     Sample No:   Sample number
50
51        Inst_Min   Inst_Max   Inst_jitter last_Exec  Abs_min    Abs_max      tmp       Interval     Sample No
52         160022     171330      11308     160022     160022     171330    2538733568 3204142750          1
53         160022     167294       7272     160026     160022     171330     328335360 3203873548          2
54         160022     167560       7538     160026     160022     171330    2412904448 3203878736          3
55         160022     169000       8978     160024     160022     171330     202506240 3203864588          4
56         160022     166572       6550     160026     160022     171330    2287075328 3203866224          5
57         160022     167460       7438     160026     160022     171330      76677120 3203854632          6
58         160022     168134       8112     160024     160022     171330    2161246208 3203874674          7
59         160022     169094       9072     160022     160022     171330    4245815296 3203878798          8
60         160022     172460      12438     160024     160022     172460    2035417088 3204112010          9
61         160022     167862       7840     160030     160022     172460    4119986176 3203856800         10
62         160022     168398       8376     160024     160022     172460    1909587968 3203854192         11
63         160022     167548       7526     160024     160022     172460    3994157056 3203847442         12
64         160022     167562       7540     160026     160022     172460    1783758848 3203862936         13
65         160022     167604       7582     160024     160022     172460    3868327936 3203859346         14
66         160022     168262       8240     160024     160022     172460    1657929728 3203851120         15
67         160022     169700       9678     160024     160022     172460    3742498816 3203877690         16
68         160022     170476      10454     160026     160022     172460    1532100608 3204088480         17
69         160022     167798       7776     160024     160022     172460    3616669696 3203862072         18
70         160022     166540       6518     160024     160022     172460    1406271488 3203836904         19
71         160022     167516       7494     160024     160022     172460    3490840576 3203848120         20
72
73
74 Memory Bandwidth
75 ~~~~~~~~~~~~~~~~
76
77 ::
78
79     $ sudo /home/testuser/mlc --bandwidth_matrix
80     Intel(R) Memory Latency Checker - v3.5
81     Command line parameters: --bandwidth_matrix
82
83     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
84     Measuring Memory Bandwidths between nodes within system
85     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
86     Using all the threads from each core if Hyper-threading is enabled
87     Using Read-only traffic type
88                     Numa node
89     Numa node       0       1
90         0     107947.7    50951.5
91         1      50834.6   108183.4
92
93 ::
94
95     $ sudo /home/testuser/mlc --peak_injection_bandwidth
96     Intel(R) Memory Latency Checker - v3.5
97     Command line parameters: --peak_injection_bandwidth
98
99     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
100
101     Measuring Peak Injection Memory Bandwidths for the system
102     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
103     Using all the threads from each core if Hyper-threading is enabled
104     Using traffic with the following read-write ratios
105     ALL Reads        :  215733.9
106     3:1 Reads-Writes :  182141.9
107     2:1 Reads-Writes :  178615.7
108     1:1 Reads-Writes :  149911.3
109     Stream-triad like:  159533.6
110
111 ::
112
113     $ sudo /home/testuser/mlc --max_bandwidth
114     Intel(R) Memory Latency Checker - v3.5
115     Command line parameters: --max_bandwidth
116
117     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
118
119     Measuring Maximum Memory Bandwidths for the system
120     Will take several minutes to complete as multiple injection rates will be tried to get the best bandwidth
121     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
122     Using all the threads from each core if Hyper-threading is enabled
123     Using traffic with the following read-write ratios
124     ALL Reads        :  216875.73
125     3:1 Reads-Writes :  182615.14
126     2:1 Reads-Writes :  178745.67
127     1:1 Reads-Writes :  149485.27
128     Stream-triad like:  180057.87
129
130
131 Memory Latency
132 ~~~~~~~~~~~~~~
133
134 ::
135
136     $ sudo /home/testuser/mlc --latency_matrix
137     Intel(R) Memory Latency Checker - v3.5
138     Command line parameters: --latency_matrix
139
140     Using buffer size of 2000.000MB
141     Measuring idle latencies (in ns)...
142                  Numa node
143     Numa node    0       1
144         0      81.4    131.1
145         1     131.1     81.3
146
147 ::
148
149     $ sudo /home/testuser/mlc --idle_latency
150     Intel(R) Memory Latency Checker - v3.5
151     Command line parameters: --idle_latency
152
153     Using buffer size of 2000.000MB
154     Each iteration took 202.0 core clocks ( 80.8    ns)
155
156 ::
157
158     $ sudo /home/testuser/mlc --loaded_latency
159     Intel(R) Memory Latency Checker - v3.5
160     Command line parameters: --loaded_latency
161
162     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
163
164     Measuring Loaded Latencies for the system
165     Using all the threads from each core if Hyper-threading is enabled
166     Using Read-only traffic type
167     Inject  Latency Bandwidth
168     Delay   (ns)    MB/sec
169     ==========================
170      00000  282.66   215712.8
171      00002  282.14   215757.4
172      00008  280.21   215868.1
173      00015  279.20   216313.2
174      00050  275.25   216643.0
175      00100  227.05   215075.0
176      00200  121.92   160242.9
177      00300  101.21   111587.4
178      00400   95.48    85019.7
179      00500   94.46    68717.3
180      00700   92.27    49742.2
181      01000   91.03    35264.8
182      01300   90.11    27396.3
183      01700   89.34    21178.7
184      02500   90.15    14672.8
185      03500   89.00    10715.7
186      05000   82.00     7788.2
187      09000   81.46     4684.0
188      20000   81.40     2541.9
189
190
191 L1/L2/LLC Latency
192 ~~~~~~~~~~~~~~~~~
193
194 ::
195
196     $ sudo /home/testuser/mlc --c2c_latency
197     Intel(R) Memory Latency Checker - v3.5
198     Command line parameters: --c2c_latency
199
200     Measuring cache-to-cache transfer latency (in ns)...
201     Local Socket L2->L2 HIT  latency    53.7
202     Local Socket L2->L2 HITM latency    53.7
203     Remote Socket L2->L2 HITM latency (data address homed in writer socket)
204                          Reader Numa Node
205     Writer Numa Node        0       1
206                 0           -   113.9
207                 1       113.9       -
208     Remote Socket L2->L2 HITM latency (data address homed in reader socket)
209                          Reader Numa Node
210     Writer Numa Node        0       1
211                 0           -   177.9
212                 1       177.6       -
213
214 .. include:: ../introduction/test_environment_sut_meltspec_skx.rst

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.