Ansible: Cascadelake include
[csit.git] / docs / report / introduction / test_environment_sut_calib_clx.rst
1 Calibration Data - Cascadelake
2 ------------------------------
3
4 Following sections include sample calibration data measured on
5 s32-t27-sut1 server running in one of the Intel Xeon Skylake testbeds as
6 specified in `FD.io CSIT testbeds - Xeon Cascadelake`_.
7
8 Calibration data obtained from all other servers in Cascadelake testbeds
9 shows the same or similar values.
10
11
12 Linux cmdline
13 ~~~~~~~~~~~~~
14
15 ::
16
17     $ cat /proc/cmdline
18     BOOT_IMAGE=/boot/vmlinuz-4.15.0-60-generic root=UUID=1d03969e-a2a0-41b2-a97e-1cc171b07e88 ro isolcpus=1-23,25-47,49-71,73-95 nohz_full=1-23,25-47,49-71,73-95 rcu_nocbs=1-23,25-47,49-71,73-95 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0 console=ttyS0,115200n8
19
20 Linux uname
21 ~~~~~~~~~~~
22
23 ::
24
25     $ uname -a
26     Linux s32-t27-sut1 4.15.0-60-generic #67-Ubuntu SMP Thu Aug 22 16:55:30 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
27
28
29 System-level Core Jitter
30 ~~~~~~~~~~~~~~~~~~~~~~~~
31
32 ::
33
34     $ sudo taskset -c 3 /home/testuser/pma_tools/jitter/jitter -i 30
35     Linux Jitter testing program version 1.9
36     Iterations=30
37     The pragram will execute a dummy function 80000 times
38     Display is updated every 20000 displayUpdate intervals
39     Thread affinity will be set to core_id:7
40     Timings are in CPU Core cycles
41     Inst_Min:    Minimum Excution time during the display update interval(default is ~1 second)
42     Inst_Max:    Maximum Excution time during the display update interval(default is ~1 second)
43     Inst_jitter: Jitter in the Excution time during rhe display update interval. This is the value of interest
44     last_Exec:   The Excution time of last iteration just before the display update
45     Abs_Min:     Absolute Minimum Excution time since the program started or statistics were reset
46     Abs_Max:     Absolute Maximum Excution time since the program started or statistics were reset
47     tmp:         Cumulative value calcualted by the dummy function
48     Interval:    Time interval between the display updates in Core Cycles
49     Sample No:   Sample number
50
51     Inst_Min,Inst_Max,Inst_jitter,last_Exec,Abs_min,Abs_max,tmp,Interval,Sample No
52     160022,167590,7568,160026,160022,167590,2057568256,3203711852,1
53     160022,170628,10606,160024,160022,170628,4079222784,3204010824,2
54     160022,169824,9802,160024,160022,170628,1805910016,3203812064,3
55     160022,168832,8810,160030,160022,170628,3827564544,3203792594,4
56     160022,168248,8226,160026,160022,170628,1554251776,3203765920,5
57     160022,167834,7812,160028,160022,170628,3575906304,3203761114,6
58     160022,167442,7420,160024,160022,170628,1302593536,3203769250,7
59     160022,169120,9098,160028,160022,170628,3324248064,3203853340,8
60     160022,170710,10688,160024,160022,170710,1050935296,3203985878,9
61     160022,167952,7930,160024,160022,170710,3072589824,3203733756,10
62     160022,168314,8292,160030,160022,170710,799277056,3203741152,11
63     160022,169672,9650,160024,160022,170710,2820931584,3203739910,12
64     160022,168684,8662,160024,160022,170710,547618816,3203727336,13
65     160022,168246,8224,160024,160022,170710,2569273344,3203739052,14
66     160022,168134,8112,160030,160022,170710,295960576,3203735874,15
67     160022,170230,10208,160024,160022,170710,2317615104,3203996356,16
68     160022,167190,7168,160024,160022,170710,44302336,3203713628,17
69     160022,167304,7282,160024,160022,170710,2065956864,3203717954,18
70     160022,167500,7478,160024,160022,170710,4087611392,3203706674,19
71     160022,167302,7280,160024,160022,170710,1814298624,3203726452,20
72     160022,167266,7244,160024,160022,170710,3835953152,3203702804,21
73     160022,167820,7798,160022,160022,170710,1562640384,3203719138,22
74     160022,168100,8078,160024,160022,170710,3584294912,3203716636,23
75     160022,170408,10386,160024,160022,170710,1310982144,3203946958,24
76     160022,167276,7254,160024,160022,170710,3332636672,3203706236,25
77     160022,167052,7030,160024,160022,170710,1059323904,3203696444,26
78     160022,170322,10300,160024,160022,170710,3080978432,3203747514,27
79     160022,167332,7310,160024,160022,170710,807665664,3203716210,28
80     160022,167426,7404,160026,160022,170710,2829320192,3203700630,29
81     160022,168840,8818,160024,160022,170710,556007424,3203727658,30
82
83
84 Memory Bandwidth
85 ~~~~~~~~~~~~~~~~
86
87 ::
88
89     $ sudo /home/testuser/mlc --bandwidth_matrix
90     Intel(R) Memory Latency Checker - v3.7
91     Command line parameters: --bandwidth_matrix
92
93     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
94     Measuring Memory Bandwidths between nodes within system
95     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
96     Using all the threads from each core if Hyper-threading is enabled
97     Using Read-only traffic type
98                     Numa node
99     Numa node            0       1
100            0        122097.7     51327.9
101            1        51309.2      122005.5
102
103 ::
104
105     $ sudo /home/testuser/mlc --peak_injection_bandwidth
106     Intel(R) Memory Latency Checker - v3.7
107     Command line parameters: --peak_injection_bandwidth
108
109     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
110
111     Measuring Peak Injection Memory Bandwidths for the system
112     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
113     Using all the threads from each core if Hyper-threading is enabled
114     Using traffic with the following read-write ratios
115     ALL Reads        :      243159.4
116     3:1 Reads-Writes :      219132.5
117     2:1 Reads-Writes :      216603.1
118     1:1 Reads-Writes :      203713.0
119     Stream-triad like:      193790.8
120
121 ::
122
123     $ sudo /home/testuser/mlc --max_bandwidth
124     Intel(R) Memory Latency Checker - v3.7
125     Command line parameters: --max_bandwidth
126
127     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
128
129     Measuring Maximum Memory Bandwidths for the system
130     Will take several minutes to complete as multiple injection rates will be tried to get the best bandwidth
131     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
132     Using all the threads from each core if Hyper-threading is enabled
133     Using traffic with the following read-write ratios
134     ALL Reads        :      244114.27
135     3:1 Reads-Writes :      219441.97
136     2:1 Reads-Writes :      216603.72
137     1:1 Reads-Writes :      203679.09
138     Stream-triad like:      214902.80
139
140
141 Memory Latency
142 ~~~~~~~~~~~~~~
143
144 ::
145
146     $ sudo /home/testuser/mlc --latency_matrix
147     Intel(R) Memory Latency Checker - v3.7
148     Command line parameters: --latency_matrix
149
150     Using buffer size of 2000.000MiB
151     Measuring idle latencies (in ns)...
152                     Numa node
153     Numa node            0       1
154            0          81.2   130.2
155            1         130.2    81.1
156
157 ::
158
159     $ sudo /home/testuser/mlc --idle_latency
160     Intel(R) Memory Latency Checker - v3.7
161     Command line parameters: --idle_latency
162
163     Using buffer size of 2000.000MiB
164     Each iteration took 186.1 core clocks ( 80.9    ns)
165
166 ::
167
168     $ sudo /home/testuser/mlc --loaded_latency
169     Intel(R) Memory Latency Checker - v3.7
170     Command line parameters: --loaded_latency
171
172     Using buffer size of 100.000MiB/thread for reads and an additional 100.000MiB/thread for writes
173
174     Measuring Loaded Latencies for the system
175     Using all the threads from each core if Hyper-threading is enabled
176     Using Read-only traffic type
177     Inject  Latency Bandwidth
178     Delay   (ns)    MB/sec
179     ==========================
180      00000  233.86   243421.9
181      00002  230.61   243544.1
182      00008  232.56   243394.5
183      00015  229.52   244076.6
184      00050  225.82   244290.6
185      00100  161.65   236744.8
186      00200  100.63   133844.0
187      00300   96.84    90548.2
188      00400   95.71    68504.3
189      00500   95.68    55139.0
190      00700   88.77    39798.4
191      01000   84.74    28200.1
192      01300   83.08    21915.5
193      01700   82.27    16969.3
194      02500   81.66    11810.6
195      03500   81.98     8662.9
196      05000   81.48     6306.8
197      09000   81.17     3857.8
198      20000   80.19     2179.9
199
200
201 L1/L2/LLC Latency
202 ~~~~~~~~~~~~~~~~~
203
204 ::
205
206     $ sudo /home/testuser/mlc --c2c_latency
207     Intel(R) Memory Latency Checker - v3.7
208     Command line parameters: --c2c_latency
209
210     Measuring cache-to-cache transfer latency (in ns)...
211     Local Socket L2->L2 HIT  latency        55.5
212     Local Socket L2->L2 HITM latency        55.6
213     Remote Socket L2->L2 HITM latency (data address homed in writer socket)
214                             Reader Numa Node
215     Writer Numa Node     0       1
216                 0        -   115.6
217                 1    115.6       -
218     Remote Socket L2->L2 HITM latency (data address homed in reader socket)
219                             Reader Numa Node
220     Writer Numa Node     0       1
221                 0        -   178.2
222                 1    178.4       -
223
224 .. include:: ../introduction/test_environment_sut_meltspec_clx.rst

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.