1dedcd827145cd8c5a770e1670a85afbdb1039cf
[csit.git] / docs / report / introduction / test_environment_sut_calib_hsw.rst
1 Calibration Data - Haswell
2 --------------------------
3
4 Following sections include sample calibration data measured on t1-sut1
5 server running in one of the Intel Xeon Haswell testbeds as specified in
6 `FD.io CSIT Testbeds - Xeon Haswell`_.
7
8 Calibration data obtained from all other servers in Haswell testbeds
9 shows the same or similar values.
10
11 Linux cmdline
12 ~~~~~~~~~~~~~
13
14 ::
15
16     $ cat /proc/cmdline
17     BOOT_IMAGE=/vmlinuz-4.15.0-36-generic root=UUID=5d2ecc97-245b-4e94-b0ae-c3548567de19 ro isolcpus=1-17,19-35 nohz_full=1-17,19-35 rcu_nocbs=1-17,19-35 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0 console=ttyS0,115200n8
18
19
20 Linux uname
21 ~~~~~~~~~~~
22
23 ::
24
25     $ uname -a
26     Linux t1-tg1 4.15.0-36-generic #39-Ubuntu SMP Mon Sep 24 16:19:09 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
27
28
29 System-level Core Jitter
30 ~~~~~~~~~~~~~~~~~~~~~~~~
31
32 ::
33
34     $ sudo taskset -c 3 /home/testuser/pma_tools/jitter/jitter -i 30
35     Linux Jitter testing program version 1.8
36     Iterations=30
37     The pragram will execute a dummy function 80000 times
38     Display is updated every 20000 displayUpdate intervals
39     Timings are in CPU Core cycles
40     Inst_Min:    Minimum Excution time during the display update interval(default is ~1 second)
41     Inst_Max:    Maximum Excution time during the display update interval(default is ~1 second)
42     Inst_jitter: Jitter in the Excution time during rhe display update interval. This is the value of interest
43     last_Exec:   The Excution time of last iteration just before the display update
44     Abs_Min:     Absolute Minimum Excution time since the program started or statistics were reset
45     Abs_Max:     Absolute Maximum Excution time since the program started or statistics were reset
46     tmp:         Cumulative value calcualted by the dummy function
47     Interval:    Time interval between the display updates in Core Cycles
48     Sample No:   Sample number
49
50        Inst_Min   Inst_Max   Inst_jitter last_Exec  Abs_min    Abs_max      tmp       Interval     Sample No
51         160024     172636      12612     160028     160024     172636    1573060608 3205463144          1
52         160024     188236      28212     160028     160024     188236     958595072 3205500844          2
53         160024     185676      25652     160028     160024     188236     344129536 3205485976          3
54         160024     172608      12584     160024     160024     188236    4024631296 3205472740          4
55         160024     179260      19236     160028     160024     188236    3410165760 3205502164          5
56         160024     172432      12408     160024     160024     188236    2795700224 3205452036          6
57         160024     178820      18796     160024     160024     188236    2181234688 3205455408          7
58         160024     172512      12488     160028     160024     188236    1566769152 3205461528          8
59         160024     172636      12612     160028     160024     188236     952303616 3205478820          9
60         160024     173676      13652     160028     160024     188236     337838080 3205470412         10
61         160024     178776      18752     160028     160024     188236    4018339840 3205481472         11
62         160024     172788      12764     160028     160024     188236    3403874304 3205492336         12
63         160024     174616      14592     160028     160024     188236    2789408768 3205474904         13
64         160024     174440      14416     160028     160024     188236    2174943232 3205479448         14
65         160024     178748      18724     160024     160024     188236    1560477696 3205482668         15
66         160024     172588      12564     169404     160024     188236     946012160 3205510496         16
67         160024     172636      12612     160024     160024     188236     331546624 3205472204         17
68         160024     172480      12456     160024     160024     188236    4012048384 3205455864         18
69         160024     172740      12716     160028     160024     188236    3397582848 3205464932         19
70         160024     179200      19176     160028     160024     188236    2783117312 3205476012         20
71         160024     172480      12456     160028     160024     188236    2168651776 3205465632         21
72         160024     172728      12704     160024     160024     188236    1554186240 3205497204         22
73         160024     172620      12596     160028     160024     188236     939720704 3205466972         23
74         160024     172640      12616     160028     160024     188236     325255168 3205471216         24
75         160024     172484      12460     160028     160024     188236    4005756928 3205467388         25
76         160024     172636      12612     160028     160024     188236    3391291392 3205482748         26
77         160024     179056      19032     160024     160024     188236    2776825856 3205467152         27
78         160024     172672      12648     160024     160024     188236    2162360320 3205483268         28
79         160024     176932      16908     160024     160024     188236    1547894784 3205488536         29
80         160024     172452      12428     160028     160024     188236     933429248 3205440636         30
81
82
83 Memory Bandwidth
84 ~~~~~~~~~~~~~~~~
85
86 ::
87
88     $ sudo /home/testuser/mlc --bandwidth_matrix
89     Intel(R) Memory Latency Checker - v3.5
90     Command line parameters: --bandwidth_matrix
91
92     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
93     Measuring Memory Bandwidths between nodes within system
94     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
95     Using all the threads from each core if Hyper-threading is enabled
96     Using Read-only traffic type
97                      Numa node
98     Numa node        0       1
99         0        57935.5   30265.2
100         1        30284.6   58409.9
101
102 ::
103
104     $ sudo /home/testuser/mlc --peak_injection_bandwidth
105     Intel(R) Memory Latency Checker - v3.5
106     Command line parameters: --peak_injection_bandwidth
107
108     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
109
110     Measuring Peak Injection Memory Bandwidths for the system
111     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
112     Using all the threads from each core if Hyper-threading is enabled
113     Using traffic with the following read-write ratios
114     ALL Reads        :  115762.2
115     3:1 Reads-Writes :  106242.2
116     2:1 Reads-Writes :  103031.8
117     1:1 Reads-Writes :  87943.7
118     Stream-triad like:  100048.4
119
120 ::
121
122     $ sudo /home/testuser/mlc --max_bandwidth
123     Intel(R) Memory Latency Checker - v3.5
124     Command line parameters: --max_bandwidth
125
126     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
127
128     Measuring Maximum Memory Bandwidths for the system
129     Will take several minutes to complete as multiple injection rates will be tried to get the best bandwidth
130     Bandwidths are in MB/sec (1 MB/sec = 1,000,000 Bytes/sec)
131     Using all the threads from each core if Hyper-threading is enabled
132     Using traffic with the following read-write ratios
133     ALL Reads        :  115782.41
134     3:1 Reads-Writes :  105965.78
135     2:1 Reads-Writes :  103162.38
136     1:1 Reads-Writes :  88255.82
137     Stream-triad like:  105608.10
138
139
140 Memory Latency
141 ~~~~~~~~~~~~~~
142
143 ::
144
145     $ sudo /home/testuser/mlc --latency_matrix
146     Intel(R) Memory Latency Checker - v3.5
147     Command line parameters: --latency_matrix
148
149     Using buffer size of 200.000MB
150     Measuring idle latencies (in ns)...
151                      Numa node
152     Numa node        0       1
153         0           101.0   132.0
154         1           141.2    98.8
155
156 ::
157
158     $ sudo /home/testuser/mlc --idle_latency
159     Intel(R) Memory Latency Checker - v3.5
160     Command line parameters: --idle_latency
161
162     Using buffer size of 200.000MB
163     Each iteration took 227.2 core clocks ( 99.0    ns)
164
165 ::
166
167     $ sudo /home/testuser/mlc --loaded_latency
168     Intel(R) Memory Latency Checker - v3.5
169     Command line parameters: --loaded_latency
170
171     Using buffer size of 100.000MB/thread for reads and an additional 100.000MB/thread for writes
172
173     Measuring Loaded Latencies for the system
174     Using all the threads from each core if Hyper-threading is enabled
175     Using Read-only traffic type
176     Inject  Latency Bandwidth
177     Delay   (ns)    MB/sec
178     ==========================
179      00000  294.08   115841.6
180      00002  294.27   115851.5
181      00008  293.67   115821.8
182      00015  278.92   115587.5
183      00050  246.80   113991.2
184      00100  206.86   104508.1
185      00200  123.72    72873.6
186      00300  113.35    52641.1
187      00400  108.89    41078.9
188      00500  108.11    33699.1
189      00700  106.19    24878.0
190      01000  104.75    17948.1
191      01300  103.72    14089.0
192      01700  102.95    11013.6
193      02500  102.25     7756.3
194      03500  101.81     5749.3
195      05000  101.46     4230.4
196      09000  101.05     2641.4
197      20000  100.77     1542.5
198
199
200 L1/L2/LLC Latency
201 ~~~~~~~~~~~~~~~~~
202
203 ::
204
205     $ sudo /home/testuser/mlc --c2c_latency
206     Intel(R) Memory Latency Checker - v3.5
207     Command line parameters: --c2c_latency
208
209     Measuring cache-to-cache transfer latency (in ns)...
210     Local Socket L2->L2 HIT  latency    42.1
211     Local Socket L2->L2 HITM latency    47.0
212     Remote Socket L2->L2 HITM latency (data address homed in writer socket)
213                       Reader Numa Node
214     Writer Numa Node     0       1
215                 0        -   108.0
216                 1    106.9       -
217     Remote Socket L2->L2 HITM latency (data address homed in reader socket)
218                       Reader Numa Node
219     Writer Numa Node     0       1
220                 0        -   107.7
221                 1    106.6       -
222
223 .. include:: ../introduction/test_environment_sut_meltspec_hsw.rst

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.