CSIT-1208: Add new data to 1807 report
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
37     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
38     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
39     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
40     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
41     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
42     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
43     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
44     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
45
46     # Detailed test configurations
47     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
48     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
49     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
50     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
51     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
52     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
53     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
54     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
56
57     # Detailed tests operational data
58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
59     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
60     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
61     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
62
63     # .css patch file to fix tables generated by Sphinx
64     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
65     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
66
67   urls:
68     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
69     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
70     URL[NEXUS]: "https://docs.fd.io/csit"
71     DIR[NEXUS]: "report/_static/archive"
72
73   make-dirs:
74   # List the directories which are created while preparing the environment.
75   # All directories MUST be defined in "paths" section.
76   - "DIR[WORKING,DATA]"
77   - "DIR[STATIC,VPP]"
78   - "DIR[STATIC,DPDK]"
79   - "DIR[STATIC,ARCH]"
80   - "DIR[BUILD,LATEX]"
81   - "DIR[WORKING,SRC]"
82   - "DIR[WORKING,SRC,STATIC]"
83
84   remove-dirs:
85   # List the directories which are deleted while cleaning the environment.
86   # All directories MUST be defined in "paths" section.
87   #- "DIR[BUILD,HTML]"
88   - "DIR[WORKING,DATA]"
89
90   build-dirs:
91   # List the directories where the results (build) is stored.
92   # All directories MUST be defined in "paths" section.
93   - "DIR[BUILD,HTML]"
94   - "DIR[BUILD,LATEX]"
95
96 -
97   type: "configuration"
98
99   data-sets:
100
101     # VPP Performance
102     vpp-performance-changes:
103       csit-vpp-perf-1801-all:
104       - 124  # sel
105       - 127  # sel
106       - 128  # sel
107       - 141  # sel
108       - 142  # sel
109       - 143  # sel
110       - 145  # sel
111       - 146  # sel
112       - 162  # sel
113       - 163  # sel
114       - 167  # sel
115       - 172  # sel acl only
116       csit-vpp-perf-1804-all:
117       - 21  # sel
118       - 22  # sel
119       - 23  # sel
120       - 24  # sel
121       - 27  # sel
122       - 28  # sel
123       - 29  # sel
124       - 30  # sel
125       - 31  # sel
126       - 35  # sel
127       # TODO: Add Data sources
128       csit-vpp-perf-verify-1807-3n-hsw:
129       - 15  # NDRPDR sel
130       - 16  # NDRPDR sel
131       - 19  # NDRPDR sel
132       - 18  # NDRPDR sel
133       - 20  # NDRPDR sel
134
135     vpp-compare-testbeds:
136       # TODO: Add Data sources
137       csit-vpp-perf-verify-1807-3n-hsw:
138       - 15  # NDRPDR sel
139       - 16  # NDRPDR sel
140       - 19  # NDRPDR sel
141       - 18  # NDRPDR sel
142       - 20  # NDRPDR sel
143       csit-vpp-perf-verify-1807-3n-skx:
144       - 33  # NDRPDR sel
145       - 35  # NDRPDR sel
146       - 37  # NDRPDR sel
147       - 38  # NDRPDR sel
148       - 39  # NDRPDR sel
149       - 43  # NDRPDR sel
150       - 44  # NDRPDR sel
151       - 49  # NDRPDR sel
152       - 50  # NDRPDR sel
153       - 56  # NDRPDR sel
154
155     vpp-compare-testbeds-mrr:
156       # TODO: Add Data sources
157       csit-vpp-perf-verify-1807-3n-hsw:
158       - 9   # MRR sel
159       - 21  # MRR sel
160       - 31  # MRR sel
161       csit-vpp-perf-verify-1807-3n-skx:
162       - 28  # MRR sel
163       - 32  # MRR sel
164       - 36  # MRR sel
165       - 42  # MRR sel
166       - 47  # MRR sel
167       - 48  # MRR sel
168       - 51  # MRR sel
169       - 52  # MRR sel
170       - 53  # MRR sel
171       - 54  # MRR sel
172
173     vpp-performance-changes-mrr:
174       csit-vpp-perf-check-1801:
175       - 3
176       - 4
177       - 5
178       - 6
179       - 7
180       - 8
181       - 9
182       - 11
183       - 12
184       - 13
185       csit-vpp-perf-check-1804:
186       - 6   # mrr - sel
187       - 13  # mrr - sel
188       - 14  # mrr - sel
189       - 15  # mrr - sel
190       - 16  # mrr - sel
191       - 17  # mrr - sel
192       - 19  # mrr - sel
193       - 20  # mrr - sel
194       - 21  # mrr - sel
195       - 22  # mrr - sel
196       # TODO: Add Data sources
197       csit-vpp-perf-verify-1807-3n-hsw:
198       - 9   # MRR sel
199       - 21  # MRR sel
200       - 31  # MRR sel
201
202     vpp-perf-results-3n-hsw:
203       # TODO: Add Data sources
204       csit-vpp-perf-verify-1807-3n-hsw:
205       - 11  # NDRPDR full 1
206       - 22  # NDRPDR full 2
207
208     vpp-perf-results-3n-skx:
209       csit-vpp-perf-verify-1807-3n-skx:
210       - 40  # NDRPDR full 1
211       - 41  # NDRPDR full 2
212
213     vpp-perf-results-2n-skx:
214       csit-vpp-perf-verify-1807-2n-skx:
215       - 32  # NDRPDR full
216
217     vpp-mrr-results-3n-hsw:
218       csit-vpp-perf-verify-1807-3n-hsw:
219       - 8   # MRR full
220
221     vpp-mrr-results-3n-skx:
222       # TODO: Replace with better results
223       csit-vpp-perf-verify-1807-3n-skx:
224       - 31  # MRR full
225
226     vpp-mrr-results-2n-skx:
227       csit-vpp-perf-verify-1807-2n-skx:
228       - 27  # MRR full
229
230     plot-throughput-speedup-analysis-3n-hsw:
231       # TODO: Add Data sources
232       csit-vpp-perf-verify-1807-3n-hsw:
233       - 15  # NDRPDR sel
234       - 16  # NDRPDR sel
235       - 19  # NDRPDR sel
236       - 18  # NDRPDR sel
237       - 20  # NDRPDR sel
238
239     plot-throughput-speedup-analysis-3n-skx:
240       csit-vpp-perf-verify-1807-3n-skx:
241       - 33  # NDRPDR sel
242       - 35  # NDRPDR sel
243       - 37  # NDRPDR sel
244       - 38  # NDRPDR sel
245       - 39  # NDRPDR sel
246       - 43  # NDRPDR sel
247       - 44  # NDRPDR sel
248       - 49  # NDRPDR sel
249       - 50  # NDRPDR sel
250       - 56  # NDRPDR sel
251
252     plot-throughput-speedup-analysis-2n-skx:
253       csit-vpp-perf-verify-1807-2n-skx:
254       - 26  # NDRPDR sel
255       - 28  # NDRPDR sel
256       - 29  # NDRPDR sel
257       - 30  # NDRPDR sel
258       - 34  # NDRPDR sel
259       - 35  # NDRPDR sel
260       - 36  # NDRPDR sel
261       - 39  # NDRPDR sel
262       - 40  # NDRPDR sel
263       - 42  # NDRPDR sel
264
265     plot-vpp-throughput-latency-3n-hsw:
266       # TODO: Add Data sources
267       csit-vpp-perf-verify-1807-3n-hsw:
268       - 15  # NDRPDR sel
269       - 16  # NDRPDR sel
270       - 19  # NDRPDR sel
271       - 18  # NDRPDR sel
272       - 20  # NDRPDR sel
273
274     plot-vpp-throughput-latency-3n-skx:
275       csit-vpp-perf-verify-1807-3n-skx:
276       - 33  # NDRPDR sel
277       - 35  # NDRPDR sel
278       - 37  # NDRPDR sel
279       - 38  # NDRPDR sel
280       - 39  # NDRPDR sel
281       - 43  # NDRPDR sel
282       - 44  # NDRPDR sel
283       - 49  # NDRPDR sel
284       - 50  # NDRPDR sel
285       - 56  # NDRPDR sel
286
287     plot-vpp-throughput-latency-2n-skx:
288       csit-vpp-perf-verify-1807-2n-skx:
289       - 26  # NDRPDR sel
290       - 28  # NDRPDR sel
291       - 29  # NDRPDR sel
292       - 30  # NDRPDR sel
293       - 34  # NDRPDR sel
294       - 35  # NDRPDR sel
295       - 36  # NDRPDR sel
296       - 39  # NDRPDR sel
297       - 40  # NDRPDR sel
298       - 42  # NDRPDR sel
299
300     plot-vpp-http-server-performance:
301       csit-vpp-perf-verify-1807-3n-hsw:
302       - 24  # WRK
303       - 25  # WRK
304       - 23  # WRK
305       - 26  # WRK
306       - 27  # WRK
307       - 28  # WRK
308       - 29  # WRK
309       - 30  # WRK
310       - 32  # WRK
311       - 35  # WRK
312
313     # VPP Functional
314     vpp-func-results-ubuntu:
315       csit-vpp-functional-1807-ubuntu1604-virl:
316       # TODO: Use the build number
317       - "lastSuccessfulBuild"
318
319     vpp-func-results-centos:
320       csit-vpp-functional-1807-centos7-virl:
321       # TODO: Use the build number
322       - "lastSuccessfulBuild"
323
324     # VPP Ligato
325     ligato-perf-results-3n-hsw:
326       # TODO: Replace with better results
327       csit-ligato-perf-1807-all:
328       - 3   # full ?
329
330     plot-ligato-throughput-speedup-analysis-3n-hsw:
331       # TODO: Add Data sources
332       csit-ligato-perf-1807-all:
333       - 4   # sel
334
335     plot-ligato-throughput-latency-3n-hsw:
336       # TODO: Add Data sources
337       csit-ligato-perf-1807-all:
338       - 4   # sel
339
340     # DPDK Performance
341     dpdk-performance-changes:
342       csit-dpdk-perf-1804-all:
343       - 4
344       - 5
345       - 6
346       - 7
347       - 8
348       - 9
349       - 10
350       - 11
351       - 12
352       - 13
353       csit-dpdk-perf-verify-1807-3n-hsw:
354       - 11
355       - 12  # full
356       - 14
357       - 15
358       - 16
359       - 17
360       - 20
361       - 21
362       - 22
363       - 23
364
365     dpdk-compare-testbeds:
366       csit-dpdk-perf-verify-1807-3n-skx:
367       - 1
368       - 2
369       - 3
370       - 6
371       - 7
372       - 8
373       - 9
374       - 10
375       - 11
376       - 12
377       csit-dpdk-perf-verify-1807-3n-hsw:
378       - 11
379       - 12  # full
380       - 14
381       - 15
382       - 16
383       - 17
384       - 20
385       - 21
386       - 22
387       - 23
388
389     dpdk-perf-results-3n-hsw:
390       csit-dpdk-perf-verify-1807-3n-hsw:
391       - 12
392
393     dpdk-perf-results-3n-skx:
394       csit-dpdk-perf-verify-1807-3n-skx:
395       - 12
396
397     dpdk-perf-results-2n-skx:
398       csit-dpdk-perf-verify-1807-2n-skx:
399       - 10
400
401     plot-dpdk-throughput-latency-3n-hsw:
402       csit-dpdk-perf-verify-1807-3n-hsw:
403       - 11
404       - 12  # full
405       - 14
406       - 15
407       - 16
408       - 17
409       - 20
410       - 21
411       - 22
412       - 23
413
414     plot-dpdk-throughput-latency-3n-skx:
415       csit-dpdk-perf-verify-1807-3n-skx:
416       - 1
417       - 2
418       - 3
419       - 6
420       - 7
421       - 8
422       - 9
423       - 10
424       - 11
425       - 12
426
427     plot-dpdk-throughput-latency-2n-skx:
428       csit-dpdk-perf-verify-1807-2n-skx:
429       - 1
430       - 2
431       - 3
432       - 4
433       - 5
434       - 6
435       - 7
436       - 8
437       - 9
438       - 10
439
440     # HoneyComb Functional
441     hc-func-results:
442       csit-hc2vpp-verify-func-1807-ubuntu1604:
443       # TODO: Use the build number
444       - "lastSuccessfulBuild"
445
446     # NSH SFC Functional
447     nsh-func-results:
448       csit-nsh_sfc-verify-func-1807-ubuntu1604-virl:
449       - 2
450
451   plot-layouts:
452
453     plot-cps:
454       xaxis:
455         autorange: True
456         fixedrange: False
457         gridcolor: "rgb(238, 238, 238)"
458         linecolor: "rgb(238, 238, 238)"
459         linewidth: 1
460         showgrid: True
461         showline: True
462         showticklabels: True
463         tickcolor: "rgb(238, 238, 238)"
464         tickmode: "linear"
465         title: "Indexed Test Cases"
466         zeroline: False
467       yaxis:
468         gridcolor: "rgb(238, 238, 238)"
469         hoverformat: ".4s"
470         linecolor: "rgb(238, 238, 238)"
471         linewidth: 1
472         rangemode: "tozero"
473         showgrid: True
474         showline: True
475         showticklabels: True
476         tickcolor: "rgb(238, 238, 238)"
477         title: "Connections Per Second [cps]"
478         zeroline: False
479       boxmode: "group"
480       boxgroupgap: 0.5
481       autosize: False
482       margin:
483         t: 50
484         b: 20
485         l: 80
486         r: 20
487       showlegend: True
488       legend:
489         orientation: "h"
490       width: 700
491       height: 1000
492
493     plot-rps:
494       xaxis:
495         autorange: True
496         fixedrange: False
497         gridcolor: "rgb(238, 238, 238)"
498         linecolor: "rgb(238, 238, 238)"
499         linewidth: 1
500         showgrid: True
501         showline: True
502         showticklabels: True
503         tickcolor: "rgb(238, 238, 238)"
504         tickmode: "linear"
505         title: "Indexed Test Cases"
506         zeroline: False
507       yaxis:
508         gridcolor: "rgb(238, 238, 238)"
509         hoverformat: ".4s"
510         linecolor: "rgb(238, 238, 238)"
511         linewidth: 1
512         rangemode: "tozero"
513         showgrid: True
514         showline: True
515         showticklabels: True
516         tickcolor: "rgb(238, 238, 238)"
517         title: "Requests Per Second [rps]"
518         zeroline: False
519       boxmode: "group"
520       boxgroupgap: 0.5
521       autosize: False
522       margin:
523         t: 50
524         b: 20
525         l: 80
526         r: 20
527       showlegend: True
528       legend:
529         orientation: "h"
530       width: 700
531       height: 1000
532
533     plot-throughput:
534       xaxis:
535         autorange: True
536         fixedrange: False
537         gridcolor: "rgb(238, 238, 238)"
538         linecolor: "rgb(238, 238, 238)"
539         linewidth: 1
540         showgrid: True
541         showline: True
542         showticklabels: True
543         tickcolor: "rgb(238, 238, 238)"
544         tickmode: "linear"
545         title: "Indexed Test Cases"
546         zeroline: False
547       yaxis:
548         gridcolor: "rgb(238, 238, 238)"
549         hoverformat: ".4s"
550         tickformat: ".3s"
551         linecolor: "rgb(238, 238, 238)"
552         linewidth: 1
553         showgrid: True
554         showline: True
555         showticklabels: True
556         tickcolor: "rgb(238, 238, 238)"
557         title: "Packets Per Second [pps]"
558         zeroline: False
559       boxmode: "group"
560       boxgroupgap: 0.5
561       autosize: False
562       margin:
563         t: 50
564         b: 20
565         l: 80
566         r: 20
567       showlegend: True
568       legend:
569         orientation: "h"
570       width: 700
571       height: 1000
572
573     plot-latency:
574       xaxis:
575         autorange: True
576         fixedrange: False
577         gridcolor: "rgb(238, 238, 238)"
578         linecolor: "rgb(238, 238, 238)"
579         linewidth: 1
580         showgrid: True
581         showline: True
582         showticklabels: True
583         tickcolor: "rgb(238, 238, 238)"
584         tickmode: "linear"
585         title: "Indexed Test Cases"
586         zeroline: False
587       yaxis:
588         gridcolor: "rgb(238, 238, 238)"
589         hoverformat: ""
590         linecolor: "rgb(238, 238, 238)"
591         linewidth: 1
592         showgrid: True
593         showline: True
594         showticklabels: True
595         tickcolor: "rgb(238, 238, 238)"
596         title: "Latency min/avg/max [uSec]"
597         zeroline: False
598       boxmode: "group"
599       boxgroupgap: 0.5
600       autosize: False
601       margin:
602         t: 50
603         b: 20
604         l: 80
605         r: 20
606       showlegend: True
607       legend:
608         orientation: "h"
609       width: 700
610       height: 1000
611
612     plot-throughput-speedup-analysis:
613       xaxis:
614         autorange: True
615         fixedrange: False
616         gridcolor: "rgb(238, 238, 238)"
617         linecolor: "rgb(238, 238, 238)"
618         linewidth: 1
619         showgrid: True
620         showline: True
621         showticklabels: True
622         tickcolor: "rgb(238, 238, 238)"
623         tickmode: "linear"
624         tickangle: 270
625         zeroline: False
626       yaxis:
627         title: "Throughput speedup factor"
628         gridcolor: "rgb(238, 238, 238)"
629         hoverformat: ".4s"
630         linecolor: "rgb(238, 238, 238)"
631         linewidth: 1
632         showgrid: True
633         showline: True
634         showticklabels: True
635         tickcolor: "rgb(238, 238, 238)"
636         zeroline: False
637       legend:
638         orientation: "h"
639         xanchor: "center"
640         yanchor: "top"
641         x: 0.5
642         y: 1
643         bgcolor: "rgba(255, 255, 255, 0)"
644         bordercolor: "rgba(255, 255, 255, 0)"
645       barmode: "group"
646       bargap: 0.15
647       bargroupgap: 0.1
648       autosize: False
649       margin:
650           't': 50
651           'b': 300
652           'l': 50
653           'r': 20
654       showlegend: True
655       width: 700
656       height: 1000
657
658 -
659   type: "static"
660   src-path: "{DIR[RST]}"
661   dst-path: "{DIR[WORKING,SRC]}"
662
663 -
664   type: "input"
665   general:
666     file-name: "robot-plugin.zip"
667     file-format: ".zip"
668     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
669     extract: "robot-plugin/output.xml"
670
671   builds:
672
673     csit-vpp-perf-1801-all:
674     - 124  # sel
675     - 127  # sel
676     - 128  # sel
677     - 141  # sel
678     - 142  # sel
679     - 143  # sel
680     - 145  # sel
681     - 146  # sel
682     - 162  # sel
683     - 163  # sel
684     - 167  # sel
685     - 172  # sel acl only
686     csit-vpp-perf-1804-all:
687     - 21  # sel
688     - 22  # sel
689     - 23  # sel
690     - 24  # sel
691     - 27  # sel
692     - 28  # sel
693     - 29  # sel
694     - 30  # sel
695     - 31  # sel
696     - 35  # sel
697     # TODO: Add Data sources
698     csit-vpp-perf-verify-1807-3n-hsw:
699     - 8   # MRR full
700     - 9   # MRR sel
701     - 21  # MRR sel
702     - 31  # MRR sel
703     - 11  # NDRPDR full 1
704     - 22  # NDRPDR full 2
705     - 15  # NDRPDR sel
706     - 16  # NDRPDR sel
707     - 19  # NDRPDR sel
708     - 18  # NDRPDR sel
709     - 20  # NDRPDR sel
710     - 24  # WRK
711     - 25  # WRK
712     - 23  # WRK
713     - 26  # WRK
714     - 27  # WRK
715     - 28  # WRK
716     - 29  # WRK
717     - 30  # WRK
718     - 32  # WRK
719     - 35  # WRK
720     csit-vpp-perf-verify-1807-3n-skx:
721     - 31  # MRR full
722     - 28  # MRR sel
723     - 32  # MRR sel
724     - 36  # MRR sel
725     - 42  # MRR sel
726     - 47  # MRR sel
727     - 48  # MRR sel
728     - 51  # MRR sel
729     - 52  # MRR sel
730     - 53  # MRR sel
731     - 54  # MRR sel
732     - 40  # NDRPDR full 1
733     - 41  # NDRPDR full 2
734     - 33  # NDRPDR sel
735     - 35  # NDRPDR sel
736     - 37  # NDRPDR sel
737     - 38  # NDRPDR sel
738     - 39  # NDRPDR sel
739     - 43  # NDRPDR sel
740     - 44  # NDRPDR sel
741     - 49  # NDRPDR sel
742     - 50  # NDRPDR sel
743     - 56  # NDRPDR sel
744     csit-vpp-perf-verify-1807-2n-skx:
745     - 27  # MRR full
746     - 31  # MRR sel
747     - 33  # MRR sel
748     - 37  # MRR sel
749     - 38  # MRR sel
750     - 41  # MRR sel
751     - 43  # MRR sel
752     - 44  # MRR sel
753     - 45  # MRR sel
754     - 46  # MRR sel
755     - 47  # MRR sel
756     - 32  # NDRPDR full
757     - 26  # NDRPDR sel
758     - 28  # NDRPDR sel
759     - 29  # NDRPDR sel
760     - 30  # NDRPDR sel
761     - 34  # NDRPDR sel
762     - 35  # NDRPDR sel
763     - 36  # NDRPDR sel
764     - 39  # NDRPDR sel
765     - 40  # NDRPDR sel
766     - 42  # NDRPDR sel
767     csit-vpp-perf-check-1801:
768     - 3   # mrr
769     - 4   # mrr
770     - 5   # mrr
771     - 6   # mrr
772     - 7   # mrr
773     - 8   # mrr
774     - 9   # mrr
775     - 11  # mrr
776     - 12  # mrr
777     - 13  # mrr
778     csit-vpp-perf-check-1804:
779     - 5   # mrr - full
780     - 6   # mrr - sel
781     - 13  # mrr - sel
782     - 14  # mrr - sel
783     - 15  # mrr - sel
784     - 16  # mrr - sel
785     - 17  # mrr - sel
786     - 19  # mrr - sel
787     - 20  # mrr - sel
788     - 21  # mrr - sel
789     - 22  # mrr - sel
790     csit-ligato-perf-1804-all:
791     - 4   # full
792     - 5   # sel
793     - 6   # sel
794     - 7   # sel
795     - 8   # sel
796     - 9   # sel
797     - 10  # sel
798     - 11  # sel
799     - 12  # sel
800     - 13  # sel
801     - 14  # sel
802     # TODO: Add Data sources
803     csit-ligato-perf-1807-all:
804     - 3   # full ?
805     - 4   # sel
806     csit-dpdk-perf-1804-all:
807     - 4
808     - 5
809     - 6
810     - 7
811     - 8
812     - 9
813     - 10
814     - 11
815     - 12
816     - 13
817     csit-dpdk-perf-verify-1807-3n-hsw:
818     - 11
819     - 12  # full
820     - 14
821     - 15
822     - 16
823     - 17
824     - 20
825     - 21
826     - 22
827     - 23
828     csit-dpdk-perf-verify-1807-3n-skx:
829     - 1
830     - 2
831     - 3
832     - 6
833     - 7
834     - 8
835     - 9
836     - 10
837     - 11
838     - 12
839     csit-dpdk-perf-verify-1807-2n-skx:
840     - 1
841     - 2
842     - 3
843     - 4
844     - 5
845     - 6
846     - 7
847     - 8
848     - 9
849     - 10
850     csit-vpp-functional-1807-ubuntu1604-virl:
851     # TODO: Use the build number
852     - "lastSuccessfulBuild"
853     csit-vpp-functional-1807-centos7-virl:
854     # TODO: Use the build number
855     - "lastSuccessfulBuild"
856     csit-nsh_sfc-verify-func-1807-ubuntu1604-virl:
857     - 2
858     csit-hc2vpp-verify-func-1807-ubuntu1604:
859     # TODO: Use the build number
860     - "lastSuccessfulBuild"
861
862 -
863   type: "output"
864   output: "report"
865   format:
866     html:
867     - full
868     pdf:
869     - minimal
870
871 ################################################################################
872 ###                               T A B L E S                                ###
873 ################################################################################
874
875 ################################################################################
876 # VPP
877 -
878   type: "table"
879   title: "VPP Performance Changes 1t1c pdr"
880   algorithm: "table_performance_comparison"
881   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-pdr"
882   history:
883     -
884       title: "rls1801"
885       data:
886         csit-vpp-perf-1801-all:
887         - 124  # sel
888         - 127  # sel
889         - 128  # sel
890         - 141  # sel
891         - 142  # sel
892         - 143  # sel
893         - 145  # sel
894         - 146  # sel
895         - 162  # sel
896         - 163  # sel
897         - 167  # sel
898         - 172  # sel acl only
899   reference:
900     title: "rls1804"
901     data:
902       csit-vpp-perf-1804-all:
903       - 21  # sel
904       - 22  # sel
905       - 23  # sel
906       - 24  # sel
907       - 27  # sel
908       - 28  # sel
909       - 29  # sel
910       - 30  # sel
911       - 31  # sel
912       - 35  # sel
913   compare:
914     title: "rls1807"
915     data:
916       # TODO: Add Data sources
917       csit-vpp-perf-verify-1807-3n-hsw:
918       - 15  # NDRPDR sel
919       - 16  # NDRPDR sel
920       - 19  # NDRPDR sel
921       - 18  # NDRPDR sel
922       - 20  # NDRPDR sel
923   data: "vpp-performance-changes"
924   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
925   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
926   parameters:
927   - "name"
928   - "parent"
929   - "throughput"
930
931 -
932   type: "table"
933   title: "VPP Performance Changes 2t2c pdr"
934   algorithm: "table_performance_comparison"
935   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-pdr"
936   history:
937     -
938       title: "rls1801"
939       data:
940         csit-vpp-perf-1801-all:
941         - 124  # sel
942         - 127  # sel
943         - 128  # sel
944         - 141  # sel
945         - 142  # sel
946         - 143  # sel
947         - 145  # sel
948         - 146  # sel
949         - 162  # sel
950         - 163  # sel
951         - 167  # sel
952         - 172  # sel acl only
953   reference:
954     title: "rls1804"
955     data:
956       csit-vpp-perf-1804-all:
957       - 21  # sel
958       - 22  # sel
959       - 23  # sel
960       - 24  # sel
961       - 27  # sel
962       - 28  # sel
963       - 29  # sel
964       - 30  # sel
965       - 31  # sel
966       - 35  # sel
967   compare:
968     title: "rls1807"
969     data:
970       # TODO: Add Data sources
971       csit-vpp-perf-verify-1807-3n-hsw:
972       - 15  # NDRPDR sel
973       - 16  # NDRPDR sel
974       - 19  # NDRPDR sel
975       - 18  # NDRPDR sel
976       - 20  # NDRPDR sel
977   data: "vpp-performance-changes"
978   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
979   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
980   parameters:
981   - "name"
982   - "parent"
983   - "throughput"
984
985 -
986   type: "table"
987   title: "VPP Performance Changes 1t1c ndr"
988   algorithm: "table_performance_comparison"
989   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-ndr"
990   history:
991     -
992       title: "rls1801"
993       data:
994         csit-vpp-perf-1801-all:
995         - 124  # sel
996         - 127  # sel
997         - 128  # sel
998         - 141  # sel
999         - 142  # sel
1000         - 143  # sel
1001         - 145  # sel
1002         - 146  # sel
1003         - 162  # sel
1004         - 163  # sel
1005         - 167  # sel
1006         - 172  # sel acl only
1007   reference:
1008     title: "rls1804"
1009     data:
1010       csit-vpp-perf-1804-all:
1011       - 21  # sel
1012       - 22  # sel
1013       - 23  # sel
1014       - 24  # sel
1015       - 27  # sel
1016       - 28  # sel
1017       - 29  # sel
1018       - 30  # sel
1019       - 31  # sel
1020       - 35  # sel
1021   compare:
1022     title: "rls1807"
1023     data:
1024       # TODO: Add Data sources
1025       csit-vpp-perf-verify-1807-3n-hsw:
1026       - 15  # NDRPDR sel
1027       - 16  # NDRPDR sel
1028       - 19  # NDRPDR sel
1029       - 18  # NDRPDR sel
1030       - 20  # NDRPDR sel
1031   data: "vpp-performance-changes"
1032   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1033   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1034   parameters:
1035   - "name"
1036   - "parent"
1037   - "throughput"
1038
1039 -
1040   type: "table"
1041   title: "VPP Performance Changes 2t2c ndr"
1042   algorithm: "table_performance_comparison"
1043   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-ndr"
1044   history:
1045     -
1046       title: "rls1801"
1047       data:
1048         csit-vpp-perf-1801-all:
1049         - 124  # sel
1050         - 127  # sel
1051         - 128  # sel
1052         - 141  # sel
1053         - 142  # sel
1054         - 143  # sel
1055         - 145  # sel
1056         - 146  # sel
1057         - 162  # sel
1058         - 163  # sel
1059         - 167  # sel
1060         - 172  # sel acl only
1061   reference:
1062     title: "rls1804"
1063     data:
1064       csit-vpp-perf-1804-all:
1065       - 21  # sel
1066       - 22  # sel
1067       - 23  # sel
1068       - 24  # sel
1069       - 27  # sel
1070       - 28  # sel
1071       - 29  # sel
1072       - 30  # sel
1073       - 31  # sel
1074       - 35  # sel
1075   compare:
1076     title: "rls1807"
1077     data:
1078       # TODO: Add Data sources
1079       csit-vpp-perf-verify-1807-3n-hsw:
1080       - 15  # NDRPDR sel
1081       - 16  # NDRPDR sel
1082       - 19  # NDRPDR sel
1083       - 18  # NDRPDR sel
1084       - 20  # NDRPDR sel
1085   data: "vpp-performance-changes"
1086   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1087   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1088   parameters:
1089   - "name"
1090   - "parent"
1091   - "throughput"
1092
1093 -
1094   type: "table"
1095   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1096   algorithm: "table_performance_comparison"
1097   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1098   reference:
1099     title: "3-Node Hsw"
1100     data:
1101       # TODO: Add Data sources
1102       csit-vpp-perf-verify-1807-3n-hsw:
1103       - 15  # NDRPDR sel
1104       - 16  # NDRPDR sel
1105       - 19  # NDRPDR sel
1106       - 18  # NDRPDR sel
1107       - 20  # NDRPDR sel
1108   compare:
1109     title: "3-Node Skx"
1110     data:
1111       csit-vpp-perf-verify-1807-3n-skx:
1112       - 33  # NDRPDR sel
1113       - 35  # NDRPDR sel
1114       - 37  # NDRPDR sel
1115       - 38  # NDRPDR sel
1116       - 39  # NDRPDR sel
1117       - 43  # NDRPDR sel
1118       - 44  # NDRPDR sel
1119       - 49  # NDRPDR sel
1120       - 50  # NDRPDR sel
1121       - 56  # NDRPDR sel
1122   data: "vpp-compare-testbeds"
1123   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1124   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1125   parameters:
1126   - "name"
1127   - "parent"
1128   - "throughput"
1129
1130 -
1131   type: "table"
1132   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1133   algorithm: "table_performance_comparison"
1134   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1135   reference:
1136     title: "3-Node Hsw"
1137     data:
1138       # TODO: Add Data sources
1139       csit-vpp-perf-verify-1807-3n-hsw:
1140       - 15  # NDRPDR sel
1141       - 16  # NDRPDR sel
1142       - 19  # NDRPDR sel
1143       - 18  # NDRPDR sel
1144       - 20  # NDRPDR sel
1145   compare:
1146     title: "3-Node Skx"
1147     data:
1148       csit-vpp-perf-verify-1807-3n-skx:
1149       - 33  # NDRPDR sel
1150       - 35  # NDRPDR sel
1151       - 37  # NDRPDR sel
1152       - 38  # NDRPDR sel
1153       - 39  # NDRPDR sel
1154       - 43  # NDRPDR sel
1155       - 44  # NDRPDR sel
1156       - 49  # NDRPDR sel
1157       - 50  # NDRPDR sel
1158       - 56  # NDRPDR sel
1159   data: "vpp-compare-testbeds"
1160   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1161   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1162   parameters:
1163   - "name"
1164   - "parent"
1165   - "throughput"
1166
1167 -
1168   type: "table"
1169   title: "VPP Performance Changes - 1t1c MRR"
1170   algorithm: "table_performance_comparison"
1171   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-mrr"
1172   history:
1173     -
1174       title: "rls1801"
1175       data:
1176         csit-vpp-perf-check-1801:
1177         - 3
1178         - 4
1179         - 5
1180         - 6
1181         - 7
1182         - 8
1183         - 9
1184         - 11
1185         - 12
1186         - 13
1187   reference:
1188     title: "rls1804"
1189     data:
1190       csit-vpp-perf-check-1804:
1191       - 6   # mrr - sel
1192       - 13  # mrr - sel
1193       - 14  # mrr - sel
1194       - 15  # mrr - sel
1195       - 16  # mrr - sel
1196       - 17  # mrr - sel
1197       - 19  # mrr - sel
1198       - 20  # mrr - sel
1199       - 21  # mrr - sel
1200       - 22  # mrr - sel
1201   compare:
1202     title: "rls1807"
1203     data:
1204       # TODO: Add Data sources
1205       csit-vpp-perf-verify-1807-3n-hsw:
1206       - 9   # MRR sel
1207       - 21  # MRR sel
1208       - 31  # MRR sel
1209   data: "vpp-performance-changes-mrr"
1210   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1211   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1212   parameters:
1213   - "name"
1214   - "parent"
1215   - "result"
1216
1217 -
1218   type: "table"
1219   title: "VPP Performance Changes - 2t2c MRR"
1220   algorithm: "table_performance_comparison"
1221   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-mrr"
1222   history:
1223     -
1224       title: "rls1801"
1225       data:
1226         csit-vpp-perf-check-1801:
1227         - 3
1228         - 4
1229         - 5
1230         - 6
1231         - 7
1232         - 8
1233         - 9
1234         - 11
1235         - 12
1236         - 13
1237   reference:
1238     title: "rls1804"
1239     data:
1240       csit-vpp-perf-check-1804:
1241       - 6   # mrr - sel
1242       - 13  # mrr - sel
1243       - 14  # mrr - sel
1244       - 15  # mrr - sel
1245       - 16  # mrr - sel
1246       - 17  # mrr - sel
1247       - 19  # mrr - sel
1248       - 20  # mrr - sel
1249       - 21  # mrr - sel
1250       - 22  # mrr - sel
1251   compare:
1252     title: "rls1807"
1253     data:
1254       # TODO: Add Data sources
1255       csit-vpp-perf-verify-1807-3n-hsw:
1256       - 9   # MRR sel
1257       - 21  # MRR sel
1258       - 31  # MRR sel
1259   data: "vpp-performance-changes-mrr"
1260   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1261   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1262   parameters:
1263   - "name"
1264   - "parent"
1265   - "result"
1266
1267 -
1268   type: "table"
1269   title: "VPP Performance Changes - 4t4c MRR"
1270   algorithm: "table_performance_comparison"
1271   output-file: "{DIR[STATIC,VPP]}/performance-changes-4t4c-mrr"
1272   history:
1273     -
1274       title: "rls1801"
1275       data:
1276         csit-vpp-perf-check-1801:
1277         - 3
1278         - 4
1279         - 5
1280         - 6
1281         - 7
1282         - 8
1283         - 9
1284         - 11
1285         - 12
1286         - 13
1287   reference:
1288     title: "rls1804"
1289     data:
1290       csit-vpp-perf-check-1804:
1291       - 6   # mrr - sel
1292       - 13  # mrr - sel
1293       - 14  # mrr - sel
1294       - 15  # mrr - sel
1295       - 16  # mrr - sel
1296       - 17  # mrr - sel
1297       - 19  # mrr - sel
1298       - 20  # mrr - sel
1299       - 21  # mrr - sel
1300       - 22  # mrr - sel
1301   compare:
1302     title: "rls1807"
1303     data:
1304       # TODO: Add Data sources
1305       csit-vpp-perf-verify-1807-3n-hsw:
1306       - 9   # MRR sel
1307       - 21  # MRR sel
1308       - 31  # MRR sel
1309   data: "vpp-performance-changes-mrr"
1310   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1311   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1312   parameters:
1313   - "name"
1314   - "parent"
1315   - "result"
1316
1317 -
1318   type: "table"
1319   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
1320   algorithm: "table_performance_comparison"
1321   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
1322   reference:
1323     title: "3-Node Hsw"
1324     data:
1325       # TODO: Add Data sources
1326       csit-vpp-perf-verify-1807-3n-hsw:
1327       - 9   # MRR sel
1328       - 21  # MRR sel
1329       - 31  # MRR sel
1330   compare:
1331     title: "3-Node Skx"
1332     data:
1333       csit-vpp-perf-verify-1807-3n-skx:
1334       - 28  # MRR sel
1335       - 32  # MRR sel
1336       - 36  # MRR sel
1337       - 42  # MRR sel
1338       - 47  # MRR sel
1339       - 48  # MRR sel
1340       - 51  # MRR sel
1341       - 52  # MRR sel
1342       - 53  # MRR sel
1343       - 54  # MRR sel
1344   data: "vpp-compare-testbeds-mrr"
1345   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1346   filter: "'NIC_Intel-X710' and 'MRR'"
1347   parameters:
1348   - "name"
1349   - "parent"
1350   - "result"
1351
1352 -
1353   type: "table"
1354   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
1355   algorithm: "table_merged_details"
1356   output-file-ext: ".csv"
1357   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
1358   columns:
1359   -
1360     title: "Name"
1361     data: "data name"
1362   -
1363     title: "Status"
1364     data: "data msg"
1365   rows: "generated"
1366   data: "vpp-perf-results-3n-hsw"
1367   filter: "not 'NDRCHK' and not 'PDRCHK'"
1368   parameters:
1369   - "name"
1370   - "parent"
1371   - "doc"
1372   - "msg"
1373
1374 -
1375   type: "table"
1376   title: "Detailed Test Results - VPP Performance Results 3n-skx"
1377   algorithm: "table_merged_details"
1378   output-file-ext: ".csv"
1379   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
1380   columns:
1381   -
1382     title: "Name"
1383     data: "data name"
1384   -
1385     title: "Status"
1386     data: "data msg"
1387   rows: "generated"
1388   data: "vpp-perf-results-3n-skx"
1389   filter: "not 'NDRCHK' and not 'PDRCHK'"
1390   parameters:
1391   - "name"
1392   - "parent"
1393   - "doc"
1394   - "msg"
1395
1396 -
1397   type: "table"
1398   title: "Detailed Test Results - VPP Performance Results 2n-skx"
1399   algorithm: "table_merged_details"
1400   output-file-ext: ".csv"
1401   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
1402   columns:
1403   -
1404     title: "Name"
1405     data: "data name"
1406   -
1407     title: "Status"
1408     data: "data msg"
1409   rows: "generated"
1410   data: "vpp-perf-results-2n-skx"
1411   filter: "not 'NDRCHK' and not 'PDRCHK'"
1412   parameters:
1413   - "name"
1414   - "parent"
1415   - "doc"
1416   - "msg"
1417
1418 -
1419   type: "table"
1420   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
1421   algorithm: "table_merged_details"
1422   output-file-ext: ".csv"
1423   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
1424   columns:
1425   -
1426     title: "Name"
1427     data: "data name"
1428   -
1429     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1430     data: "data vat-history"
1431   rows: "generated"
1432   data: "vpp-perf-results-3n-hsw"
1433   filter: "not 'NDRCHK' and not 'PDRCHK'"
1434   parameters:
1435   - "parent"
1436   - "name"
1437   - "vat-history"
1438
1439 -
1440   type: "table"
1441   title: "Test configuration - VPP Performance Test Configs 3n-skx"
1442   algorithm: "table_merged_details"
1443   output-file-ext: ".csv"
1444   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
1445   columns:
1446   -
1447     title: "Name"
1448     data: "data name"
1449   -
1450     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1451     data: "data vat-history"
1452   rows: "generated"
1453   data: "vpp-perf-results-3n-skx"
1454   filter: "not 'NDRCHK' and not 'PDRCHK'"
1455   parameters:
1456   - "parent"
1457   - "name"
1458   - "vat-history"
1459
1460 -
1461   type: "table"
1462   title: "Test configuration - VPP Performance Test Configs 2n-skx"
1463   algorithm: "table_merged_details"
1464   output-file-ext: ".csv"
1465   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
1466   columns:
1467   -
1468     title: "Name"
1469     data: "data name"
1470   -
1471     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1472     data: "data vat-history"
1473   rows: "generated"
1474   data: "vpp-perf-results-2n-skx"
1475   filter: "not 'NDRCHK' and not 'PDRCHK'"
1476   parameters:
1477   - "parent"
1478   - "name"
1479   - "vat-history"
1480
1481 -
1482   type: "table"
1483   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
1484   algorithm: "table_merged_details"
1485   output-file-ext: ".csv"
1486   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
1487   columns:
1488   -
1489     title: "Name"
1490     data: "data name"
1491   -
1492     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1493     data: "data show-run"
1494   rows: "generated"
1495   data: "vpp-perf-results-3n-hsw"
1496   filter: "not 'NDRCHK' and not 'PDRCHK'"
1497   parameters:
1498   - "parent"
1499   - "name"
1500   - "show-run"
1501
1502 -
1503   type: "table"
1504   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
1505   algorithm: "table_merged_details"
1506   output-file-ext: ".csv"
1507   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
1508   columns:
1509   -
1510     title: "Name"
1511     data: "data name"
1512   -
1513     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1514     data: "data show-run"
1515   rows: "generated"
1516   data: "vpp-perf-results-3n-skx"
1517   filter: "not 'NDRCHK' and not 'PDRCHK'"
1518   parameters:
1519   - "parent"
1520   - "name"
1521   - "show-run"
1522
1523 -
1524   type: "table"
1525   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
1526   algorithm: "table_merged_details"
1527   output-file-ext: ".csv"
1528   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
1529   columns:
1530   -
1531     title: "Name"
1532     data: "data name"
1533   -
1534     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1535     data: "data show-run"
1536   rows: "generated"
1537   data: "vpp-perf-results-2n-skx"
1538   filter: "not 'NDRCHK' and not 'PDRCHK'"
1539   parameters:
1540   - "parent"
1541   - "name"
1542   - "show-run"
1543
1544 -
1545   type: "table"
1546   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
1547   algorithm: "table_details"
1548   output-file-ext: ".csv"
1549   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
1550   columns:
1551   -
1552     title: "Name"
1553     data: "data name"
1554   -
1555     title: "Status"
1556     data: "data msg"
1557   rows: "generated"
1558   data: "vpp-mrr-results-3n-hsw"
1559   filter: "'MRR'"
1560   parameters:
1561   - "name"
1562   - "parent"
1563   - "doc"
1564   - "msg"
1565
1566 -
1567   type: "table"
1568   title: "Detailed Test Results - VPP MRR Results 3n-skx"
1569   algorithm: "table_details"
1570   output-file-ext: ".csv"
1571   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
1572   columns:
1573   -
1574     title: "Name"
1575     data: "data name"
1576   -
1577     title: "Status"
1578     data: "data msg"
1579   rows: "generated"
1580   data: "vpp-mrr-results-3n-skx"
1581   filter: "'MRR'"
1582   parameters:
1583   - "name"
1584   - "parent"
1585   - "doc"
1586   - "msg"
1587
1588 -
1589   type: "table"
1590   title: "Detailed Test Results - VPP MRR Results 2n-skx"
1591   algorithm: "table_details"
1592   output-file-ext: ".csv"
1593   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
1594   columns:
1595   -
1596     title: "Name"
1597     data: "data name"
1598   -
1599     title: "Status"
1600     data: "data msg"
1601   rows: "generated"
1602   data: "vpp-mrr-results-2n-skx"
1603   filter: "'MRR'"
1604   parameters:
1605   - "name"
1606   - "parent"
1607   - "doc"
1608   - "msg"
1609
1610 -
1611   type: "table"
1612   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
1613   algorithm: "table_details"
1614   output-file-ext: ".csv"
1615   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
1616   columns:
1617   -
1618     title: "Name"
1619     data: "data name"
1620   -
1621     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1622     data: "data vat-history"
1623   rows: "generated"
1624   data: "vpp-mrr-results-3n-hsw"
1625   filter: "'MRR'"
1626   parameters:
1627   - "parent"
1628   - "name"
1629   - "vat-history"
1630
1631 -
1632   type: "table"
1633   title: "Test configuration - VPP MRR Test Configs 3n-skx"
1634   algorithm: "table_details"
1635   output-file-ext: ".csv"
1636   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
1637   columns:
1638   -
1639     title: "Name"
1640     data: "data name"
1641   -
1642     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1643     data: "data vat-history"
1644   rows: "generated"
1645   data: "vpp-mrr-results-3n-skx"
1646   filter: "'MRR'"
1647   parameters:
1648   - "parent"
1649   - "name"
1650   - "vat-history"
1651
1652 -
1653   type: "table"
1654   title: "Test configuration - VPP MRR Test Configs 2n-skx"
1655   algorithm: "table_details"
1656   output-file-ext: ".csv"
1657   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
1658   columns:
1659   -
1660     title: "Name"
1661     data: "data name"
1662   -
1663     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1664     data: "data vat-history"
1665   rows: "generated"
1666   data: "vpp-mrr-results-2n-skx"
1667   filter: "'MRR'"
1668   parameters:
1669   - "parent"
1670   - "name"
1671   - "vat-history"
1672
1673 -
1674   type: "table"
1675   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
1676   algorithm: "table_details"
1677   output-file-ext: ".csv"
1678   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
1679   columns:
1680   -
1681     title: "Name"
1682     data: "data name"
1683   -
1684     title: "Documentation"
1685     data: "data doc"
1686   -
1687     title: "Status"
1688     data: "data status"
1689   rows: "generated"
1690   data: "vpp-func-results-ubuntu"
1691   filter: "all"
1692   parameters:
1693   - "name"
1694   - "parent"
1695   - "doc"
1696   - "status"
1697
1698 -
1699   type: "table"
1700   title: "Detailed Test Results - VPP Functional Results - CentOS"
1701   algorithm: "table_details"
1702   output-file-ext: ".csv"
1703   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1704   columns:
1705   -
1706     title: "Name"
1707     data: "data name"
1708   -
1709     title: "Documentation"
1710     data: "data doc"
1711   -
1712     title: "Status"
1713     data: "data status"
1714   rows: "generated"
1715   data:
1716     "vpp-func-results-centos"
1717   filter: "all"
1718   parameters:
1719   - "name"
1720   - "parent"
1721   - "doc"
1722   - "status"
1723
1724 -
1725   type: "table"
1726   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
1727   algorithm: "table_details"
1728   output-file-ext: ".csv"
1729   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
1730   columns:
1731   -
1732     title: "Name"
1733     data: "data name"
1734   -
1735     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1736     data: "data vat-history"
1737   rows: "generated"
1738   data: "vpp-func-results-ubuntu"
1739   filter: "all"
1740   parameters:
1741   - "parent"
1742   - "name"
1743   - "vat-history"
1744
1745 -
1746   type: "table"
1747   title: "Test configuration - VPP Functional Test Configs - CentOS"
1748   algorithm: "table_details"
1749   output-file-ext: ".csv"
1750   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1751   columns:
1752   -
1753     title: "Name"
1754     data: "data name"
1755   -
1756     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1757     data: "data vat-history"
1758   rows: "generated"
1759   data: "vpp-func-results-centos"
1760   filter: "all"
1761   parameters:
1762   - "parent"
1763   - "name"
1764   - "vat-history"
1765
1766 -
1767   type: "table"
1768   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
1769   algorithm: "table_details"
1770   output-file-ext: ".csv"
1771   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
1772   columns:
1773   -
1774     title: "Name"
1775     data: "data name"
1776   -
1777     title: "Status"
1778     data: "data msg"
1779   rows: "generated"
1780   data: "ligato-perf-results-3n-hsw"
1781   filter: "all"
1782   parameters:
1783   - "name"
1784   - "parent"
1785   - "doc"
1786   - "msg"
1787
1788 ################################################################################
1789 # DPDK
1790 -
1791   type: "table"
1792   title: "DPDK Performance Changes 1t1c pdr"
1793   algorithm: "table_performance_comparison"
1794   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-pdr"
1795   reference:
1796     title: "rls1804"
1797     data:
1798       csit-dpdk-perf-1804-all:
1799       - 4
1800       - 5
1801       - 6
1802       - 7
1803       - 8
1804       - 9
1805       - 10
1806       - 11
1807       - 12
1808       - 13
1809   compare:
1810     title: "rls1807"
1811     data:
1812       csit-dpdk-perf-verify-1807-3n-hsw:
1813       - 11
1814       - 12  # full
1815       - 14
1816       - 15
1817       - 16
1818       - 17
1819       - 20
1820       - 21
1821       - 22
1822       - 23
1823   data: "dpdk-performance-changes"
1824   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1825   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1826   parameters:
1827   - "name"
1828   - "parent"
1829   - "throughput"
1830
1831 -
1832   type: "table"
1833   title: "DPDK Performance Changes 2t2c pdr"
1834   algorithm: "table_performance_comparison"
1835   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-pdr"
1836   reference:
1837     title: "rls1804"
1838     data:
1839       csit-dpdk-perf-1804-all:
1840       - 4
1841       - 5
1842       - 6
1843       - 7
1844       - 8
1845       - 9
1846       - 10
1847       - 11
1848       - 12
1849       - 13
1850   compare:
1851     title: "rls1807"
1852     data:
1853       csit-dpdk-perf-verify-1807-3n-hsw:
1854       - 11
1855       - 12  # full
1856       - 14
1857       - 15
1858       - 16
1859       - 17
1860       - 20
1861       - 21
1862       - 22
1863       - 23
1864   data: "dpdk-performance-changes"
1865   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1866   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1867   parameters:
1868   - "name"
1869   - "parent"
1870   - "throughput"
1871
1872 -
1873   type: "table"
1874   title: "DPDK Performance Changes 1t1c ndr"
1875   algorithm: "table_performance_comparison"
1876   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-ndr"
1877   reference:
1878     title: "rls1804"
1879     data:
1880       csit-dpdk-perf-1804-all:
1881       - 4
1882       - 5
1883       - 6
1884       - 7
1885       - 8
1886       - 9
1887       - 10
1888       - 11
1889       - 12
1890       - 13
1891   compare:
1892     title: "rls1807"
1893     data:
1894       csit-dpdk-perf-verify-1807-3n-hsw:
1895       - 11
1896       - 12  # full
1897       - 14
1898       - 15
1899       - 16
1900       - 17
1901       - 20
1902       - 21
1903       - 22
1904       - 23
1905   data: "dpdk-performance-changes"
1906   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1907   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1908   parameters:
1909   - "name"
1910   - "parent"
1911   - "throughput"
1912
1913 -
1914   type: "table"
1915   title: "DPDK Performance Changes 2t2c ndr"
1916   algorithm: "table_performance_comparison"
1917   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-ndr"
1918   reference:
1919     title: "rls1804"
1920     data:
1921       csit-dpdk-perf-1804-all:
1922       - 4
1923       - 5
1924       - 6
1925       - 7
1926       - 8
1927       - 9
1928       - 10
1929       - 11
1930       - 12
1931       - 13
1932   compare:
1933     title: "rls1807"
1934     data:
1935       csit-dpdk-perf-verify-1807-3n-hsw:
1936       - 11
1937       - 12  # full
1938       - 14
1939       - 15
1940       - 16
1941       - 17
1942       - 20
1943       - 21
1944       - 22
1945       - 23
1946   data: "dpdk-performance-changes"
1947   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1948   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1949   parameters:
1950   - "name"
1951   - "parent"
1952   - "throughput"
1953
1954 -
1955   type: "table"
1956   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1957   algorithm: "table_performance_comparison"
1958   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1959   reference:
1960     title: "3-Node Hsw"
1961     data:
1962       csit-dpdk-perf-verify-1807-3n-hsw:
1963       - 11
1964       - 12  # full
1965       - 14
1966       - 15
1967       - 16
1968       - 17
1969       - 20
1970       - 21
1971       - 22
1972       - 23
1973   compare:
1974     title: "3-Node Skx"
1975     data:
1976       csit-dpdk-perf-verify-1807-3n-skx:
1977       - 1
1978       - 2
1979       - 3
1980       - 6
1981       - 7
1982       - 8
1983       - 9
1984       - 10
1985       - 11
1986       - 12
1987   data: "dpdk-compare-testbeds"
1988   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1989   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1990   parameters:
1991   - "name"
1992   - "parent"
1993   - "throughput"
1994
1995 -
1996   type: "table"
1997   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1998   algorithm: "table_performance_comparison"
1999   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
2000   reference:
2001     title: "3-Node Hsw"
2002     data:
2003       csit-dpdk-perf-verify-1807-3n-hsw:
2004       - 11
2005       - 12  # full
2006       - 14
2007       - 15
2008       - 16
2009       - 17
2010       - 20
2011       - 21
2012       - 22
2013       - 23
2014   compare:
2015     title: "3-Node Skx"
2016     data:
2017       csit-dpdk-perf-verify-1807-3n-skx:
2018       - 1
2019       - 2
2020       - 3
2021       - 6
2022       - 7
2023       - 8
2024       - 9
2025       - 10
2026       - 11
2027       - 12
2028   data: "dpdk-compare-testbeds"
2029   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2030   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2031   parameters:
2032   - "name"
2033   - "parent"
2034   - "throughput"
2035
2036 -
2037   type: "table"
2038   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2039   algorithm: "table_performance_comparison"
2040   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2041   reference:
2042     title: "3-Node Hsw"
2043     data:
2044       csit-dpdk-perf-verify-1807-3n-hsw:
2045       - 11
2046       - 12  # full
2047       - 14
2048       - 15
2049       - 16
2050       - 17
2051       - 20
2052       - 21
2053       - 22
2054       - 23
2055   compare:
2056     title: "3-Node Skx"
2057     data:
2058       csit-dpdk-perf-verify-1807-3n-skx:
2059       - 1
2060       - 2
2061       - 3
2062       - 6
2063       - 7
2064       - 8
2065       - 9
2066       - 10
2067       - 11
2068       - 12
2069   data: "dpdk-compare-testbeds"
2070   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2071   filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2072   parameters:
2073   - "name"
2074   - "parent"
2075   - "throughput"
2076
2077 -
2078   type: "table"
2079   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
2080   algorithm: "table_details"
2081   output-file-ext: ".csv"
2082   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2083   columns:
2084   -
2085     title: "Name"
2086     data: "data name"
2087   -
2088     title: "Status"
2089     data: "data msg"
2090   rows: "generated"
2091   data: "dpdk-perf-results-3n-hsw"
2092   filter: "all"
2093   parameters:
2094   - "name"
2095   - "parent"
2096   - "msg"
2097
2098 -
2099   type: "table"
2100   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
2101   algorithm: "table_details"
2102   output-file-ext: ".csv"
2103   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2104   columns:
2105   -
2106     title: "Name"
2107     data: "data name"
2108   -
2109     title: "Status"
2110     data: "data msg"
2111   rows: "generated"
2112   data: "dpdk-perf-results-3n-skx"
2113   filter: "all"
2114   parameters:
2115   - "name"
2116   - "parent"
2117   - "msg"
2118
2119 -
2120   type: "table"
2121   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
2122   algorithm: "table_details"
2123   output-file-ext: ".csv"
2124   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2125   columns:
2126   -
2127     title: "Name"
2128     data: "data name"
2129   -
2130     title: "Status"
2131     data: "data msg"
2132   rows: "generated"
2133   data: "dpdk-perf-results-2n-skx"
2134   filter: "all"
2135   parameters:
2136   - "name"
2137   - "parent"
2138   - "msg"
2139
2140
2141 ################################################################################
2142 # HoneyComb
2143 -
2144   type: "table"
2145   title: "Detailed Test Results - Honeycomb Functional Results"
2146   algorithm: "table_details"
2147   output-file-ext: ".csv"
2148   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
2149   columns:
2150   -
2151     title: "Name"
2152     data: "data name"
2153   -
2154     title: "Documentation"
2155     data: "data doc"
2156   -
2157     title: "Status"
2158     data: "data status"
2159   rows: "generated"
2160   data:
2161     "hc-func-results"
2162   filter: "all"
2163   parameters:
2164   - "name"
2165   - "parent"
2166   - "doc"
2167   - "status"
2168
2169 ################################################################################
2170 # NSH SFC
2171 -
2172   type: "table"
2173   title: "Detailed Test Results - NSH SFC Functional Results"
2174   algorithm: "table_details"
2175   output-file-ext: ".csv"
2176   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
2177   columns:
2178   -
2179     title: "Name"
2180     data: "data name"
2181   -
2182     title: "Documentation"
2183     data: "data doc"
2184   -
2185     title: "Status"
2186     data: "data status"
2187   rows: "generated"
2188   data:
2189     "nsh-func-results"
2190   filter: "all"
2191   parameters:
2192   - "name"
2193   - "parent"
2194   - "doc"
2195   - "status"
2196
2197 ################################################################################
2198 ###                                F I L E S                                 ###
2199 ################################################################################
2200
2201 -
2202   type: "file"
2203   title: "VPP Performance Results 3n-hsw"
2204   algorithm: "file_test_results"
2205   output-file-ext: ".rst"
2206   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2207   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2208   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
2209   data: "vpp-perf-results-3n-hsw"
2210   filter: "not 'NDRCHK' and not 'PDRCHK'"
2211   parameters:
2212   - "name"
2213   - "doc"
2214   - "level"
2215   - "parent"
2216   data-start-level: 3
2217
2218 -
2219   type: "file"
2220   title: "VPP Performance Results 3n-skx"
2221   algorithm: "file_test_results"
2222   output-file-ext: ".rst"
2223   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2224   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2225   dir-tables: "{DIR[DTR,PERF,VPP,3N,SKX]}"
2226   data: "vpp-perf-results-3n-skx"
2227   filter: "not 'NDRCHK' and not 'PDRCHK'"
2228   parameters:
2229   - "name"
2230   - "doc"
2231   - "level"
2232   - "parent"
2233   data-start-level: 3
2234
2235 -
2236   type: "file"
2237   title: "VPP Performance Results 2n-skx"
2238   algorithm: "file_test_results"
2239   output-file-ext: ".rst"
2240   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2241   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2242   dir-tables: "{DIR[DTR,PERF,VPP,2N,SKX]}"
2243   data: "vpp-perf-results-2n-skx"
2244   filter: "not 'NDRCHK' and not 'PDRCHK'"
2245   parameters:
2246   - "name"
2247   - "doc"
2248   - "level"
2249   - "parent"
2250   data-start-level: 3
2251
2252 -
2253   type: "file"
2254   title: "VPP Performance Configuration 3n-hsw"
2255   algorithm: "file_test_results"
2256   output-file-ext: ".rst"
2257   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_performance_configuration_3n_hsw"
2258   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2259   dir-tables: "{DIR[DTC,PERF,VPP,3N,HSW]}"
2260   data: "vpp-perf-results-3n-hsw"
2261   filter: "not 'NDRCHK' and not 'PDRCHK'"
2262   parameters:
2263   - "name"
2264   - "doc"
2265   - "level"
2266   - "parent"
2267   data-start-level: 3
2268
2269 -
2270   type: "file"
2271   title: "VPP Performance Configuration 3n-skx"
2272   algorithm: "file_test_results"
2273   output-file-ext: ".rst"
2274   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_performance_configuration_3n_skx"
2275   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2276   dir-tables: "{DIR[DTC,PERF,VPP,3N,SKX]}"
2277   data: "vpp-perf-results-3n-skx"
2278   filter: "not 'NDRCHK' and not 'PDRCHK'"
2279   parameters:
2280   - "name"
2281   - "doc"
2282   - "level"
2283   - "parent"
2284   data-start-level: 3
2285
2286 -
2287   type: "file"
2288   title: "VPP Performance Configuration 2n-skx"
2289   algorithm: "file_test_results"
2290   output-file-ext: ".rst"
2291   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_performance_configuration_2n_skx"
2292   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2293   dir-tables: "{DIR[DTC,PERF,VPP,2N,SKX]}"
2294   data: "vpp-perf-results-2n-skx"
2295   filter: "not 'NDRCHK' and not 'PDRCHK'"
2296   parameters:
2297   - "name"
2298   - "doc"
2299   - "level"
2300   - "parent"
2301   data-start-level: 3
2302
2303 -
2304   type: "file"
2305   title: "VPP Performance Operational Data 3n-hsw"
2306   algorithm: "file_test_results"
2307   output-file-ext: ".rst"
2308   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_performance_operational_data_3n_hsw"
2309   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2310   dir-tables: "{DIR[DTO,PERF,VPP,3N,HSW]}"
2311   data: "vpp-perf-results-3n-hsw"
2312   filter: "not 'NDRCHK' and not 'PDRCHK'"
2313   parameters:
2314   - "name"
2315   - "doc"
2316   - "level"
2317   - "parent"
2318   data-start-level: 3
2319
2320 -
2321   type: "file"
2322   title: "VPP Performance Operational Data 3n-skx"
2323   algorithm: "file_test_results"
2324   output-file-ext: ".rst"
2325   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_performance_operational_data_3n_skx"
2326   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2327   dir-tables: "{DIR[DTO,PERF,VPP,3N,SKX]}"
2328   data: "vpp-perf-results-3n-skx"
2329   filter: "not 'NDRCHK' and not 'PDRCHK'"
2330   parameters:
2331   - "name"
2332   - "doc"
2333   - "level"
2334   - "parent"
2335   data-start-level: 3
2336
2337 -
2338   type: "file"
2339   title: "VPP Performance Operational Data 2n-skx"
2340   algorithm: "file_test_results"
2341   output-file-ext: ".rst"
2342   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_performance_operational_data_2n_skx"
2343   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2344   dir-tables: "{DIR[DTO,PERF,VPP,2N,SKX]}"
2345   data: "vpp-perf-results-2n-skx"
2346   filter: "not 'NDRCHK' and not 'PDRCHK'"
2347   parameters:
2348   - "name"
2349   - "doc"
2350   - "level"
2351   - "parent"
2352   data-start-level: 3
2353
2354 -
2355   type: "file"
2356   title: "VPP MRR Results 3n-hsw"
2357   algorithm: "file_test_results"
2358   output-file-ext: ".rst"
2359   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2360   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2361   dir-tables: "{DIR[DTR,MRR,VPP,3N,HSW]}"
2362   data: "vpp-mrr-results-3n-hsw"
2363   filter: "'MRR'"
2364   parameters:
2365   - "name"
2366   - "doc"
2367   - "level"
2368   - "parent"
2369   data-start-level: 3
2370
2371 -
2372   type: "file"
2373   title: "VPP MRR Results 3n-skx"
2374   algorithm: "file_test_results"
2375   output-file-ext: ".rst"
2376   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2377   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2378   dir-tables: "{DIR[DTR,MRR,VPP,3N,SKX]}"
2379   data: "vpp-mrr-results-3n-skx"
2380   filter: "'MRR'"
2381   parameters:
2382   - "name"
2383   - "doc"
2384   - "level"
2385   - "parent"
2386   data-start-level: 3
2387
2388 -
2389   type: "file"
2390   title: "VPP MRR Results 2n-skx"
2391   algorithm: "file_test_results"
2392   output-file-ext: ".rst"
2393   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2394   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2395   dir-tables: "{DIR[DTR,MRR,VPP,2N,SKX]}"
2396   data: "vpp-mrr-results-2n-skx"
2397   filter: "all"
2398   parameters:
2399   - "name"
2400   - "doc"
2401   - "level"
2402   - "parent"
2403   data-start-level: 3
2404
2405 -
2406   type: "file"
2407   title: "VPP MRR Configuration 3n-hsw"
2408   algorithm: "file_test_results"
2409   output-file-ext: ".rst"
2410   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_configuration_3n_hsw"
2411   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2412   dir-tables: "{DIR[DTC,MRR,VPP,3N,HSW]}"
2413   data: "vpp-mrr-results-3n-hsw"
2414   filter: "'MRR'"
2415   parameters:
2416   - "name"
2417   - "doc"
2418   - "level"
2419   - "parent"
2420   data-start-level: 3
2421
2422 -
2423   type: "file"
2424   title: "VPP MRR Configuration 3n-skx"
2425   algorithm: "file_test_results"
2426   output-file-ext: ".rst"
2427   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_configuration_3n_skx"
2428   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2429   dir-tables: "{DIR[DTC,MRR,VPP,3N,SKX]}"
2430   data: "vpp-mrr-results-3n-skx"
2431   filter: "'MRR'"
2432   parameters:
2433   - "name"
2434   - "doc"
2435   - "level"
2436   - "parent"
2437   data-start-level: 3
2438
2439 -
2440   type: "file"
2441   title: "VPP MRR Configuration 2n-skx"
2442   algorithm: "file_test_results"
2443   output-file-ext: ".rst"
2444   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_configuration_2n_skx"
2445   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2446   dir-tables: "{DIR[DTC,MRR,VPP,2N,SKX]}"
2447   data: "vpp-mrr-results-2n-skx"
2448   filter: "'MRR'"
2449   parameters:
2450   - "name"
2451   - "doc"
2452   - "level"
2453   - "parent"
2454   data-start-level: 3
2455
2456 -
2457   type: "file"
2458   title: "VPP Functional Results - Ubuntu"
2459   algorithm: "file_test_results"
2460   output-file-ext: ".rst"
2461   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2462   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2463   dir-tables: "{DIR[DTR,FUNC,VPP,UBUNTU]}"
2464   data: "vpp-func-results-ubuntu"
2465   filter: "all"
2466   parameters:
2467   - "name"
2468   - "doc"
2469   - "level"
2470   - "parent"
2471   data-start-level: 4
2472
2473 -
2474   type: "file"
2475   title: "VPP Functional Results - CentOS"
2476   algorithm: "file_test_results"
2477   output-file-ext: ".rst"
2478   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2479   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2480   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
2481   data:
2482     "vpp-func-results-centos"
2483   filter: "all"
2484   parameters:
2485   - "name"
2486   - "doc"
2487   - "level"
2488   - "parent"
2489   data-start-level: 4
2490
2491 -
2492   type: "file"
2493   title: "VPP Functional Configuration - Ubuntu"
2494   algorithm: "file_test_results"
2495   output-file-ext: ".rst"
2496   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2497   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2498   dir-tables: "{DIR[DTC,FUNC,VPP,UBUNTU]}"
2499   data: "vpp-func-results-ubuntu"
2500   filter: "all"
2501   parameters:
2502   - "name"
2503   - "doc"
2504   - "level"
2505   - "parent"
2506   data-start-level: 4
2507
2508 -
2509   type: "file"
2510   title: "VPP Functional Configuration - CentOS"
2511   algorithm: "file_test_results"
2512   output-file-ext: ".rst"
2513   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2514   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2515   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
2516   data:
2517     "vpp-func-results-centos"
2518   filter: "all"
2519   parameters:
2520   - "name"
2521   - "doc"
2522   - "level"
2523   - "parent"
2524   data-start-level: 4
2525
2526 -
2527   type: "file"
2528   title: "Container Orchestrated Performance Results 3n-hsw"
2529   algorithm: "file_test_results"
2530   output-file-ext: ".rst"
2531   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2532   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2533   dir-tables: "{DIR[DTR,PERF,COT,3N,HSW]}"
2534   data: "ligato-perf-results-3n-hsw"
2535   filter: "all"
2536   parameters:
2537   - "name"
2538   - "doc"
2539   - "level"
2540   - "parent"
2541   data-start-level: 3
2542
2543 -
2544   type: "file"
2545   title: "DPDK Performance Results 3n-hsw"
2546   algorithm: "file_test_results"
2547   output-file-ext: ".rst"
2548   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2549   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2550   dir-tables: "{DIR[DTR,PERF,DPDK,3N,HSW]}"
2551   data: "dpdk-perf-results-3n-hsw"
2552   filter: "all"
2553   parameters:
2554   - "name"
2555   - "doc"
2556   - "level"
2557   - "parent"
2558   data-start-level: 3
2559
2560 -
2561   type: "file"
2562   title: "DPDK Performance Results 3n-skx"
2563   algorithm: "file_test_results"
2564   output-file-ext: ".rst"
2565   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2566   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2567   dir-tables: "{DIR[DTR,PERF,DPDK,3N,SKX]}"
2568   data: "dpdk-perf-results-3n-skx"
2569   filter: "all"
2570   parameters:
2571   - "name"
2572   - "doc"
2573   - "level"
2574   - "parent"
2575   data-start-level: 3
2576
2577 -
2578   type: "file"
2579   title: "DPDK Performance Results 2n-skx"
2580   algorithm: "file_test_results"
2581   output-file-ext: ".rst"
2582   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2583   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2584   dir-tables: "{DIR[DTR,PERF,DPDK,2N,SKX]}"
2585   data: "dpdk-perf-results-2n-skx"
2586   filter: "all"
2587   parameters:
2588   - "name"
2589   - "doc"
2590   - "level"
2591   - "parent"
2592   data-start-level: 3
2593
2594 -
2595   type: "file"
2596   title: "Honeycomb Functional Results"
2597   algorithm: "file_test_results"
2598   output-file-ext: ".rst"
2599   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
2600   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2601   dir-tables: "{DIR[DTR,FUNC,HC]}"
2602   data:
2603     "hc-func-results"
2604   filter: "all"
2605   parameters:
2606   - "name"
2607   - "doc"
2608   - "level"
2609   - "parent"
2610   data-start-level: 3
2611
2612 -
2613   type: "file"
2614   title: "NSH SFC Functional Results"
2615   algorithm: "file_test_results"
2616   output-file-ext: ".rst"
2617   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
2618   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2619   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
2620   data:
2621     "nsh-func-results"
2622   filter: "all"
2623   parameters:
2624   - "name"
2625   - "doc"
2626   - "level"
2627   - "parent"
2628   data-start-level: 3
2629
2630 ################################################################################
2631 ###                                P L O T S                                 ###
2632 ################################################################################
2633
2634 ################################################################################
2635 # Plots VPP HTTP Server Performance
2636 -
2637   type: "plot"
2638   title: "VPP HTTP Server Performance"
2639   algorithm: "plot_http_server_performance_box"
2640   output-file-type: ".html"
2641   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
2642   data:
2643     "plot-vpp-http-server-performance"
2644   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2645   # each tag is enclosed with ' (apostrophe).
2646   filter: "'HTTP' and 'TCP_CPS'"
2647   parameters:
2648   - "result"
2649   - "name"
2650   traces:
2651     hoverinfo: "x+y"
2652     boxpoints: "outliers"
2653     whiskerwidth: 0
2654   layout:
2655     title: "VPP HTTP Server Performance"
2656     layout:
2657       "plot-cps"
2658
2659 -
2660   type: "plot"
2661   title: "VPP HTTP Server Performance"
2662   algorithm: "plot_http_server_performance_box"
2663   output-file-type: ".html"
2664   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
2665   data:
2666     "plot-vpp-http-server-performance"
2667   filter: "'HTTP' and 'TCP_RPS'"
2668   parameters:
2669   - "result"
2670   - "name"
2671   traces:
2672     hoverinfo: "x+y"
2673     boxpoints: "outliers"
2674     whiskerwidth: 0
2675   layout:
2676     title: "VPP HTTP Server Performance"
2677     layout:
2678       "plot-rps"
2679
2680 ################################################################################
2681
2682 # Packet Throughput - VPP L2 3n-hsw-x520
2683 -
2684   type: "plot"
2685   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
2686   algorithm: "plot_performance_box"
2687   output-file-type: ".html"
2688   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
2689   data: "plot-vpp-throughput-latency-3n-hsw"
2690   filter: "'NIC_Intel-X520-DA2' and
2691            '64B' and
2692            ('BASE' or 'SCALE') and
2693            'NDRPDR' and
2694            '1T1C' and
2695            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2696            not 'VHOST' and
2697            not 'MEMIF'"
2698   parameters:
2699   - "throughput"
2700   - "parent"
2701   traces:
2702     hoverinfo: "x+y"
2703     boxpoints: "outliers"
2704     whiskerwidth: 0
2705   layout:
2706     title: ""  # No title
2707     layout: "plot-throughput"
2708
2709 -
2710   type: "plot"
2711   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
2712   algorithm: "plot_performance_box"
2713   output-file-type: ".html"
2714   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
2715   data: "plot-vpp-throughput-latency-3n-hsw"
2716   filter: "'NIC_Intel-X520-DA2' and
2717            '64B' and
2718            ('BASE' or 'SCALE') and
2719            'NDRPDR' and
2720            '1T1C' and
2721            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2722            not 'VHOST' and
2723            not 'MEMIF'"
2724   parameters:
2725   - "throughput"
2726   - "parent"
2727   traces:
2728     hoverinfo: "x+y"
2729     boxpoints: "outliers"
2730     whiskerwidth: 0
2731   layout:
2732     title: ""  # No title
2733     layout: "plot-throughput"
2734
2735 -
2736   type: "plot"
2737   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
2738   algorithm: "plot_performance_box"
2739   output-file-type: ".html"
2740   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
2741   data: "plot-vpp-throughput-latency-3n-hsw"
2742   filter: "'NIC_Intel-X520-DA2' and
2743            '64B' and
2744            ('BASE' or 'SCALE') and
2745            'NDRPDR' and
2746            '2T2C' and
2747            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2748            not 'VHOST' and
2749            not 'MEMIF'"
2750   parameters:
2751   - "throughput"
2752   - "parent"
2753   traces:
2754     hoverinfo: "x+y"
2755     boxpoints: "outliers"
2756     whiskerwidth: 0
2757   layout:
2758     title: ""  # No title
2759     layout: "plot-throughput"
2760
2761 -
2762   type: "plot"
2763   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
2764   algorithm: "plot_performance_box"
2765   output-file-type: ".html"
2766   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
2767   data: "plot-vpp-throughput-latency-3n-hsw"
2768   filter: "'NIC_Intel-X520-DA2' and
2769            '64B' and
2770            ('BASE' or 'SCALE') and
2771            'NDRPDR' and
2772            '2T2C' and
2773            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2774            not 'VHOST' and
2775            not 'MEMIF'"
2776   parameters:
2777   - "throughput"
2778   - "parent"
2779   traces:
2780     hoverinfo: "x+y"
2781     boxpoints: "outliers"
2782     whiskerwidth: 0
2783   layout:
2784     title: ""  # No title
2785     layout: "plot-throughput"
2786
2787 -
2788   type: "plot"
2789   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
2790   algorithm: "plot_performance_box"
2791   output-file-type: ".html"
2792   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
2793   data: "plot-vpp-throughput-latency-3n-hsw"
2794   filter: "'NIC_Intel-X520-DA2' and
2795            '64B' and
2796            'FEATURE' and
2797            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2798            'NDRPDR' and
2799            '1T1C' and
2800            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2801            not 'VHOST' and
2802            not 'MEMIF'"
2803   parameters:
2804   - "throughput"
2805   - "parent"
2806   traces:
2807     hoverinfo: "x+y"
2808     boxpoints: "outliers"
2809     whiskerwidth: 0
2810   layout:
2811     title: ""  # No title
2812     layout: "plot-throughput"
2813
2814 -
2815   type: "plot"
2816   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
2817   algorithm: "plot_performance_box"
2818   output-file-type: ".html"
2819   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
2820   data: "plot-vpp-throughput-latency-3n-hsw"
2821   filter: "'NIC_Intel-X520-DA2' and
2822            '64B' and
2823            'FEATURE' and
2824            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2825            'NDRPDR' and
2826            '1T1C' and
2827            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2828            not 'VHOST' and
2829            not 'MEMIF'"
2830   parameters:
2831   - "throughput"
2832   - "parent"
2833   traces:
2834     hoverinfo: "x+y"
2835     boxpoints: "outliers"
2836     whiskerwidth: 0
2837   layout:
2838     title: ""  # No title
2839     layout: "plot-throughput"
2840
2841 -
2842   type: "plot"
2843   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
2844   algorithm: "plot_performance_box"
2845   output-file-type: ".html"
2846   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
2847   data: "plot-vpp-throughput-latency-3n-hsw"
2848   filter: "'NIC_Intel-X520-DA2' and
2849            '64B' and
2850            'FEATURE' and
2851            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2852            'NDRPDR' and
2853            '2T2C' and
2854            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2855            not 'VHOST' and
2856            not 'MEMIF'"
2857   parameters:
2858   - "throughput"
2859   - "parent"
2860   traces:
2861     hoverinfo: "x+y"
2862     boxpoints: "outliers"
2863     whiskerwidth: 0
2864   layout:
2865     title: ""  # No title
2866     layout: "plot-throughput"
2867
2868 -
2869   type: "plot"
2870   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
2871   algorithm: "plot_performance_box"
2872   output-file-type: ".html"
2873   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
2874   data: "plot-vpp-throughput-latency-3n-hsw"
2875   filter: "'NIC_Intel-X520-DA2' and
2876            '64B' and
2877            'FEATURE' and
2878            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2879            'NDRPDR' and
2880            '2T2C' and
2881            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2882            not 'VHOST' and
2883            not 'MEMIF'"
2884   parameters:
2885   - "throughput"
2886   - "parent"
2887   traces:
2888     hoverinfo: "x+y"
2889     boxpoints: "outliers"
2890     whiskerwidth: 0
2891   layout:
2892     title: ""  # No title
2893     layout: "plot-throughput"
2894
2895 # Packet Throughput - VPP L2 3n-hsw-x710
2896 -
2897   type: "plot"
2898   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
2899   algorithm: "plot_performance_box"
2900   output-file-type: ".html"
2901   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
2902   data: "plot-vpp-throughput-latency-3n-hsw"
2903   filter: "'NIC_Intel-X710' and
2904            '64B' and
2905            ('BASE' or 'SCALE') and
2906            'NDRPDR' and
2907            '1T1C' and
2908            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2909            not 'VHOST' and
2910            not 'MEMIF'"
2911   parameters:
2912   - "throughput"
2913   - "parent"
2914   traces:
2915     hoverinfo: "x+y"
2916     boxpoints: "outliers"
2917     whiskerwidth: 0
2918   layout:
2919     title: ""  # No title
2920     layout: "plot-throughput"
2921
2922 -
2923   type: "plot"
2924   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
2925   algorithm: "plot_performance_box"
2926   output-file-type: ".html"
2927   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
2928   data: "plot-vpp-throughput-latency-3n-hsw"
2929   filter: "'NIC_Intel-X710' and
2930            '64B' and
2931            ('BASE' or 'SCALE') and
2932            'NDRPDR' and
2933            '1T1C' and
2934            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2935            not 'VHOST' and
2936            not 'MEMIF'"
2937   parameters:
2938   - "throughput"
2939   - "parent"
2940   traces:
2941     hoverinfo: "x+y"
2942     boxpoints: "outliers"
2943     whiskerwidth: 0
2944   layout:
2945     title: ""  # No title
2946     layout: "plot-throughput"
2947
2948 -
2949   type: "plot"
2950   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
2951   algorithm: "plot_performance_box"
2952   output-file-type: ".html"
2953   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
2954   data: "plot-vpp-throughput-latency-3n-hsw"
2955   filter: "'NIC_Intel-X710' and
2956            '64B' and
2957            ('BASE' or 'SCALE') and
2958            'NDRPDR' and
2959            '2T2C' and
2960            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2961            not 'VHOST' and
2962            not 'MEMIF'"
2963   parameters:
2964   - "throughput"
2965   - "parent"
2966   traces:
2967     hoverinfo: "x+y"
2968     boxpoints: "outliers"
2969     whiskerwidth: 0
2970   layout:
2971     title: ""  # No title
2972     layout: "plot-throughput"
2973
2974 -
2975   type: "plot"
2976   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
2977   algorithm: "plot_performance_box"
2978   output-file-type: ".html"
2979   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
2980   data: "plot-vpp-throughput-latency-3n-hsw"
2981   filter: "'NIC_Intel-X710' and
2982            '64B' and
2983            ('BASE' or 'SCALE') and
2984            'NDRPDR' and
2985            '2T2C' and
2986            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2987            not 'VHOST' and
2988            not 'MEMIF'"
2989   parameters:
2990   - "throughput"
2991   - "parent"
2992   traces:
2993     hoverinfo: "x+y"
2994     boxpoints: "outliers"
2995     whiskerwidth: 0
2996   layout:
2997     title: ""  # No title
2998     layout: "plot-throughput"
2999
3000 -
3001   type: "plot"
3002   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
3003   algorithm: "plot_performance_box"
3004   output-file-type: ".html"
3005   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
3006   data: "plot-vpp-throughput-latency-3n-hsw"
3007   filter: "'NIC_Intel-X710' and
3008            '64B' and
3009            'FEATURE' and
3010            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3011            'NDRPDR' and
3012            '1T1C' and
3013            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3014            not 'VHOST' and
3015            not 'MEMIF'"
3016   parameters:
3017   - "throughput"
3018   - "parent"
3019   traces:
3020     hoverinfo: "x+y"
3021     boxpoints: "outliers"
3022     whiskerwidth: 0
3023   layout:
3024     title: ""  # No title
3025     layout: "plot-throughput"
3026
3027 -
3028   type: "plot"
3029   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3030   algorithm: "plot_performance_box"
3031   output-file-type: ".html"
3032   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3033   data: "plot-vpp-throughput-latency-3n-hsw"
3034   filter: "'NIC_Intel-X710' and
3035            '64B' and
3036            'FEATURE' and
3037            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3038            'NDRPDR' and
3039            '1T1C' and
3040            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3041            not 'VHOST' and
3042            not 'MEMIF'"
3043   parameters:
3044   - "throughput"
3045   - "parent"
3046   traces:
3047     hoverinfo: "x+y"
3048     boxpoints: "outliers"
3049     whiskerwidth: 0
3050   layout:
3051     title: ""  # No title
3052     layout: "plot-throughput"
3053
3054 -
3055   type: "plot"
3056   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3057   algorithm: "plot_performance_box"
3058   output-file-type: ".html"
3059   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3060   data: "plot-vpp-throughput-latency-3n-hsw"
3061   filter: "'NIC_Intel-X710' and
3062            '64B' and
3063            'FEATURE' and
3064            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3065            'NDRPDR' and
3066            '2T2C' and
3067            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3068            not 'VHOST' and
3069            not 'MEMIF'"
3070   parameters:
3071   - "throughput"
3072   - "parent"
3073   traces:
3074     hoverinfo: "x+y"
3075     boxpoints: "outliers"
3076     whiskerwidth: 0
3077   layout:
3078     title: ""  # No title
3079     layout: "plot-throughput"
3080
3081 -
3082   type: "plot"
3083   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3084   algorithm: "plot_performance_box"
3085   output-file-type: ".html"
3086   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3087   data: "plot-vpp-throughput-latency-3n-hsw"
3088   filter: "'NIC_Intel-X710' and
3089            '64B' and
3090            'FEATURE' and
3091            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3092            'NDRPDR' and
3093            '2T2C' and
3094            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3095            not 'VHOST' and
3096            not 'MEMIF'"
3097   parameters:
3098   - "throughput"
3099   - "parent"
3100   traces:
3101     hoverinfo: "x+y"
3102     boxpoints: "outliers"
3103     whiskerwidth: 0
3104   layout:
3105     title: ""  # No title
3106     layout: "plot-throughput"
3107
3108 # Packet Throughput - VPP L2 3n-hsw-xl710
3109 -
3110   type: "plot"
3111   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3112   algorithm: "plot_performance_box"
3113   output-file-type: ".html"
3114   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3115   data: "plot-vpp-throughput-latency-3n-hsw"
3116   filter: "'NIC_Intel-XL710' and
3117            '64B' and
3118            ('BASE' or 'SCALE') and
3119            'NDRPDR' and
3120            '1T1C' and
3121            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3122            not 'VHOST' and
3123            not 'MEMIF'"
3124   parameters:
3125   - "throughput"
3126   - "parent"
3127   traces:
3128     hoverinfo: "x+y"
3129     boxpoints: "outliers"
3130     whiskerwidth: 0
3131   layout:
3132     title: ""  # No title
3133     layout: "plot-throughput"
3134
3135 -
3136   type: "plot"
3137   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3138   algorithm: "plot_performance_box"
3139   output-file-type: ".html"
3140   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3141   data: "plot-vpp-throughput-latency-3n-hsw"
3142   filter: "'NIC_Intel-XL710' and
3143            '64B' and
3144            ('BASE' or 'SCALE') and
3145            'NDRPDR' and
3146            '1T1C' and
3147            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3148            not 'VHOST' and
3149            not 'MEMIF'"
3150   parameters:
3151   - "throughput"
3152   - "parent"
3153   traces:
3154     hoverinfo: "x+y"
3155     boxpoints: "outliers"
3156     whiskerwidth: 0
3157   layout:
3158     title: ""  # No title
3159     layout: "plot-throughput"
3160
3161 -
3162   type: "plot"
3163   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3164   algorithm: "plot_performance_box"
3165   output-file-type: ".html"
3166   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3167   data: "plot-vpp-throughput-latency-3n-hsw"
3168   filter: "'NIC_Intel-XL710' and
3169            '64B' and
3170            ('BASE' or 'SCALE') and
3171            'NDRPDR' and
3172            '2T2C' and
3173            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3174            not 'VHOST' and
3175            not 'MEMIF'"
3176   parameters:
3177   - "throughput"
3178   - "parent"
3179   traces:
3180     hoverinfo: "x+y"
3181     boxpoints: "outliers"
3182     whiskerwidth: 0
3183   layout:
3184     title: ""  # No title
3185     layout: "plot-throughput"
3186
3187 -
3188   type: "plot"
3189   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3190   algorithm: "plot_performance_box"
3191   output-file-type: ".html"
3192   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3193   data: "plot-vpp-throughput-latency-3n-hsw"
3194   filter: "'NIC_Intel-XL710' and
3195            '64B' and
3196            ('BASE' or 'SCALE') and
3197            'NDRPDR' and
3198            '2T2C' and
3199            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3200            not 'VHOST' and
3201            not 'MEMIF'"
3202   parameters:
3203   - "throughput"
3204   - "parent"
3205   traces:
3206     hoverinfo: "x+y"
3207     boxpoints: "outliers"
3208     whiskerwidth: 0
3209   layout:
3210     title: ""  # No title
3211     layout: "plot-throughput"
3212
3213 # Packet Throughput - VPP L2 3n-skx-x710
3214 -
3215   type: "plot"
3216   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3217   algorithm: "plot_performance_box"
3218   output-file-type: ".html"
3219   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3220   data: "plot-vpp-throughput-latency-3n-skx"
3221   filter: "'NIC_Intel-X710' and
3222            '64B' and
3223            ('BASE' or 'SCALE') and
3224            'NDRPDR' and
3225            '2T1C' and
3226            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3227            not 'VHOST' and
3228            not 'MEMIF'"
3229   parameters:
3230   - "throughput"
3231   - "parent"
3232   traces:
3233     hoverinfo: "x+y"
3234     boxpoints: "outliers"
3235     whiskerwidth: 0
3236   layout:
3237     title: ""  # No title
3238     layout: "plot-throughput"
3239
3240 -
3241   type: "plot"
3242   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3243   algorithm: "plot_performance_box"
3244   output-file-type: ".html"
3245   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3246   data: "plot-vpp-throughput-latency-3n-skx"
3247   filter: "'NIC_Intel-X710' and
3248            '64B' and
3249            ('BASE' or 'SCALE') and
3250            'NDRPDR' and
3251            '2T1C' and
3252            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3253            not 'VHOST' and
3254            not 'MEMIF'"
3255   parameters:
3256   - "throughput"
3257   - "parent"
3258   traces:
3259     hoverinfo: "x+y"
3260     boxpoints: "outliers"
3261     whiskerwidth: 0
3262   layout:
3263     title: ""  # No title
3264     layout: "plot-throughput"
3265
3266 -
3267   type: "plot"
3268   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3269   algorithm: "plot_performance_box"
3270   output-file-type: ".html"
3271   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3272   data: "plot-vpp-throughput-latency-3n-skx"
3273   filter: "'NIC_Intel-X710' and
3274            '64B' and
3275            ('BASE' or 'SCALE') and
3276            'NDRPDR' and
3277            '4T2C' and
3278            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3279            not 'VHOST' and
3280            not 'MEMIF'"
3281   parameters:
3282   - "throughput"
3283   - "parent"
3284   traces:
3285     hoverinfo: "x+y"
3286     boxpoints: "outliers"
3287     whiskerwidth: 0
3288   layout:
3289     title: ""  # No title
3290     layout: "plot-throughput"
3291
3292 -
3293   type: "plot"
3294   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3295   algorithm: "plot_performance_box"
3296   output-file-type: ".html"
3297   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3298   data: "plot-vpp-throughput-latency-3n-skx"
3299   filter: "'NIC_Intel-X710' and
3300            '64B' and
3301            ('BASE' or 'SCALE') and
3302            'NDRPDR' and
3303            '4T2C' and
3304            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3305            not 'VHOST' and
3306            not 'MEMIF'"
3307   parameters:
3308   - "throughput"
3309   - "parent"
3310   traces:
3311     hoverinfo: "x+y"
3312     boxpoints: "outliers"
3313     whiskerwidth: 0
3314   layout:
3315     title: ""  # No title
3316     layout: "plot-throughput"
3317
3318 -
3319   type: "plot"
3320   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3321   algorithm: "plot_performance_box"
3322   output-file-type: ".html"
3323   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3324   data: "plot-vpp-throughput-latency-3n-skx"
3325   filter: "'NIC_Intel-X710' and
3326            '64B' and
3327            'FEATURE' and
3328            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3329            'NDRPDR' and
3330            '2T1C' and
3331            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3332            not 'VHOST' and
3333            not 'MEMIF'"
3334   parameters:
3335   - "throughput"
3336   - "parent"
3337   traces:
3338     hoverinfo: "x+y"
3339     boxpoints: "outliers"
3340     whiskerwidth: 0
3341   layout:
3342     title: ""  # No title
3343     layout: "plot-throughput"
3344
3345 -
3346   type: "plot"
3347   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-pdr"
3348   algorithm: "plot_performance_box"
3349   output-file-type: ".html"
3350   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-pdr"
3351   data: "plot-vpp-throughput-latency-3n-skx"
3352   filter: "'NIC_Intel-X710' and
3353            '64B' and
3354            'FEATURE' and
3355            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3356            'NDRPDR' and
3357            '2T1C' and
3358            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3359            not 'VHOST' and
3360            not 'MEMIF'"
3361   parameters:
3362   - "throughput"
3363   - "parent"
3364   traces:
3365     hoverinfo: "x+y"
3366     boxpoints: "outliers"
3367     whiskerwidth: 0
3368   layout:
3369     title: ""  # No title
3370     layout: "plot-throughput"
3371
3372 -
3373   type: "plot"
3374   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-ndr"
3375   algorithm: "plot_performance_box"
3376   output-file-type: ".html"
3377   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-ndr"
3378   data: "plot-vpp-throughput-latency-3n-skx"
3379   filter: "'NIC_Intel-X710' and
3380            '64B' and
3381            'FEATURE' and
3382            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3383            'NDRPDR' and
3384            '4T2C' and
3385            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3386            not 'VHOST' and
3387            not 'MEMIF'"
3388   parameters:
3389   - "throughput"
3390   - "parent"
3391   traces:
3392     hoverinfo: "x+y"
3393     boxpoints: "outliers"
3394     whiskerwidth: 0
3395   layout:
3396     title: ""  # No title
3397     layout: "plot-throughput"
3398
3399 -
3400   type: "plot"
3401   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-pdr"
3402   algorithm: "plot_performance_box"
3403   output-file-type: ".html"
3404   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-pdr"
3405   data: "plot-vpp-throughput-latency-3n-skx"
3406   filter: "'NIC_Intel-X710' and
3407            '64B' and
3408            'FEATURE' and
3409            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3410            'NDRPDR' and
3411            '4T2C' and
3412            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3413            not 'VHOST' and
3414            not 'MEMIF'"
3415   parameters:
3416   - "throughput"
3417   - "parent"
3418   traces:
3419     hoverinfo: "x+y"
3420     boxpoints: "outliers"
3421     whiskerwidth: 0
3422   layout:
3423     title: ""  # No title
3424     layout: "plot-throughput"
3425
3426 # Packet Throughput - VPP L2 3n-skx-xxv710
3427 -
3428   type: "plot"
3429   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3430   algorithm: "plot_performance_box"
3431   output-file-type: ".html"
3432   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3433   data: "plot-vpp-throughput-latency-3n-skx"
3434   filter: "'NIC_Intel-XXV710' and
3435            '64B' and
3436            ('BASE' or 'SCALE') and
3437            'NDRPDR' and
3438            '2T1C' and
3439            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3440            not 'VHOST' and
3441            not 'MEMIF'"
3442   parameters:
3443   - "throughput"
3444   - "parent"
3445   traces:
3446     hoverinfo: "x+y"
3447     boxpoints: "outliers"
3448     whiskerwidth: 0
3449   layout:
3450     title: ""  # No title
3451     layout: "plot-throughput"
3452
3453 -
3454   type: "plot"
3455   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-pdr"
3456   algorithm: "plot_performance_box"
3457   output-file-type: ".html"
3458   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-pdr"
3459   data: "plot-vpp-throughput-latency-3n-skx"
3460   filter: "'NIC_Intel-XXV710' and
3461            '64B' and
3462            ('BASE' or 'SCALE') and
3463            'NDRPDR' and
3464            '2T1C' and
3465            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3466            not 'VHOST' and
3467            not 'MEMIF'"
3468   parameters:
3469   - "throughput"
3470   - "parent"
3471   traces:
3472     hoverinfo: "x+y"
3473     boxpoints: "outliers"
3474     whiskerwidth: 0
3475   layout:
3476     title: ""  # No title
3477     layout: "plot-throughput"
3478
3479 -
3480   type: "plot"
3481   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-4t2c-base_and_scale-ndr"
3482   algorithm: "plot_performance_box"
3483   output-file-type: ".html"
3484   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-4t2c-base_and_scale-ndr"
3485   data: "plot-vpp-throughput-latency-3n-skx"
3486   filter: "'NIC_Intel-XXV710' and
3487            '64B' and
3488            ('BASE' or 'SCALE') and
3489            'NDRPDR' and
3490            '4T2C' and
3491            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3492            not 'VHOST' and
3493            not 'MEMIF'"
3494   parameters:
3495   - "throughput"
3496   - "parent"
3497   traces:
3498     hoverinfo: "x+y"
3499     boxpoints: "outliers"
3500     whiskerwidth: 0
3501   layout: