resources/tools/presentation/specification.yaml

   1 - type: "environment"
   2
   3   paths:
   4     # Top level directories:
   5     ## Working directory
   6     DIR[WORKING]: "_tmp"
   7     ## Build directories
   8     DIR[BUILD,HTML]: "_build"
   9     DIR[BUILD,LATEX]: "_build_latex"
  10
  11     # Static .rst files
  12     DIR[RST]: "../../../docs/report"
  13
  14     # Working directories
  15     ## Input data files (.zip, .xml)
  16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  17     ## Static source files from git
  18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  20
  21     # Static html content
  22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  26
  27     # Detailed test results
  28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
  33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
  34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
  35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
  36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
  37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
  38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
  42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
  43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
  44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
  45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
  46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
  47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
  51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
  52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
  53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
  54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
  55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  56
  57     # Detailed test configurations
  58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
  60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
  64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
  65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
  66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
  67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
  68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
  69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
  73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
  74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
  75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
  76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
  77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  78
  79     # Detailed tests operational data
  80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
  82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
  86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
  87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
  88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
  89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
  90
  91     # Latencies:
  92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  94
  95     # .css patch file to fix tables generated by Sphinx
  96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  98
  99   urls:
 100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
 101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
 102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
 103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
 104     DIR[NEXUS,DOC]: "report/_static/archive"
 105
 106   make-dirs:
 107   # List the directories which are created while preparing the environment.
 108   # All directories MUST be defined in "paths" section.
 109   - "DIR[WORKING,DATA]"
 110   - "DIR[STATIC,VPP]"
 111   - "DIR[STATIC,DPDK]"
 112   - "DIR[STATIC,ARCH]"
 113   - "DIR[BUILD,LATEX]"
 114   - "DIR[WORKING,SRC]"
 115   - "DIR[WORKING,SRC,STATIC]"
 116
 117   remove-dirs:
 118   # List the directories which are deleted while cleaning the environment.
 119   # All directories MUST be defined in "paths" section.
 120   #- "DIR[BUILD,HTML]"
 121   - "DIR[WORKING,DATA]"
 122
 123   build-dirs:
 124   # List the directories where the results (build) is stored.
 125   # All directories MUST be defined in "paths" section.
 126   - "DIR[BUILD,HTML]"
 127   - "DIR[BUILD,LATEX]"
 128
 129 - type: "configuration"
 130
 131   mapping-file: "mapping_report.yaml"
 132
 133   limits:
 134     nic:
 135       x520: 24460000
 136       x553: 29761905
 137       x710: 35800000
 138       xxv710: 35800000
 139       xl710: 35800000
 140       cx556a: 148809523.81
 141
 142     link:
 143       10ge: 14880952.38
 144       25ge: 37202380.95
 145       40ge: 59523809.52
 146       100ge: 148809523.81
 147
 148     pci:
 149       pci-g3-x8: 74404761.90
 150       pci-g3-x16: 148809523.81
 151
 152   data-sets:
 153
 154     ###########################################################################
 155     # Plots:
 156
 157     # 3n-hsw
 158
 159     plot-vpp-throughput-lat-tsa-3n-hsw:
 160       csit-vpp-perf-report-iterative-2101-3n-hsw:
 161         - 4   # rls2101.rc1 NDRPDR iter env 6
 162         - 5   # rls2101.rc1 NDRPDR iter env 6
 163         - 6   # rls2101.rc1 NDRPDR iter env 6
 164         - 7   # rls2101.rc1 NDRPDR iter env 6
 165         - 8   # rls2101.rc1 NDRPDR iter env 6
 166         - 9   # rls2101.rc1 NDRPDR iter env 6
 167         - 10  # rls2101.rc1 NDRPDR iter env 6
 168         - 11  # rls2101.rc1 NDRPDR iter env 6
 169         - 12  # rls2101.rc1 NDRPDR iter env 6
 170         - 13  # rls2101.rc1 NDRPDR iter env 6
 171
 172     plot-vpp-hdrh-lat-3n-hsw:
 173       csit-vpp-perf-report-iterative-2101-3n-hsw:
 174         - 5   # rls2101.rc1 NDRPDR iter env 6
 175
 176     plot-vpp-hoststack-3n-hsw:
 177       # csit-vpp-perf-report-iterative-2101-3n-hsw:
 178       csit-vpp-perf-report-iterative-2009-3n-hsw:
 179         - 32  # rls2009 Hoststack iter env 5
 180         - 33  # rls2009 Hoststack iter env 5
 181         - 34  # rls2009 Hoststack iter env 5
 182         - 35  # rls2009 Hoststack iter env 5
 183         - 36  # rls2009 Hoststack iter env 5
 184         - 37  # rls2009 Hoststack iter env 5
 185         - 38  # rls2009 Hoststack iter env 5
 186         - 39  # rls2009 Hoststack iter env 5
 187         - 40  # rls2009 Hoststack iter env 5
 188         - 41  # rls2009 Hoststack iter env 5
 189
 190     plot-dpdk-throughput-latency-3n-hsw:
 191       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 192         - 11  # rls2101.rc1 NDRPDR iter env 6
 193         - 12  # rls2101.rc1 NDRPDR iter env 6
 194         - 13  # rls2101.rc1 NDRPDR iter env 6
 195         - 14  # rls2101.rc1 NDRPDR iter env 6
 196         - 16  # rls2101.rc1 NDRPDR iter env 6
 197         - 17  # rls2101.rc1 NDRPDR iter env 6
 198         - 18  # rls2101.rc1 NDRPDR iter env 6
 199         - 19  # rls2101.rc1 NDRPDR iter env 6
 200         - 20  # rls2101.rc1 NDRPDR iter env 6
 201         - 21  # rls2101.rc1 NDRPDR iter env 6
 202
 203     plot-dpdk-hdrh-lat-3n-hsw:
 204       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 205         - 11  # rls2101.rc1 NDRPDR iter env 6
 206
 207     # 3n-skx
 208
 209     plot-vpp-throughput-lat-tsa-3n-skx:
 210       csit-vpp-perf-report-iterative-2101-3n-skx:
 211         - 5   # rls2101.rc1 NDRPDR iter env 6
 212         - 6   # rls2101.rc1 NDRPDR iter env 6
 213         - 7   # rls2101.rc1 NDRPDR iter env 6
 214         - 8   # rls2101.rc1 NDRPDR iter env 6
 215         - 9   # rls2101.rc1 NDRPDR iter env 6
 216
 217     plot-vpp-hdrh-lat-3n-skx:
 218       csit-vpp-perf-report-iterative-2101-3n-skx:
 219         - 5   # rls2101.rc1 NDRPDR iter env 6
 220
 221 #    plot-vpp-nfv-3n-skx-ndrpdr:
 222 #      # No data
 223 #      csit-vpp-perf-report-iterative-2101-3n-skx:
 224
 225 #    plot-vpp-nfv-3n-skx-mrr:
 226 #      # No data
 227 #      csit-vpp-perf-report-iterative-2101-3n-skx:
 228
 229     plot-dpdk-throughput-latency-3n-skx:
 230       csit-dpdk-perf-report-iterative-2101-3n-skx:
 231         - 12  # rls2101.rc1 NDRPDR iter env 6
 232         - 14  # rls2101.rc1 NDRPDR iter env 6
 233         - 15  # rls2101.rc1 NDRPDR iter env 6
 234         - 17  # rls2101.rc1 NDRPDR iter env 6
 235         - 19  # rls2101.rc1 NDRPDR iter env 6
 236         - 20  # rls2101.rc1 NDRPDR iter env 6
 237         - 21  # rls2101.rc1 NDRPDR iter env 6
 238         - 22  # rls2101.rc1 NDRPDR iter env 6
 239
 240     plot-dpdk-hdrh-lat-3n-skx:
 241       csit-dpdk-perf-report-iterative-2101-3n-skx:
 242         - 12  # rls2101.rc1 NDRPDR iter env 6
 243
 244     # 2n-skx
 245
 246     plot-vpp-throughput-lat-tsa-2n-skx:
 247       csit-vpp-perf-report-iterative-2101-2n-skx:
 248         - 5   # rls2101.rc1 NDRPDR iter env 6
 249         - 6   # rls2101.rc1 NDRPDR iter env 6
 250         - 7   # rls2101.rc1 NDRPDR iter env 6
 251         - 8   # rls2101.rc1 NDRPDR iter env 6
 252         - 10  # rls2101.rc1 NDRPDR iter env 6
 253         - 11  # rls2101.rc1 NDRPDR iter env 6
 254         - 12  # rls2101.rc1 NDRPDR iter env 6
 255         - 13  # rls2101.rc1 NDRPDR iter env 6
 256
 257     plot-vpp-hdrh-lat-2n-skx:
 258       csit-vpp-perf-report-iterative-2101-2n-skx:
 259         - 6   # rls2101.rc1 NDRPDR iter env 6
 260
 261     plot-vpp-soak-2n-skx:
 262       # csit-vpp-perf-report-iterative-2101-2n-skx:
 263       csit-vpp-perf-report-iterative-2009-2n-skx:
 264         - 33  # rls2009 soak env 5
 265         - 34  # rls2009 soak env 5
 266
 267     plot-vpp-nfv-2n-skx-ndrpdr:
 268       # csit-vpp-perf-report-iterative-2101-2n-skx:
 269       csit-vpp-perf-report-iterative-2009-2n-skx:
 270         - 38  # rls2009 nf-density iter env 5
 271         - 41  # rls2009 nf-density iter env 5
 272         - 45  # rls2009 nf-density iter env 5
 273         - 47  # rls2009 nf-density iter env 5
 274         - 49  # rls2009 nf-density iter env 5
 275         - 63  # rls2009 nf-density iter env 5
 276         - 65  # rls2009 nf-density iter env 5
 277         - 66  # rls2009 nf-density iter env 5
 278         - 71  # rls2009 nf-density iter env 5
 279         - 72  # rls2009 nf-density iter env 5
 280
 281     plot-vpp-nfv-2n-skx-mrr:
 282       # csit-vpp-perf-report-iterative-2101-2n-skx
 283       csit-vpp-perf-report-iterative-2009-2n-skx:
 284         - 50  # rls2009 MRR nf-density iter env 5
 285
 286     plot-vpp-nfv-reconf-2n-skx:
 287       # csit-vpp-perf-report-iterative-2101-2n-skx
 288       csit-vpp-perf-report-iterative-2009-2n-skx:
 289         - 27  # rls2009 reconf env 5
 290         - 28  # rls2009 reconf env 5
 291         - 29  # rls2009 reconf env 5
 292         - 30  # rls2009 reconf env 5
 293         - 31  # rls2009 reconf env 5
 294         - 32  # rls2009 reconf env 5
 295         - 61  # rls2009 reconf env 5
 296         - 62  # rls2009 reconf env 5
 297         - 68  # rls2009 reconf env 5
 298         - 70  # rls2009 reconf env 5
 299
 300     plot-dpdk-throughput-latency-2n-skx:
 301       csit-dpdk-perf-report-iterative-2101-2n-skx:
 302         - 11  # rls2101.rc1 NDRPDR iter env 6
 303         - 12  # rls2101.rc1 NDRPDR iter env 6
 304         - 13  # rls2101.rc1 NDRPDR iter env 6
 305         - 14  # rls2101.rc1 NDRPDR iter env 6
 306         - 15  # rls2101.rc1 NDRPDR iter env 6
 307         - 17  # rls2101.rc1 NDRPDR iter env 6
 308         - 18  # rls2101.rc1 NDRPDR iter env 6
 309         - 19  # rls2101.rc1 NDRPDR iter env 6
 310         - 20  # rls2101.rc1 NDRPDR iter env 6
 311         - 21  # rls2101.rc1 NDRPDR iter env 6
 312
 313     plot-dpdk-hdrh-lat-2n-skx:
 314       csit-dpdk-perf-report-iterative-2101-2n-skx:
 315         - 11  # rls2101.rc1 NDRPDR iter env 6
 316
 317     # 2n-zn2
 318
 319     plot-vpp-throughput-lat-tsa-2n-zn2:
 320       csit-vpp-perf-report-iterative-2101-2n-zn2:
 321         - 4   # rls2101.rc1 NDRPDR iter env 6
 322         - 5   # rls2101.rc1 NDRPDR iter env 6
 323         - 6   # rls2101.rc1 NDRPDR iter env 6
 324         - 7   # rls2101.rc1 NDRPDR iter env 6
 325
 326     plot-vpp-hdrh-lat-2n-zn2:
 327       csit-vpp-perf-report-iterative-2101-2n-zn2:
 328         - 4   # rls2101.rc1 NDRPDR iter env 6
 329
 330     plot-dpdk-throughput-latency-2n-zn2:
 331       csit-dpdk-perf-report-iterative-2101-2n-zn2:
 332         - 11  # rls2101.rc1 NDRPDR iter env 6
 333         - 12  # rls2101.rc1 NDRPDR iter env 6
 334         - 13  # rls2101.rc1 NDRPDR iter env 6
 335         - 14  # rls2101.rc1 NDRPDR iter env 6
 336         - 16  # rls2101.rc1 NDRPDR iter env 6
 337         - 17  # rls2101.rc1 NDRPDR iter env 6
 338         - 18  # rls2101.rc1 NDRPDR iter env 6
 339         - 19  # rls2101.rc1 NDRPDR iter env 6
 340         - 20  # rls2101.rc1 NDRPDR iter env 6
 341         - 21  # rls2101.rc1 NDRPDR iter env 6
 342
 343     plot-dpdk-hdrh-lat-2n-zn2:
 344       csit-dpdk-perf-report-iterative-2101-2n-zn2:
 345         - 11  # rls2101.rc1 NDRPDR iter env 6
 346
 347     # 2n-clx
 348
 349     plot-vpp-throughput-lat-tsa-2n-clx:
 350       csit-vpp-perf-report-iterative-2101-2n-clx:
 351         - 4   # rls2101.rc1 NDRPDR iter env 6
 352         - 5   # rls2101.rc1 NDRPDR iter env 6
 353         - 6   # rls2101.rc1 NDRPDR iter env 6
 354         - 7   # rls2101.rc1 NDRPDR iter env 6
 355         - 8   # rls2101.rc1 NDRPDR iter env 6
 356         - 9   # rls2101.rc1 NDRPDR iter env 6
 357         - 10  # rls2101.rc1 NDRPDR iter env 6
 358         - 11  # rls2101.rc1 NDRPDR iter env 6
 359         - 12  # rls2101.rc1 NDRPDR iter env 6
 360         - 13  # rls2101.rc1 NDRPDR iter env 6
 361
 362     plot-vpp-hdrh-lat-2n-clx:
 363       csit-vpp-perf-report-iterative-2101-2n-clx:
 364         - 6   # rls2101.rc1 NDRPDR iter env 6
 365
 366     plot-vpp-nfv-2n-clx-ndrpdr:
 367       # csit-vpp-perf-report-iterative-2101-2n-clx:
 368       csit-vpp-perf-report-iterative-2009-2n-clx:
 369         - 37  # rls2009 nf-density iter env 5
 370         - 43  # rls2009 nf-density iter env 5
 371         - 69  # rls2009 nf-density iter env 5
 372         - 70  # rls2009 nf-density iter env 5
 373         - 71  # rls2009 nf-density iter env 5
 374         - 72  # rls2009 nf-density iter env 5
 375         - 73  # rls2009 nf-density iter env 5
 376         - 74  # rls2009 nf-density iter env 5
 377         - 75  # rls2009 nf-density iter env 5
 378         - 76  # rls2009 nf-density iter env 5
 379
 380     plot-vpp-nfv-2n-clx-mrr:
 381       # csit-vpp-perf-report-iterative-2101-2n-clx:
 382       csit-vpp-perf-report-iterative-2009-2n-clx:
 383         - 45  # rls2009 MRR nf-density iter env 5
 384
 385     plot-vpp-nfv-reconf-2n-clx:
 386       # csit-vpp-perf-report-iterative-2101-2n-clx:
 387       csit-vpp-perf-report-iterative-2009-2n-clx:
 388         - 25  # rls2009 reconf env 5
 389         - 27  # rls2009 reconf env 5
 390         - 28  # rls2009 reconf env 5
 391         - 29  # rls2009 reconf env 5
 392         - 30  # rls2009 reconf env 5
 393         - 30  # rls2009 reconf env 5
 394         - 32  # rls2009 reconf env 5
 395         - 48  # rls2009 reconf env 5
 396         - 53  # rls2009 reconf env 5
 397         - 68  # rls2009 reconf env 5
 398
 399     plot-vpp-soak-2n-clx:
 400       # csit-vpp-perf-report-iterative-2101-2n-clx:
 401       csit-vpp-perf-report-iterative-2009-2n-clx:
 402         - 33  # rls2009 soak env 5
 403         - 34  # rls2009 soak env 5
 404
 405     plot-dpdk-throughput-latency-2n-clx:
 406       csit-dpdk-perf-report-iterative-2101-2n-clx:
 407         - 12  # rls2101.rc1 NDRPDR iter env 6
 408         - 13  # rls2101.rc1 NDRPDR iter env 6
 409         - 14  # rls2101.rc1 NDRPDR iter env 6
 410         - 18  # rls2101.rc1 NDRPDR iter env 6
 411         - 22  # rls2101.rc1 NDRPDR iter env 6
 412
 413     plot-dpdk-hdrh-lat-2n-clx:
 414       csit-dpdk-perf-report-iterative-2101-2n-clx:
 415         - 12  # rls2101.rc1 NDRPDR iter env 6
 416
 417     # 3n-tsh
 418
 419     plot-vpp-throughput-lat-tsa-3n-tsh:
 420       csit-vpp-perf-report-iterative-2101-3n-tsh:
 421         - 3   # rls2101.rc1 NDRPDR iter env 6
 422         - 5   # rls2101.rc1 NDRPDR iter env 6
 423
 424     plot-vpp-hdrh-lat-3n-tsh:
 425       csit-vpp-perf-report-iterative-2101-3n-tsh:
 426         - 3   # rls2101.rc1 NDRPDR iter env 6
 427
 428     plot-dpdk-throughput-latency-3n-tsh:
 429       csit-dpdk-perf-report-iterative-2101-3n-tsh:
 430         - 11  # rls2101.rc1 NDRPDR iter env 6
 431         - 12  # rls2101.rc1 NDRPDR iter env 6
 432         - 13  # rls2101.rc1 NDRPDR iter env 6
 433         - 14  # rls2101.rc1 NDRPDR iter env 6
 434         - 16  # rls2101.rc1 NDRPDR iter env 6
 435         - 17  # rls2101.rc1 NDRPDR iter env 6
 436         - 18  # rls2101.rc1 NDRPDR iter env 6
 437         - 19  # rls2101.rc1 NDRPDR iter env 6
 438         - 20  # rls2101.rc1 NDRPDR iter env 6
 439         - 21  # rls2101.rc1 NDRPDR iter env 6
 440
 441     plot-dpdk-hdrh-lat-3n-tsh:
 442       csit-dpdk-perf-report-iterative-2101-3n-tsh:
 443         - 21  # rls2101.rc1 NDRPDR iter env 6
 444
 445     # 3n-dnv
 446
 447     plot-vpp-throughput-lat-tsa-3n-dnv:
 448       csit-vpp-perf-report-iterative-2101-3n-dnv:
 449         - 3   # rls2101.rc1 NDRPDR iter env 6
 450         - 4   # rls2101.rc1 NDRPDR iter env 6
 451         - 5   # rls2101.rc1 NDRPDR iter env 6
 452         - 6   # rls2101.rc1 NDRPDR iter env 6
 453         - 7   # rls2101.rc1 NDRPDR iter env 6
 454         - 8   # rls2101.rc1 NDRPDR iter env 6
 455         - 9   # rls2101.rc1 NDRPDR iter env 6
 456         - 10  # rls2101.rc1 NDRPDR iter env 6
 457         - 11  # rls2101.rc1 NDRPDR iter env 6
 458         - 12  # rls2101.rc1 NDRPDR iter env 6
 459
 460 #    plot-dpdk-throughput-latency-3n-dnv:
 461 #      # No data
 462 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 463
 464     # 2n-dnv
 465
 466     plot-vpp-throughput-lat-tsa-2n-dnv:
 467       csit-vpp-perf-report-iterative-2101-2n-dnv:
 468         - 3   # rls2101.rc1 NDRPDR iter env 6
 469         - 4   # rls2101.rc1 NDRPDR iter env 6
 470         - 5   # rls2101.rc1 NDRPDR iter env 6
 471         - 6   # rls2101.rc1 NDRPDR iter env 6
 472         - 7   # rls2101.rc1 NDRPDR iter env 6
 473         - 8   # rls2101.rc1 NDRPDR iter env 6
 474         - 9   # rls2101.rc1 NDRPDR iter env 6
 475         - 10  # rls2101.rc1 NDRPDR iter env 6
 476         - 11  # rls2101.rc1 NDRPDR iter env 6
 477         - 12  # rls2101.rc1 NDRPDR iter env 6
 478
 479 #    plot-dpdk-throughput-latency-2n-dnv:
 480 #      # No data
 481 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 482
 483     ###########################################################################
 484     # Simple tables (only one data set):
 485
 486     # NIC Comparisons
 487
 488     vpp-nic-comparison-3n-skx:
 489       csit-vpp-perf-report-iterative-2101-3n-skx:
 490         - 5   # rls2101.rc1 NDRPDR iter env 6
 491         - 6   # rls2101.rc1 NDRPDR iter env 6
 492         - 7   # rls2101.rc1 NDRPDR iter env 6
 493         - 8   # rls2101.rc1 NDRPDR iter env 6
 494         - 9   # rls2101.rc1 NDRPDR iter env 6
 495
 496     vpp-nic-comparison-2n-skx:
 497       csit-vpp-perf-report-iterative-2101-2n-skx:
 498         - 5   # rls2101.rc1 NDRPDR iter env 6
 499         - 6   # rls2101.rc1 NDRPDR iter env 6
 500         - 7   # rls2101.rc1 NDRPDR iter env 6
 501         - 8   # rls2101.rc1 NDRPDR iter env 6
 502         - 10  # rls2101.rc1 NDRPDR iter env 6
 503         - 11  # rls2101.rc1 NDRPDR iter env 6
 504         - 12  # rls2101.rc1 NDRPDR iter env 6
 505         - 13  # rls2101.rc1 NDRPDR iter env 6
 506
 507     vpp-nic-comparison-3n-skx-mrr:
 508       csit-vpp-perf-report-iterative-2101-3n-skx:
 509         - 4   # rls2101.rc1 MRR iter env 6
 510
 511     vpp-nic-comparison-2n-skx-mrr:
 512       csit-vpp-perf-report-iterative-2101-2n-skx:
 513         - 3   # rls2101.rc1 MRR iter env 6
 514
 515     # Results
 516
 517     vpp-perf-results-3n-hsw:
 518       # csit-vpp-perf-report-coverage-2101-3n-hsw:
 519       csit-vpp-perf-report-iterative-2101-3n-hsw:
 520         - 13  # rls2101.rc1 NDRPDR iter env 6
 521
 522     vpp-perf-results-3n-skx:
 523       # csit-vpp-perf-report-coverage-2101-3n-skx:
 524       csit-vpp-perf-report-iterative-2101-3n-skx:
 525         - 5   # rls2101.rc1 NDRPDR iter env 6
 526
 527     vpp-perf-results-2n-skx:
 528       # csit-vpp-perf-report-coverage-2101-2n-skx:
 529       csit-vpp-perf-report-iterative-2101-2n-skx:
 530         - 6   # rls2101.rc1 NDRPDR iter env 6
 531
 532     vpp-perf-results-2n-zn2:
 533       csit-vpp-perf-report-iterative-2101-2n-zn2:
 534         - 4   # rls2101.rc1 NDRPDR iter env 6
 535
 536     vpp-perf-results-2n-clx:
 537       # csit-vpp-perf-report-coverage-2101-2n-clx:
 538       csit-vpp-perf-report-iterative-2101-2n-clx:
 539         - 6   # rls2101.rc1 NDRPDR iter env 6
 540
 541     vpp-perf-results-3n-tsh:
 542       csit-vpp-perf-report-iterative-2101-3n-tsh:
 543         - 3   # rls2101.rc1 NDRPDR iter env 6
 544
 545     vpp-perf-results-3n-dnv:
 546       # csit-vpp-perf-report-coverage-2101-3n-dnv:
 547       csit-vpp-perf-report-iterative-2101-3n-dnv:
 548         - 4   # rls2101.rc1 NDRPDR iter env 6
 549
 550     vpp-perf-results-2n-dnv:
 551       # csit-vpp-perf-report-coverage-2101-2n-dnv:
 552       csit-vpp-perf-report-iterative-2101-2n-dnv:
 553         - 3   # rls2101.rc1 NDRPDR iter env 6
 554
 555     vpp-mrr-results-3n-hsw:
 556       csit-vpp-perf-report-iterative-2101-3n-hsw:
 557         - 3   # rls2101.rc1 MRR iter env 6
 558
 559     vpp-mrr-results-3n-skx:
 560       csit-vpp-perf-report-iterative-2101-3n-skx:
 561         - 4   # rls2101.rc1 MRR iter env 6
 562
 563     vpp-mrr-results-2n-skx:
 564       csit-vpp-perf-report-iterative-2101-2n-skx:
 565         - 3   # rls2101.rc1 MRR iter env 6
 566
 567     vpp-mrr-results-2n-zn2:
 568       csit-vpp-perf-report-iterative-2101-2n-zn2:
 569         - 3   # rls2101.rc1 MRR iter env 6
 570
 571     vpp-mrr-results-2n-clx:
 572       csit-vpp-perf-report-iterative-2101-2n-clx:
 573         - 3   # rls2101.rc1 MRR iter env 6
 574
 575     vpp-mrr-results-3n-tsh:
 576       csit-vpp-perf-report-iterative-2101-3n-tsh:
 577         - 2   # rls2101.rc1 MRR iter env 6
 578
 579     vpp-mrr-results-3n-dnv:
 580       csit-vpp-perf-report-iterative-2101-3n-dnv:
 581         - 2   # rls2101.rc1 MRR iter env 6
 582
 583     vpp-mrr-results-2n-dnv:
 584       csit-vpp-perf-report-iterative-2101-2n-dnv:
 585         - 2   # rls2101.rc1 MRR iter env 6
 586
 587     vpp-device-results-ubuntu:
 588       csit-vpp-device-2101-ubuntu1804-1n-skx:
 589         - 66  # rls2101.rc1 VPP DEV env6
 590
 591     dpdk-perf-results-3n-hsw:
 592       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 593         - 11  # rls2101.rc1 NDRPDR iter env 6
 594
 595     dpdk-perf-results-3n-skx:
 596       csit-dpdk-perf-report-iterative-2101-3n-skx:
 597         - 12  # rls2101.rc1 NDRPDR iter env 6
 598
 599     dpdk-perf-results-2n-skx:
 600       csit-dpdk-perf-report-iterative-2101-2n-skx:
 601         - 11  # rls2101.rc1 NDRPDR iter env 6
 602
 603     dpdk-perf-results-2n-zn2:
 604       csit-dpdk-perf-report-iterative-2101-2n-zn2:
 605         - 11  # rls2101.rc1 NDRPDR iter env 6
 606
 607     dpdk-perf-results-2n-clx:
 608       csit-dpdk-perf-report-iterative-2101-2n-clx:
 609         - 12  # rls2101.rc1 NDRPDR iter env 6
 610
 611 #    dpdk-perf-results-2n-dnv:
 612 #      # No data
 613 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 614
 615 #    dpdk-perf-results-3n-dnv:
 616 #      # No data
 617 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 618
 619     dpdk-perf-results-3n-tsh:
 620       csit-dpdk-perf-report-iterative-2101-3n-tsh:
 621         - 21  # rls2101.rc1 NDRPDR iter env 6
 622
 623 ###########################################################################
 624     # Tables (more than one data set)
 625
 626     # Performance changes
 627
 628     vpp-performance-changes-3n-hsw-h1:
 629       csit-vpp-perf-report-iterative-2009-3n-hsw:
 630         - 9   # rls2005 NDRPDR iter env 5
 631         - 10  # rls2005 NDRPDR iter env 5
 632         - 11  # rls2005 NDRPDR iter env 5
 633         - 12  # rls2005 NDRPDR iter env 5
 634         - 13  # rls2005 NDRPDR iter env 5
 635         - 14  # rls2005 NDRPDR iter env 5
 636         - 15  # rls2005 NDRPDR iter env 5
 637         - 16  # rls2005 NDRPDR iter env 5
 638         - 17  # rls2005 NDRPDR iter env 5
 639         - 19  # rls2005 NDRPDR iter env 5
 640     vpp-performance-changes-3n-hsw-ref-env-old:
 641       csit-vpp-perf-report-iterative-2009-3n-hsw:
 642         - 21  # rls2009 NDRPDR iter env 5
 643         - 22  # rls2009 NDRPDR iter env 5
 644         - 24  # rls2009 NDRPDR iter env 5
 645         - 25  # rls2009 NDRPDR iter env 5
 646         - 26  # rls2009 NDRPDR iter env 5
 647         - 27  # rls2009 NDRPDR iter env 5
 648         - 28  # rls2009 NDRPDR iter env 5
 649         - 29  # rls2009 NDRPDR iter env 5
 650         - 30  # rls2009 NDRPDR iter env 5
 651         - 31  # rls2009 NDRPDR iter env 5
 652     vpp-performance-changes-3n-hsw-ref-env-new:
 653       csit-vpp-perf-report-iterative-2101-3n-hsw:
 654         - 19  # rls2009 NDRPDR iter env 6
 655     vpp-performance-changes-3n-hsw-cmp:
 656       csit-vpp-perf-report-iterative-2101-3n-hsw:
 657         - 4   # rls2101.rc1 NDRPDR iter env 6
 658         - 5   # rls2101.rc1 NDRPDR iter env 6
 659         - 6   # rls2101.rc1 NDRPDR iter env 6
 660         - 7   # rls2101.rc1 NDRPDR iter env 6
 661         - 8   # rls2101.rc1 NDRPDR iter env 6
 662         - 9   # rls2101.rc1 NDRPDR iter env 6
 663         - 10  # rls2101.rc1 NDRPDR iter env 6
 664         - 11  # rls2101.rc1 NDRPDR iter env 6
 665         - 12  # rls2101.rc1 NDRPDR iter env 6
 666         - 13  # rls2101.rc1 NDRPDR iter env 6
 667
 668     vpp-performance-changes-3n-skx-h1:
 669       csit-vpp-perf-report-iterative-2009-3n-skx:
 670         - 13  # rls2005 NDRPDR iter env 5
 671         - 18  # rls2005 NDRPDR iter env 5
 672         - 19  # rls2005 NDRPDR iter env 5
 673         - 41  # rls2005 NDRPDR iter env 5
 674         - 43  # rls2005 NDRPDR iter env 5
 675         - 44  # rls2005 NDRPDR iter env 5
 676         - 45  # rls2005 NDRPDR iter env 5
 677         - 46  # rls2005 NDRPDR iter env 5
 678         - 48  # rls2005 NDRPDR iter env 5
 679         - 49  # rls2005 NDRPDR iter env 5
 680     vpp-performance-changes-3n-skx-ref-env-old:
 681       csit-vpp-perf-report-iterative-2009-3n-skx:
 682         - 26  # rls2009 NDRPDR iter env 5
 683         - 27  # rls2009 NDRPDR iter env 5
 684         - 28  # rls2009 NDRPDR iter env 5
 685         - 29  # rls2009 NDRPDR iter env 5
 686         - 35  # rls2009 NDRPDR iter env 5
 687         - 36  # rls2009 NDRPDR iter env 5
 688         - 37  # rls2009 NDRPDR iter env 5
 689         - 38  # rls2009 NDRPDR iter env 5
 690         - 39  # rls2009 NDRPDR iter env 5
 691         - 40  # rls2009 NDRPDR iter env 5
 692     vpp-performance-changes-3n-skx-ref-env-new:
 693       # TODO: Re-test in new env
 694       csit-vpp-perf-report-iterative-2009-3n-skx:
 695         - 26  # rls2009 NDRPDR iter env 5
 696         - 27  # rls2009 NDRPDR iter env 5
 697         - 28  # rls2009 NDRPDR iter env 5
 698         - 29  # rls2009 NDRPDR iter env 5
 699         - 35  # rls2009 NDRPDR iter env 5
 700         - 36  # rls2009 NDRPDR iter env 5
 701         - 37  # rls2009 NDRPDR iter env 5
 702         - 38  # rls2009 NDRPDR iter env 5
 703         - 39  # rls2009 NDRPDR iter env 5
 704         - 40  # rls2009 NDRPDR iter env 5
 705     vpp-performance-changes-3n-skx-cmp:
 706       csit-vpp-perf-report-iterative-2101-3n-skx:
 707         - 5   # rls2101.rc1 NDRPDR iter env 6
 708         - 6   # rls2101.rc1 NDRPDR iter env 6
 709         - 7   # rls2101.rc1 NDRPDR iter env 6
 710         - 8   # rls2101.rc1 NDRPDR iter env 6
 711         - 9   # rls2101.rc1 NDRPDR iter env 6
 712
 713     vpp-performance-changes-2n-skx-h1:
 714       csit-vpp-perf-report-iterative-2009-2n-skx:
 715         - 13  # rls2005 NDRPDR iter env 5
 716         - 16  # rls2005 NDRPDR iter env 5
 717         - 17  # rls2005 NDRPDR iter env 5
 718         - 18  # rls2005 NDRPDR iter env 5
 719         - 19  # rls2005 NDRPDR iter env 5
 720         - 21  # rls2005 NDRPDR iter env 5
 721         - 22  # rls2005 NDRPDR iter env 5
 722         - 23  # rls2005 NDRPDR iter env 5
 723         - 24  # rls2005 NDRPDR iter env 5
 724         - 25  # rls2005 NDRPDR iter env 5
 725     vpp-performance-changes-2n-skx-ref-env-old:
 726       csit-vpp-perf-report-iterative-2009-2n-skx:
 727         - 35  # rls2009 NDRPDR iter env 5
 728         - 36  # rls2009 NDRPDR iter env 5
 729         - 37  # rls2009 NDRPDR iter env 5
 730         - 39  # rls2009 NDRPDR iter env 5
 731         - 40  # rls2009 NDRPDR iter env 5
 732         - 42  # rls2009 NDRPDR iter env 5
 733         - 43  # rls2009 NDRPDR iter env 5
 734         - 44  # rls2009 NDRPDR iter env 5
 735         - 46  # rls2009 NDRPDR iter env 5
 736         - 48  # rls2009 NDRPDR iter env 5
 737         - 110 # rls2009 NDRPDR iter NAT44 env 5
 738         - 111 # rls2009 NDRPDR iter NAT44 env 5
 739         - 112 # rls2009 NDRPDR iter NAT44 env 5
 740         - 113 # rls2009 NDRPDR iter NAT44 env 5
 741         - 114 # rls2009 NDRPDR iter NAT44 env 5
 742         - 115 # rls2009 NDRPDR iter NAT44 env 5
 743         - 116 # rls2009 NDRPDR iter NAT44 env 5
 744         - 118 # rls2009 NDRPDR iter NAT44 env 5
 745         - 119 # rls2009 NDRPDR iter NAT44 env 5
 746         - 121 # rls2009 NDRPDR iter NAT44 env 5
 747     vpp-performance-changes-2n-skx-ref-env-new:
 748       # TODO: Re-test in new env
 749       csit-vpp-perf-report-iterative-2009-2n-skx:
 750         - 35  # rls2009 NDRPDR iter env 5
 751         - 36  # rls2009 NDRPDR iter env 5
 752         - 37  # rls2009 NDRPDR iter env 5
 753         - 39  # rls2009 NDRPDR iter env 5
 754         - 40  # rls2009 NDRPDR iter env 5
 755         - 42  # rls2009 NDRPDR iter env 5
 756         - 43  # rls2009 NDRPDR iter env 5
 757         - 44  # rls2009 NDRPDR iter env 5
 758         - 46  # rls2009 NDRPDR iter env 5
 759         - 48  # rls2009 NDRPDR iter env 5
 760         - 110 # rls2009 NDRPDR iter NAT44 env 5
 761         - 111 # rls2009 NDRPDR iter NAT44 env 5
 762         - 112 # rls2009 NDRPDR iter NAT44 env 5
 763         - 113 # rls2009 NDRPDR iter NAT44 env 5
 764         - 114 # rls2009 NDRPDR iter NAT44 env 5
 765         - 115 # rls2009 NDRPDR iter NAT44 env 5
 766         - 116 # rls2009 NDRPDR iter NAT44 env 5
 767         - 118 # rls2009 NDRPDR iter NAT44 env 5
 768         - 119 # rls2009 NDRPDR iter NAT44 env 5
 769         - 121 # rls2009 NDRPDR iter NAT44 env 5
 770     vpp-performance-changes-2n-skx-cmp:
 771       csit-vpp-perf-report-iterative-2101-2n-skx:
 772         - 5   # rls2101.rc1 NDRPDR iter env 6
 773         - 6   # rls2101.rc1 NDRPDR iter env 6
 774         - 7   # rls2101.rc1 NDRPDR iter env 6
 775         - 8   # rls2101.rc1 NDRPDR iter env 6
 776         - 10  # rls2101.rc1 NDRPDR iter env 6
 777         - 11  # rls2101.rc1 NDRPDR iter env 6
 778         - 12  # rls2101.rc1 NDRPDR iter env 6
 779         - 13  # rls2101.rc1 NDRPDR iter env 6
 780
 781     vpp-performance-changes-2n-clx-h1:
 782       csit-vpp-perf-report-iterative-2009-2n-clx:
 783         - 13  # rls2005 NDRPDR iter env 5
 784         - 15  # rls2005 NDRPDR iter env 5
 785         - 17  # rls2005 NDRPDR iter env 5
 786         - 18  # rls2005 NDRPDR iter env 5
 787         - 19  # rls2005 NDRPDR iter env 5
 788         - 20  # rls2005 NDRPDR iter env 5
 789         - 21  # rls2005 NDRPDR iter env 5
 790         - 22  # rls2005 NDRPDR iter env 5
 791         - 23  # rls2005 NDRPDR iter env 5
 792         - 24  # rls2005 NDRPDR iter env 5
 793     vpp-performance-changes-2n-clx-ref-env-old:
 794       csit-vpp-perf-report-iterative-2009-2n-clx:
 795         - 36  # rls2009 NDRPDR iter env 5
 796         - 39  # rls2009 NDRPDR iter env 5
 797         - 40  # rls2009 NDRPDR iter env 5
 798         - 65  # rls2009 NDRPDR iter env 5
 799         - 66  # rls2009 NDRPDR iter env 5
 800         - 79  # rls2009 NDRPDR iter env 5
 801         - 82  # rls2009 NDRPDR iter env 5
 802         - 88  # rls2009 NDRPDR iter env 5
 803         - 89  # rls2009 NDRPDR iter env 5
 804         - 90  # rls2009 NDRPDR iter env 5
 805         - 114 # rls2009 NDRPDR iter NAT44 env 5
 806         - 115 # rls2009 NDRPDR iter NAT44 env 5
 807         - 116 # rls2009 NDRPDR iter NAT44 env 5
 808         - 117 # rls2009 NDRPDR iter NAT44 env 5
 809         - 118 # rls2009 NDRPDR iter NAT44 env 5
 810         - 119 # rls2009 NDRPDR iter NAT44 env 5
 811         - 121 # rls2009 NDRPDR iter NAT44 env 5
 812         - 122 # rls2009 NDRPDR iter NAT44 env 5
 813         - 123 # rls2009 NDRPDR iter NAT44 env 5
 814         - 126 # rls2009 NDRPDR iter NAT44 env 5
 815     vpp-performance-changes-2n-clx-ref-env-new:
 816       # TODO: Re-test in new env
 817       csit-vpp-perf-report-iterative-2009-2n-clx:
 818         - 36  # rls2009 NDRPDR iter env 5
 819         - 39  # rls2009 NDRPDR iter env 5
 820         - 40  # rls2009 NDRPDR iter env 5
 821         - 65  # rls2009 NDRPDR iter env 5
 822         - 66  # rls2009 NDRPDR iter env 5
 823         - 79  # rls2009 NDRPDR iter env 5
 824         - 82  # rls2009 NDRPDR iter env 5
 825         - 88  # rls2009 NDRPDR iter env 5
 826         - 89  # rls2009 NDRPDR iter env 5
 827         - 90  # rls2009 NDRPDR iter env 5
 828         - 114 # rls2009 NDRPDR iter NAT44 env 5
 829         - 115 # rls2009 NDRPDR iter NAT44 env 5
 830         - 116 # rls2009 NDRPDR iter NAT44 env 5
 831         - 117 # rls2009 NDRPDR iter NAT44 env 5
 832         - 118 # rls2009 NDRPDR iter NAT44 env 5
 833         - 119 # rls2009 NDRPDR iter NAT44 env 5
 834         - 121 # rls2009 NDRPDR iter NAT44 env 5
 835         - 122 # rls2009 NDRPDR iter NAT44 env 5
 836         - 123 # rls2009 NDRPDR iter NAT44 env 5
 837         - 126 # rls2009 NDRPDR iter NAT44 env 5
 838     vpp-performance-changes-2n-clx-cmp:
 839       csit-vpp-perf-report-iterative-2101-2n-clx:
 840         - 4   # rls2101.rc1 NDRPDR iter env 6
 841         - 5   # rls2101.rc1 NDRPDR iter env 6
 842         - 6   # rls2101.rc1 NDRPDR iter env 6
 843         - 7   # rls2101.rc1 NDRPDR iter env 6
 844         - 8   # rls2101.rc1 NDRPDR iter env 6
 845         - 9   # rls2101.rc1 NDRPDR iter env 6
 846         - 10  # rls2101.rc1 NDRPDR iter env 6
 847         - 11  # rls2101.rc1 NDRPDR iter env 6
 848         - 12  # rls2101.rc1 NDRPDR iter env 6
 849         - 13  # rls2101.rc1 NDRPDR iter env 6
 850
 851     vpp-performance-changes-2n-zn2-ref-env-old:
 852       csit-vpp-perf-report-iterative-2009-2n-zn2:
 853         - 17  # rls2009 NDRPDR iter env 5
 854         - 18  # rls2009 NDRPDR iter env 5
 855         - 31  # rls2009 NDRPDR iter env 5
 856         - 33  # rls2009 NDRPDR iter env 5
 857         - 34  # rls2009 NDRPDR iter env 5
 858     vpp-performance-changes-2n-zn2-ref-env-new:
 859       csit-vpp-perf-report-iterative-2101-2n-zn2:
 860         - 9   # rls2009 NDRPDR iter env 6
 861     vpp-performance-changes-2n-zn2-cmp:
 862       csit-vpp-perf-report-iterative-2101-2n-zn2:
 863         - 4   # rls2101.rc1 NDRPDR iter env 6
 864         - 5   # rls2101.rc1 NDRPDR iter env 6
 865         - 6   # rls2101.rc1 NDRPDR iter env 6
 866         - 7   # rls2101.rc1 NDRPDR iter env 6
 867
 868     vpp-performance-changes-2n-dnv-h1:
 869       csit-vpp-perf-report-iterative-2009-2n-dnv:
 870         - 16  # rls2005 NDRPDR iter env 5
 871         - 17  # rls2005 NDRPDR iter env 5
 872         - 18  # rls2005 NDRPDR iter env 5
 873         - 19  # rls2005 NDRPDR iter env 5
 874         - 21  # rls2005 NDRPDR iter env 5
 875         - 24  # rls2005 NDRPDR iter env 5
 876         - 27  # rls2005 NDRPDR iter env 5
 877         - 28  # rls2005 NDRPDR iter env 5
 878         - 29  # rls2005 NDRPDR iter env 5
 879         - 30  # rls2005 NDRPDR iter env 5
 880     vpp-performance-changes-2n-dnv-ref-env-old:
 881       csit-vpp-perf-report-iterative-2009-2n-dnv:
 882         - 3   # rls2009 NDRPDR iter env 5
 883         - 5   # rls2009 NDRPDR iter env 5
 884         - 6   # rls2009 NDRPDR iter env 5
 885         - 7   # rls2009 NDRPDR iter env 5
 886         - 9   # rls2009 NDRPDR iter env 5
 887         - 10  # rls2009 NDRPDR iter env 5
 888         - 11  # rls2009 NDRPDR iter env 5
 889         - 12  # rls2009 NDRPDR iter env 5
 890         - 14  # rls2009 NDRPDR iter env 5
 891         - 15  # rls2009 NDRPDR iter env 5
 892     vpp-performance-changes-2n-dnv-ref-env-new:
 893       # TODO: Re-test in new env
 894       csit-vpp-perf-report-iterative-2009-2n-dnv:
 895         - 3   # rls2009 NDRPDR iter env 5
 896         - 5   # rls2009 NDRPDR iter env 5
 897         - 6   # rls2009 NDRPDR iter env 5
 898         - 7   # rls2009 NDRPDR iter env 5
 899         - 9   # rls2009 NDRPDR iter env 5
 900         - 10  # rls2009 NDRPDR iter env 5
 901         - 11  # rls2009 NDRPDR iter env 5
 902         - 12  # rls2009 NDRPDR iter env 5
 903         - 14  # rls2009 NDRPDR iter env 5
 904         - 15  # rls2009 NDRPDR iter env 5
 905     vpp-performance-changes-2n-dnv-cmp:
 906       csit-vpp-perf-report-iterative-2101-2n-dnv:
 907         - 3   # rls2101.rc1 NDRPDR iter env 6
 908         - 4   # rls2101.rc1 NDRPDR iter env 6
 909         - 5   # rls2101.rc1 NDRPDR iter env 6
 910         - 6   # rls2101.rc1 NDRPDR iter env 6
 911         - 7   # rls2101.rc1 NDRPDR iter env 6
 912         - 8   # rls2101.rc1 NDRPDR iter env 6
 913         - 9   # rls2101.rc1 NDRPDR iter env 6
 914         - 10  # rls2101.rc1 NDRPDR iter env 6
 915         - 11  # rls2101.rc1 NDRPDR iter env 6
 916         - 12  # rls2101.rc1 NDRPDR iter env 6
 917
 918     vpp-performance-changes-3n-dnv-h1:
 919       csit-vpp-perf-report-iterative-2009-3n-dnv:
 920         - 16  # rls2005 NDRPDR iter env 5
 921         - 23  # rls2005 NDRPDR iter env 5
 922         - 25  # rls2005 NDRPDR iter env 5
 923         - 26  # rls2005 NDRPDR iter env 5
 924         - 27  # rls2005 NDRPDR iter env 5
 925         - 28  # rls2005 NDRPDR iter env 5
 926         - 29  # rls2005 NDRPDR iter env 5
 927         - 30  # rls2005 NDRPDR iter env 5
 928         - 31  # rls2005 NDRPDR iter env 5
 929         - 32  # rls2005 NDRPDR iter env 5
 930     vpp-performance-changes-3n-dnv-ref-env-old:
 931       csit-vpp-perf-report-iterative-2009-3n-dnv:
 932         - 3   # rls2009 NDRPDR iter env 5
 933         - 6   # rls2009 NDRPDR iter env 5
 934         - 7   # rls2009 NDRPDR iter env 5
 935         - 8   # rls2009 NDRPDR iter env 5
 936         - 10  # rls2009 NDRPDR iter env 5
 937         - 11  # rls2009 NDRPDR iter env 5
 938         - 12  # rls2009 NDRPDR iter env 5
 939         - 14  # rls2009 NDRPDR iter env 5
 940         - 15  # rls2009 NDRPDR iter env 5
 941         - 24  # rls2009 NDRPDR iter env 5
 942     vpp-performance-changes-3n-dnv-ref-env-new:
 943       # TODO: Re-test in new env
 944       csit-vpp-perf-report-iterative-2009-3n-dnv:
 945         - 3   # rls2009 NDRPDR iter env 5
 946         - 6   # rls2009 NDRPDR iter env 5
 947         - 7   # rls2009 NDRPDR iter env 5
 948         - 8   # rls2009 NDRPDR iter env 5
 949         - 10  # rls2009 NDRPDR iter env 5
 950         - 11  # rls2009 NDRPDR iter env 5
 951         - 12  # rls2009 NDRPDR iter env 5
 952         - 14  # rls2009 NDRPDR iter env 5
 953         - 15  # rls2009 NDRPDR iter env 5
 954         - 24  # rls2009 NDRPDR iter env 5
 955     vpp-performance-changes-3n-dnv-cmp:
 956       csit-vpp-perf-report-iterative-2101-3n-dnv:
 957         - 3   # rls2101.rc1 NDRPDR iter env 6
 958         - 4   # rls2101.rc1 NDRPDR iter env 6
 959         - 5   # rls2101.rc1 NDRPDR iter env 6
 960         - 6   # rls2101.rc1 NDRPDR iter env 6
 961         - 7   # rls2101.rc1 NDRPDR iter env 6
 962         - 8   # rls2101.rc1 NDRPDR iter env 6
 963         - 9   # rls2101.rc1 NDRPDR iter env 6
 964         - 10  # rls2101.rc1 NDRPDR iter env 6
 965         - 11  # rls2101.rc1 NDRPDR iter env 6
 966         - 12  # rls2101.rc1 NDRPDR iter env 6
 967
 968     vpp-performance-changes-3n-tsh-h1:
 969       csit-vpp-perf-report-iterative-2009-3n-tsh:
 970         - 8   # rls2005 NDRPDR iter env 5
 971         - 11  # rls2005 NDRPDR iter env 5
 972         - 12  # rls2005 NDRPDR iter env 5
 973         - 24  # rls2005 NDRPDR iter env 5
 974         - 27  # rls2005 NDRPDR iter env 5
 975         - 29  # rls2005 NDRPDR iter env 5
 976         - 31  # rls2005 NDRPDR iter env 5
 977         - 39  # rls2005 NDRPDR iter env 5
 978         - 40  # rls2005 NDRPDR iter env 5
 979         - 42  # rls2005 NDRPDR iter env 5
 980     vpp-performance-changes-3n-tsh-ref-env-old:
 981       csit-vpp-perf-report-iterative-2009-3n-tsh:
 982         - 14  # rls2009 NDRPDR iter env 5
 983         - 20  # rls2009 NDRPDR iter env 5
 984         - 21  # rls2009 NDRPDR iter env 5
 985         - 22  # rls2009 NDRPDR iter env 5
 986         - 23  # rls2009 NDRPDR iter env 5
 987         - 28  # rls2009 NDRPDR iter env 5
 988         - 30  # rls2009 NDRPDR iter env 5
 989         - 33  # rls2009 NDRPDR iter env 5
 990         - 38  # rls2009 NDRPDR iter env 5
 991         - 41  # rls2009 NDRPDR iter env 5
 992     vpp-performance-changes-3n-tsh-ref-env-new:
 993       # TODO: Re-test in new env
 994       csit-vpp-perf-report-iterative-2009-3n-tsh:
 995         - 14  # rls2009 NDRPDR iter env 5
 996         - 20  # rls2009 NDRPDR iter env 5
 997         - 21  # rls2009 NDRPDR iter env 5
 998         - 22  # rls2009 NDRPDR iter env 5
 999         - 23  # rls2009 NDRPDR iter env 5
1000         - 28  # rls2009 NDRPDR iter env 5
1001         - 30  # rls2009 NDRPDR iter env 5
1002         - 33  # rls2009 NDRPDR iter env 5
1003         - 38  # rls2009 NDRPDR iter env 5
1004         - 41  # rls2009 NDRPDR iter env 5
1005     vpp-performance-changes-3n-tsh-cmp:
1006       csit-vpp-perf-report-iterative-2101-3n-tsh:
1007         - 3   # rls2101.rc1 NDRPDR iter env 6
1008         - 5   # rls2101.rc1 NDRPDR iter env 6
1009
1010     vpp-soak-vs-ndr-2n-skx-ref:
1011       # csit-vpp-perf-report-iterative-2101-2n-skx:
1012       csit-vpp-perf-report-iterative-2009-2n-skx:
1013         - 35  # rls2009 NDRPDR iter env 5
1014         - 36  # rls2009 NDRPDR iter env 5
1015         - 37  # rls2009 NDRPDR iter env 5
1016         - 39  # rls2009 NDRPDR iter env 5
1017         - 40  # rls2009 NDRPDR iter env 5
1018         - 42  # rls2009 NDRPDR iter env 5
1019         - 43  # rls2009 NDRPDR iter env 5
1020         - 44  # rls2009 NDRPDR iter env 5
1021         - 46  # rls2009 NDRPDR iter env 5
1022         - 48  # rls2009 NDRPDR iter env 5
1023     vpp-soak-vs-ndr-2n-skx-cmp:
1024       # csit-vpp-perf-report-iterative-2101-2n-skx:
1025       csit-vpp-perf-report-iterative-2009-2n-skx:
1026         - 33  # rls2009 soak env 5
1027         - 34  # rls2009 soak env 5
1028     vpp-soak-vs-ndr-2n-skx:
1029       # csit-vpp-perf-report-iterative-2101-2n-skx:
1030       csit-vpp-perf-report-iterative-2009-2n-skx:
1031         - 35  # rls2009 NDRPDR iter env 5
1032         - 36  # rls2009 NDRPDR iter env 5
1033         - 37  # rls2009 NDRPDR iter env 5
1034         - 39  # rls2009 NDRPDR iter env 5
1035         - 40  # rls2009 NDRPDR iter env 5
1036         - 42  # rls2009 NDRPDR iter env 5
1037         - 43  # rls2009 NDRPDR iter env 5
1038         - 44  # rls2009 NDRPDR iter env 5
1039         - 46  # rls2009 NDRPDR iter env 5
1040         - 48  # rls2009 NDRPDR iter env 5
1041         - 33  # rls2009 soak env 5
1042         - 34  # rls2009 soak env 5
1043
1044     vpp-soak-vs-ndr-2n-clx-ref:
1045       # csit-vpp-perf-report-iterative-2101-2n-clx:
1046       csit-vpp-perf-report-iterative-2009-2n-clx:
1047         - 36  # rls2009 NDRPDR iter env 5
1048         - 39  # rls2009 NDRPDR iter env 5
1049         - 40  # rls2009 NDRPDR iter env 5
1050         - 65  # rls2009 NDRPDR iter env 5
1051         - 66  # rls2009 NDRPDR iter env 5
1052         - 79  # rls2009 NDRPDR iter env 5
1053         - 82  # rls2009 NDRPDR iter env 5
1054         - 88  # rls2009 NDRPDR iter env 5
1055         - 89  # rls2009 NDRPDR iter env 5
1056         - 90  # rls2009 NDRPDR iter env 5
1057     vpp-soak-vs-ndr-2n-clx-cmp:
1058       # csit-vpp-perf-report-iterative-2101-2n-clx:
1059       csit-vpp-perf-report-iterative-2009-2n-clx:
1060         - 33  # rls2009 soak env 5
1061         - 34  # rls2009 soak env 5
1062     vpp-soak-vs-ndr-2n-clx:
1063       # csit-vpp-perf-report-iterative-2101-2n-clx:
1064       csit-vpp-perf-report-iterative-2009-2n-clx:
1065         - 36  # rls2009 NDRPDR iter env 5
1066         - 39  # rls2009 NDRPDR iter env 5
1067         - 40  # rls2009 NDRPDR iter env 5
1068         - 65  # rls2009 NDRPDR iter env 5
1069         - 66  # rls2009 NDRPDR iter env 5
1070         - 79  # rls2009 NDRPDR iter env 5
1071         - 82  # rls2009 NDRPDR iter env 5
1072         - 88  # rls2009 NDRPDR iter env 5
1073         - 89  # rls2009 NDRPDR iter env 5
1074         - 90  # rls2009 NDRPDR iter env 5
1075         - 33  # rls2009 soak env 5
1076         - 34  # rls2009 soak env 5
1077
1078     vpp-performance-changes-3n-hsw-mrr-h1:
1079       csit-vpp-perf-report-iterative-2009-3n-hsw:
1080         - 18  # rls2005 MRR iter env 5
1081     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1082       csit-vpp-perf-report-iterative-2009-3n-hsw:
1083         - 23  # rls2009 MRR iter env 5
1084     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1085       csit-vpp-perf-report-iterative-2101-3n-hsw:
1086         - 17  # rls2009 MRR iter env 6
1087     vpp-performance-changes-3n-hsw-mrr-cmp:
1088       csit-vpp-perf-report-iterative-2101-3n-hsw:
1089         - 3   # rls2101.rc1 MRR iter env 6
1090
1091     vpp-performance-changes-3n-skx-mrr-h1:
1092       csit-vpp-perf-report-iterative-2009-3n-skx:
1093         - 17  # rls2005 MRR iter env 5
1094     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1095       csit-vpp-perf-report-iterative-2009-3n-skx:
1096         - 24  # rls2009 MRR iter env 5
1097     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1098       csit-vpp-perf-report-iterative-2101-3n-skx:
1099         - 12  # rls2009 MRR iter env 6
1100     vpp-performance-changes-3n-skx-mrr-cmp:
1101       csit-vpp-perf-report-iterative-2101-3n-skx:
1102         - 4   # rls2101.rc1 MRR iter env 6
1103
1104     vpp-performance-changes-2n-skx-mrr-h1:
1105       csit-vpp-perf-report-iterative-2009-2n-skx:
1106         - 20  # rls2005 MRR iter env 5
1107     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1108       csit-vpp-perf-report-iterative-2009-2n-skx:
1109         - 120 # rls2009 MRR iter env 5
1110     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1111       # TODO: Re-test in new env
1112       csit-vpp-perf-report-iterative-2009-2n-skx:
1113         - 120 # rls2009 MRR iter env 5
1114     vpp-performance-changes-2n-skx-mrr-cmp:
1115       csit-vpp-perf-report-iterative-2101-2n-skx:
1116         - 3   # rls2101.rc1 MRR iter env 6
1117
1118     vpp-performance-changes-2n-clx-mrr-h1:
1119       csit-vpp-perf-report-iterative-2009-2n-clx:
1120         - 77  # rls2005 MRR iter env 5
1121     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1122       csit-vpp-perf-report-iterative-2009-2n-clx:
1123         - 125 # rls2009 MRR iter env 5
1124     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1125       # TODO: Re-test in new env
1126       csit-vpp-perf-report-iterative-2009-2n-clx:
1127         - 125 # rls2009 MRR iter env 55
1128     vpp-performance-changes-2n-clx-mrr-cmp:
1129       csit-vpp-perf-report-iterative-2101-2n-clx:
1130         - 3   # rls2101.rc1 MRR iter env 6
1131
1132     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1133       csit-vpp-perf-report-iterative-2009-2n-zn2:
1134         - 15  # rls2009 MRR iter env 5
1135     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1136       csit-vpp-perf-report-iterative-2101-2n-zn2:
1137         - 8   # rls2009 MRR iter env6
1138     vpp-performance-changes-2n-zn2-mrr-cmp:
1139       csit-vpp-perf-report-iterative-2101-2n-zn2:
1140         - 3   # rls2101.rc1 MRR iter env 6
1141
1142     vpp-performance-changes-2n-dnv-mrr-h1:
1143       csit-vpp-perf-report-iterative-2009-2n-dnv:
1144         - 23  # rls2005 MRR iter env 5
1145     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1146       csit-vpp-perf-report-iterative-2009-2n-dnv:
1147         - 13  # rls2009 MRR iter env 5
1148     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1149       # TODO: Re-test in new env
1150       csit-vpp-perf-report-iterative-2009-2n-dnv:
1151         - 13  # rls2009 MRR iter env 5
1152     vpp-performance-changes-2n-dnv-mrr-cmp:
1153       csit-vpp-perf-report-iterative-2101-2n-dnv:
1154         - 2   # rls2101.rc1 MRR iter env 6
1155
1156     vpp-performance-changes-3n-dnv-mrr-h1:
1157       csit-vpp-perf-report-iterative-2009-3n-dnv:
1158         - 19  # rls2005 MRR iter env 5
1159     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1160       csit-vpp-perf-report-iterative-2009-3n-dnv:
1161         - 22  # rls2009 MRR iter env 5
1162     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1163       # TODO: Re-test in new env
1164       csit-vpp-perf-report-iterative-2009-3n-dnv:
1165         - 22  # rls2009 MRR iter env 5
1166     vpp-performance-changes-3n-dnv-mrr-cmp:
1167       csit-vpp-perf-report-iterative-2101-3n-dnv:
1168         - 2   # rls2101.rc1 MRR iter env 6
1169
1170     vpp-performance-changes-3n-tsh-mrr-h1:
1171       csit-vpp-perf-report-iterative-2009-3n-tsh:
1172         - 13  # rls2005 MRR iter env 5
1173     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1174       csit-vpp-perf-report-iterative-2009-3n-tsh:
1175         - 15  # rls2009 MRR iter env 5
1176     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1177       # TODO: Re-test in new env
1178       csit-vpp-perf-report-iterative-2009-3n-tsh:
1179         - 15  # rls2009 MRR iter env 5
1180     vpp-performance-changes-3n-tsh-mrr-cmp:
1181       csit-vpp-perf-report-iterative-2101-3n-tsh:
1182         - 2   # rls2101.rc1 MRR iter env 6
1183
1184     dpdk-performance-changes-3n-hsw-h1:
1185       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1186         - 25  # NDRPDR iter
1187         - 26  # NDRPDR iter
1188         - 27  # NDRPDR iter
1189         - 28  # NDRPDR iter
1190         - 29  # NDRPDR iter
1191         - 30  # NDRPDR iter
1192         - 31  # NDRPDR iter
1193         - 32  # NDRPDR iter
1194         - 33  # NDRPDR iter
1195         - 34  # NDRPDR iter
1196     dpdk-performance-changes-3n-hsw-ref:
1197       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1198         - 6   # NDRPDR iter env5
1199         - 7   # NDRPDR iter env5
1200         - 8   # NDRPDR iter env5
1201         - 9   # NDRPDR iter env5
1202         - 10  # NDRPDR iter env5
1203         - 11  # NDRPDR iter env5
1204         - 12  # NDRPDR iter env5
1205         - 13  # NDRPDR iter env5
1206         - 14  # NDRPDR iter env5
1207         - 15  # NDRPDR iter env5
1208     dpdk-performance-changes-3n-hsw-cmp:
1209       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1210         - 11  # rls2101.rc1 NDRPDR iter env 6
1211         - 12  # rls2101.rc1 NDRPDR iter env 6
1212         - 13  # rls2101.rc1 NDRPDR iter env 6
1213         - 14  # rls2101.rc1 NDRPDR iter env 6
1214         - 16  # rls2101.rc1 NDRPDR iter env 6
1215         - 17  # rls2101.rc1 NDRPDR iter env 6
1216         - 18  # rls2101.rc1 NDRPDR iter env 6
1217         - 19  # rls2101.rc1 NDRPDR iter env 6
1218         - 20  # rls2101.rc1 NDRPDR iter env 6
1219         - 21  # rls2101.rc1 NDRPDR iter env 6
1220
1221     dpdk-performance-changes-3n-skx-h1:
1222       csit-dpdk-perf-report-iterative-2005-3n-skx:
1223         - 28  # NDRPDR iter
1224         - 29  # NDRPDR iter
1225         - 30  # NDRPDR iter
1226         - 31  # NDRPDR iter
1227         - 32  # NDRPDR iter
1228         - 33  # NDRPDR iter
1229         - 34  # NDRPDR iter
1230         - 35  # NDRPDR iter
1231         - 36  # NDRPDR iter
1232         - 37  # NDRPDR iter
1233     dpdk-performance-changes-3n-skx-ref:
1234       csit-dpdk-perf-report-iterative-2009-3n-skx:
1235         - 4   # NDRPDR sel env5
1236         - 5   # NDRPDR sel env5
1237         - 6   # NDRPDR sel env5
1238         - 7   # NDRPDR sel env5
1239         - 8   # NDRPDR sel env5
1240         - 9   # NDRPDR sel env5
1241         - 14  # NDRPDR sel env5
1242         - 11  # NDRPDR sel env5
1243         - 12  # NDRPDR sel env5
1244         - 13  # NDRPDR sel env5
1245     dpdk-performance-changes-3n-skx-cmp:
1246       csit-dpdk-perf-report-iterative-2101-3n-skx:
1247         - 12  # rls2101.rc1 NDRPDR iter env 6
1248         - 14  # rls2101.rc1 NDRPDR iter env 6
1249         - 15  # rls2101.rc1 NDRPDR iter env 6
1250         - 17  # rls2101.rc1 NDRPDR iter env 6
1251         - 19  # rls2101.rc1 NDRPDR iter env 6
1252         - 20  # rls2101.rc1 NDRPDR iter env 6
1253         - 21  # rls2101.rc1 NDRPDR iter env 6
1254         - 22  # rls2101.rc1 NDRPDR iter env 6
1255
1256     dpdk-performance-changes-2n-skx-h1:
1257       csit-dpdk-perf-report-iterative-2005-2n-skx:
1258         - 20  # NDRPDR iter
1259         - 21  # NDRPDR iter
1260         - 22  # NDRPDR iter
1261         - 23  # NDRPDR iter
1262         - 24  # NDRPDR iter
1263         - 25  # NDRPDR iter
1264         - 26  # NDRPDR iter
1265         - 27  # NDRPDR iter
1266         - 28  # NDRPDR iter
1267         - 29  # NDRPDR iter
1268     dpdk-performance-changes-2n-skx-ref:
1269       csit-dpdk-perf-report-iterative-2009-2n-skx:
1270         - 4   # NDRPDR iter env5
1271         - 5   # NDRPDR iter env5
1272         - 6   # NDRPDR iter env5
1273         - 7   # NDRPDR iter env5
1274         - 8   # NDRPDR iter env5
1275         - 9   # NDRPDR iter env5
1276         - 10  # NDRPDR iter env5
1277         - 11  # NDRPDR iter env5
1278         - 12  # NDRPDR iter env5
1279         - 13  # NDRPDR iter env5
1280     dpdk-performance-changes-2n-skx-cmp:
1281       csit-dpdk-perf-report-iterative-2101-2n-skx:
1282         - 11  # rls2101.rc1 NDRPDR iter env 6
1283         - 12  # rls2101.rc1 NDRPDR iter env 6
1284         - 13  # rls2101.rc1 NDRPDR iter env 6
1285         - 14  # rls2101.rc1 NDRPDR iter env 6
1286         - 15  # rls2101.rc1 NDRPDR iter env 6
1287         - 17  # rls2101.rc1 NDRPDR iter env 6
1288         - 18  # rls2101.rc1 NDRPDR iter env 6
1289         - 19  # rls2101.rc1 NDRPDR iter env 6
1290         - 20  # rls2101.rc1 NDRPDR iter env 6
1291         - 21  # rls2101.rc1 NDRPDR iter env 6
1292
1293     dpdk-performance-changes-2n-clx-h1:
1294       csit-dpdk-perf-report-iterative-2005-2n-clx:
1295         - 20  # NDRPDR iter
1296         - 21  # NDRPDR iter
1297         - 22  # NDRPDR iter
1298         - 23  # NDRPDR iter
1299         - 24  # NDRPDR iter
1300         - 25  # NDRPDR iter
1301         - 26  # NDRPDR iter
1302         - 27  # NDRPDR iter
1303         - 28  # NDRPDR iter
1304         - 29  # NDRPDR iter
1305     dpdk-performance-changes-2n-clx-ref:
1306       csit-dpdk-perf-report-iterative-2009-2n-clx:
1307         - 4   # NDRPDR iter env5
1308         - 5   # NDRPDR iter env5
1309         - 6   # NDRPDR iter env5
1310         - 7   # NDRPDR iter env5
1311         - 8   # NDRPDR iter env5
1312         - 9   # NDRPDR iter env5
1313         - 10  # NDRPDR iter env5
1314         - 11  # NDRPDR iter env5
1315         - 12  # NDRPDR iter env5
1316         - 13  # NDRPDR iter env5
1317     dpdk-performance-changes-2n-clx-cmp:
1318       csit-dpdk-perf-report-iterative-2101-2n-clx:
1319         - 12  # rls2101.rc1 NDRPDR iter env 6
1320         - 13  # rls2101.rc1 NDRPDR iter env 6
1321         - 14  # rls2101.rc1 NDRPDR iter env 6
1322         - 18  # rls2101.rc1 NDRPDR iter env 6
1323         - 22  # rls2101.rc1 NDRPDR iter env 6
1324
1325     dpdk-performance-changes-2n-zn2-ref:
1326       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1327         - 16  # NDRPDR iter env5
1328         - 21  # NDRPDR iter env5
1329         - 22  # NDRPDR iter env5
1330         - 23  # NDRPDR iter env5
1331         - 24  # NDRPDR iter env5
1332         - 25  # NDRPDR iter env5
1333         - 29  # NDRPDR iter env5
1334     dpdk-performance-changes-2n-zn2-cmp:
1335       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1336         - 11  # rls2101.rc1 NDRPDR iter env 6
1337         - 12  # rls2101.rc1 NDRPDR iter env 6
1338         - 13  # rls2101.rc1 NDRPDR iter env 6
1339         - 14  # rls2101.rc1 NDRPDR iter env 6
1340         - 16  # rls2101.rc1 NDRPDR iter env 6
1341         - 17  # rls2101.rc1 NDRPDR iter env 6
1342         - 18  # rls2101.rc1 NDRPDR iter env 6
1343         - 19  # rls2101.rc1 NDRPDR iter env 6
1344         - 20  # rls2101.rc1 NDRPDR iter env 6
1345         - 21  # rls2101.rc1 NDRPDR iter env 6
1346
1347 #    dpdk-performance-changes-2n-dnv-h1:
1348 #      csit-dpdk-perf-verify-2101-2n-dnv:
1349 #        - 9   # NDRPDR sel
1350 #        - 10  # NDRPDR sel
1351 #        - 11  # NDRPDR sel
1352 #        - 12  # NDRPDR sel
1353 #        - 13  # NDRPDR sel
1354 #        - 14  # NDRPDR sel
1355 #        - 15  # NDRPDR sel
1356 #        - 16  # NDRPDR sel
1357 #        - 17  # NDRPDR sel
1358 #        - 18  # NDRPDR sel
1359 #    dpdk-performance-changes-2n-dnv-ref:
1360 #      # No data
1361 #    dpdk-performance-changes-2n-dnv-cmp:
1362 #      # No data
1363 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1364
1365 #    dpdk-performance-changes-3n-dnv-h1:
1366 #      csit-dpdk-perf-verify-2101-3n-dnv:
1367 #        - 12  # NDRPDR sel
1368 #        - 13  # NDRPDR sel
1369 #        - 14  # NDRPDR sel
1370 #        - 15  # NDRPDR sel
1371 #        - 16  # NDRPDR sel
1372 #        - 17  # NDRPDR sel
1373 #        - 18  # NDRPDR sel
1374 #        - 19  # NDRPDR sel
1375 #        - 20  # NDRPDR sel
1376 #        - 22  # NDRPDR sel
1377 #    dpdk-performance-changes-3n-dnv-ref:
1378 #      # No data
1379 #    dpdk-performance-changes-3n-dnv-cmp:
1380 #      # No data
1381 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1382
1383     dpdk-performance-changes-3n-tsh-h1:
1384       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1385         - 5   # NDRPDR sel
1386     dpdk-performance-changes-3n-tsh-ref:
1387       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1388         - 1   # NDRPDR iter env5
1389         - 2   # NDRPDR iter env5
1390         - 3   # NDRPDR iter env5
1391         - 4   # NDRPDR iter env5
1392         - 5   # NDRPDR iter env5
1393         - 6   # NDRPDR iter env5
1394         - 7   # NDRPDR iter env5
1395         - 9   # NDRPDR iter env5
1396         - 10  # NDRPDR iter env5
1397         - 11  # NDRPDR iter env5
1398     dpdk-performance-changes-3n-tsh-cmp:
1399       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1400         - 11  # rls2101.rc1 NDRPDR iter env 6
1401         - 12  # rls2101.rc1 NDRPDR iter env 6
1402         - 13  # rls2101.rc1 NDRPDR iter env 6
1403         - 14  # rls2101.rc1 NDRPDR iter env 6
1404         - 16  # rls2101.rc1 NDRPDR iter env 6
1405         - 17  # rls2101.rc1 NDRPDR iter env 6
1406         - 18  # rls2101.rc1 NDRPDR iter env 6
1407         - 19  # rls2101.rc1 NDRPDR iter env 6
1408         - 20  # rls2101.rc1 NDRPDR iter env 6
1409         - 21  # rls2101.rc1 NDRPDR iter env 6
1410
1411     # Compare testbeds
1412
1413     vpp-compare-testbeds-ref:
1414       csit-vpp-perf-report-iterative-2101-3n-hsw:
1415         - 4   # rls2101.rc1 NDRPDR iter env 6
1416         - 5   # rls2101.rc1 NDRPDR iter env 6
1417         - 6   # rls2101.rc1 NDRPDR iter env 6
1418         - 7   # rls2101.rc1 NDRPDR iter env 6
1419         - 8   # rls2101.rc1 NDRPDR iter env 6
1420         - 9   # rls2101.rc1 NDRPDR iter env 6
1421         - 10  # rls2101.rc1 NDRPDR iter env 6
1422         - 11  # rls2101.rc1 NDRPDR iter env 6
1423         - 12  # rls2101.rc1 NDRPDR iter env 6
1424         - 13  # rls2101.rc1 NDRPDR iter env 6
1425     vpp-compare-testbeds-cmp:
1426       csit-vpp-perf-report-iterative-2101-3n-skx:
1427         - 5   # rls2101.rc1 NDRPDR iter env 6
1428         - 6   # rls2101.rc1 NDRPDR iter env 6
1429         - 7   # rls2101.rc1 NDRPDR iter env 6
1430         - 8   # rls2101.rc1 NDRPDR iter env 6
1431         - 9   # rls2101.rc1 NDRPDR iter env 6
1432
1433     vpp-compare-testbeds-skx-clx-ref:
1434       csit-vpp-perf-report-iterative-2101-2n-skx:
1435         - 5   # rls2101.rc1 NDRPDR iter env 6
1436         - 6   # rls2101.rc1 NDRPDR iter env 6
1437         - 7   # rls2101.rc1 NDRPDR iter env 6
1438         - 8   # rls2101.rc1 NDRPDR iter env 6
1439         - 10  # rls2101.rc1 NDRPDR iter env 6
1440         - 11  # rls2101.rc1 NDRPDR iter env 6
1441         - 12  # rls2101.rc1 NDRPDR iter env 6
1442         - 13  # rls2101.rc1 NDRPDR iter env 6
1443     vpp-compare-testbeds-skx-clx-cmp:
1444       csit-vpp-perf-report-iterative-2101-2n-clx:
1445         - 4   # rls2101.rc1 NDRPDR iter env 6
1446         - 5   # rls2101.rc1 NDRPDR iter env 6
1447         - 6   # rls2101.rc1 NDRPDR iter env 6
1448         - 7   # rls2101.rc1 NDRPDR iter env 6
1449         - 8   # rls2101.rc1 NDRPDR iter env 6
1450         - 9   # rls2101.rc1 NDRPDR iter env 6
1451         - 10  # rls2101.rc1 NDRPDR iter env 6
1452         - 11  # rls2101.rc1 NDRPDR iter env 6
1453         - 12  # rls2101.rc1 NDRPDR iter env 6
1454         - 13  # rls2101.rc1 NDRPDR iter env 6
1455
1456     vpp-compare-testbeds-hsw-clx-ref:
1457       csit-vpp-perf-report-iterative-2101-3n-hsw:
1458         - 4   # rls2101.rc1 NDRPDR iter env 6
1459         - 5   # rls2101.rc1 NDRPDR iter env 6
1460         - 6   # rls2101.rc1 NDRPDR iter env 6
1461         - 7   # rls2101.rc1 NDRPDR iter env 6
1462         - 8   # rls2101.rc1 NDRPDR iter env 6
1463         - 9   # rls2101.rc1 NDRPDR iter env 6
1464         - 10  # rls2101.rc1 NDRPDR iter env 6
1465         - 11  # rls2101.rc1 NDRPDR iter env 6
1466         - 12  # rls2101.rc1 NDRPDR iter env 6
1467         - 13  # rls2101.rc1 NDRPDR iter env 6
1468     vpp-compare-testbeds-hsw-clx-cmp:
1469       csit-vpp-perf-report-iterative-2101-2n-clx:
1470         - 4   # rls2101.rc1 NDRPDR iter env 6
1471         - 5   # rls2101.rc1 NDRPDR iter env 6
1472         - 6   # rls2101.rc1 NDRPDR iter env 6
1473         - 7   # rls2101.rc1 NDRPDR iter env 6
1474         - 8   # rls2101.rc1 NDRPDR iter env 6
1475         - 9   # rls2101.rc1 NDRPDR iter env 6
1476         - 10  # rls2101.rc1 NDRPDR iter env 6
1477         - 11  # rls2101.rc1 NDRPDR iter env 6
1478         - 12  # rls2101.rc1 NDRPDR iter env 6
1479         - 13  # rls2101.rc1 NDRPDR iter env 6
1480
1481     vpp-compare-testbeds-mrr-ref:
1482       csit-vpp-perf-report-iterative-2101-3n-hsw:
1483         - 3   # rls2101.rc1 MRR iter env 6
1484     vpp-compare-testbeds-mrr-cmp:
1485       csit-vpp-perf-report-iterative-2101-3n-skx:
1486         - 4   # rls2101.rc1 MRR iter env 6
1487
1488     vpp-compare-testbeds-mrr-skx-clx-ref:
1489       csit-vpp-perf-report-iterative-2101-2n-skx:
1490         - 3   # rls2101.rc1 MRR iter env 6
1491     vpp-compare-testbeds-mrr-skx-clx-cmp:
1492       csit-vpp-perf-report-iterative-2101-2n-clx:
1493         - 3   # rls2101.rc1 MRR iter env 6
1494
1495     vpp-compare-testbeds-mrr-hsw-clx-ref:
1496       csit-vpp-perf-report-iterative-2101-3n-hsw:
1497         - 3   # rls2101.rc1 MRR iter env 6
1498     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1499       csit-vpp-perf-report-iterative-2101-2n-clx:
1500         - 3   # rls2101.rc1 MRR iter env 6
1501
1502     dpdk-compare-testbeds-ref:
1503       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1504         - 11  # rls2101.rc1 NDRPDR iter env 6
1505         - 12  # rls2101.rc1 NDRPDR iter env 6
1506         - 13  # rls2101.rc1 NDRPDR iter env 6
1507         - 14  # rls2101.rc1 NDRPDR iter env 6
1508         - 16  # rls2101.rc1 NDRPDR iter env 6
1509         - 17  # rls2101.rc1 NDRPDR iter env 6
1510         - 18  # rls2101.rc1 NDRPDR iter env 6
1511         - 19  # rls2101.rc1 NDRPDR iter env 6
1512         - 20  # rls2101.rc1 NDRPDR iter env 6
1513         - 21  # rls2101.rc1 NDRPDR iter env 6
1514     dpdk-compare-testbeds-cmp:
1515       csit-dpdk-perf-report-iterative-2101-3n-skx:
1516         - 12  # rls2101.rc1 NDRPDR iter env 6
1517         - 14  # rls2101.rc1 NDRPDR iter env 6
1518         - 15  # rls2101.rc1 NDRPDR iter env 6
1519         - 17  # rls2101.rc1 NDRPDR iter env 6
1520         - 19  # rls2101.rc1 NDRPDR iter env 6
1521         - 20  # rls2101.rc1 NDRPDR iter env 6
1522         - 21  # rls2101.rc1 NDRPDR iter env 6
1523         - 22  # rls2101.rc1 NDRPDR iter env 6
1524
1525     dpdk-compare-testbeds-skx-clx-ref:
1526       csit-dpdk-perf-report-iterative-2101-2n-skx:
1527         - 11  # rls2101.rc1 NDRPDR iter env 6
1528         - 12  # rls2101.rc1 NDRPDR iter env 6
1529         - 13  # rls2101.rc1 NDRPDR iter env 6
1530         - 14  # rls2101.rc1 NDRPDR iter env 6
1531         - 15  # rls2101.rc1 NDRPDR iter env 6
1532         - 17  # rls2101.rc1 NDRPDR iter env 6
1533         - 18  # rls2101.rc1 NDRPDR iter env 6
1534         - 19  # rls2101.rc1 NDRPDR iter env 6
1535         - 20  # rls2101.rc1 NDRPDR iter env 6
1536         - 21  # rls2101.rc1 NDRPDR iter env 6
1537     dpdk-compare-testbeds-skx-clx-cmp:
1538       csit-dpdk-perf-report-iterative-2101-2n-clx:
1539         - 12  # rls2101.rc1 NDRPDR iter env 6
1540         - 13  # rls2101.rc1 NDRPDR iter env 6
1541         - 14  # rls2101.rc1 NDRPDR iter env 6
1542         - 18  # rls2101.rc1 NDRPDR iter env 6
1543         - 22  # rls2101.rc1 NDRPDR iter env 6
1544
1545     # Compare topologies
1546
1547     vpp-compare-topologies-ref:
1548       csit-vpp-perf-report-iterative-2101-3n-skx:
1549         - 5   # rls2101.rc1 NDRPDR iter env 6
1550         - 6   # rls2101.rc1 NDRPDR iter env 6
1551         - 7   # rls2101.rc1 NDRPDR iter env 6
1552         - 8   # rls2101.rc1 NDRPDR iter env 6
1553         - 9   # rls2101.rc1 NDRPDR iter env 6
1554     vpp-compare-topologies-cmp:
1555       csit-vpp-perf-report-iterative-2101-2n-skx:
1556         - 5   # rls2101.rc1 NDRPDR iter env 6
1557         - 6   # rls2101.rc1 NDRPDR iter env 6
1558         - 7   # rls2101.rc1 NDRPDR iter env 6
1559         - 8   # rls2101.rc1 NDRPDR iter env 6
1560         - 10  # rls2101.rc1 NDRPDR iter env 6
1561         - 11  # rls2101.rc1 NDRPDR iter env 6
1562         - 12  # rls2101.rc1 NDRPDR iter env 6
1563         - 13  # rls2101.rc1 NDRPDR iter env 6
1564
1565     vpp-compare-topologies-mrr-ref:
1566       csit-vpp-perf-report-iterative-2101-3n-skx:
1567         - 4   # rls2101.rc1 MRR iter env 6
1568     vpp-compare-topologies-mrr-cmp:
1569       csit-vpp-perf-report-iterative-2101-2n-skx:
1570         - 3   # rls2101.rc1 MRR iter env 6
1571
1572     dpdk-compare-topologies-ref:
1573       csit-dpdk-perf-report-iterative-2101-3n-skx:
1574         - 12  # rls2101.rc1 NDRPDR iter env 6
1575         - 14  # rls2101.rc1 NDRPDR iter env 6
1576         - 15  # rls2101.rc1 NDRPDR iter env 6
1577         - 17  # rls2101.rc1 NDRPDR iter env 6
1578         - 19  # rls2101.rc1 NDRPDR iter env 6
1579         - 20  # rls2101.rc1 NDRPDR iter env 6
1580         - 21  # rls2101.rc1 NDRPDR iter env 6
1581         - 22  # rls2101.rc1 NDRPDR iter env 6
1582     dpdk-compare-topologies-cmp:
1583       csit-dpdk-perf-report-iterative-2101-2n-skx:
1584         - 11  # rls2101.rc1 NDRPDR iter env 6
1585         - 12  # rls2101.rc1 NDRPDR iter env 6
1586         - 13  # rls2101.rc1 NDRPDR iter env 6
1587         - 14  # rls2101.rc1 NDRPDR iter env 6
1588         - 15  # rls2101.rc1 NDRPDR iter env 6
1589         - 17  # rls2101.rc1 NDRPDR iter env 6
1590         - 18  # rls2101.rc1 NDRPDR iter env 6
1591         - 19  # rls2101.rc1 NDRPDR iter env 6
1592         - 20  # rls2101.rc1 NDRPDR iter env 6
1593         - 21  # rls2101.rc1 NDRPDR iter env 6
1594
1595   plot-layouts:
1596
1597     plot-soak-throughput:
1598       titlefont:
1599         size: 16
1600       xaxis:
1601         title: "<b>Test Cases [Index]</b>"
1602         titlefont:
1603           size: 14
1604         autorange: True
1605         fixedrange: False
1606         gridcolor: "rgb(230, 230, 230)"
1607         linecolor: "rgb(220, 220, 220)"
1608         linewidth: 1
1609         showgrid: True
1610         showline: True
1611         showticklabels: True
1612         tickcolor: "rgb(220, 220, 220)"
1613         tickmode: "linear"
1614         tickfont:
1615           size: 14
1616         zeroline: False
1617       yaxis:
1618         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1619         titlefont:
1620           size: 14
1621         gridcolor: "rgb(230, 230, 230)"
1622         hoverformat: ".4r"
1623         tickformat: ".3r"
1624         linecolor: "rgb(220, 220, 220)"
1625         linewidth: 1
1626         showgrid: True
1627         showline: True
1628         showticklabels: True
1629         tickcolor: "rgb(220, 220, 220)"
1630         tickfont:
1631           size: 14
1632         zeroline: False
1633         range: [0,50]
1634       autosize: False
1635       margin:
1636         t: 50
1637         b: 0
1638         l: 80
1639         r: 20
1640       showlegend: True
1641       legend:
1642         orientation: "h"
1643         font:
1644           size: 14
1645       width: 700
1646       height: 900
1647       paper_bgcolor: "#fff"
1648       plot_bgcolor: "#fff"
1649       hoverlabel:
1650         namelength: -1
1651
1652     plot-service-density:
1653       titlefont:
1654         size: 16
1655       xaxis:
1656         side: "top"
1657         autorange: True
1658         fixedrange: False
1659         showgrid: False
1660         showline: False
1661         showticklabels: False
1662         ticks: ""
1663         ticklen: 0
1664         tickwidth: 0
1665         zeroline: False
1666       yaxis:
1667         autorange: "reversed"
1668         showgrid: False
1669         showline: False
1670         showticklabels: False
1671         ticks: ""
1672         ticklen: 0
1673         tickwidth: 0
1674         zeroline: False
1675       showlegend: False
1676       paper_bgcolor: "#fff"
1677       plot_bgcolor: "#fff"
1678       width: 700
1679       height: 700
1680       hoverlabel:
1681         namelength: -1
1682
1683     plot-hoststack:
1684       titlefont:
1685         size: 16
1686       xaxis:
1687         title: "<b>Test Cases [Index]</b>"
1688         titlefont:
1689           size: 14
1690         autorange: True
1691         fixedrange: False
1692         gridcolor: "rgb(230, 230, 230)"
1693         linecolor: "rgb(220, 220, 220)"
1694         linewidth: 1
1695         showgrid: True
1696         showline: True
1697         showticklabels: True
1698         tickcolor: "rgb(220, 220, 220)"
1699         tickmode: "linear"
1700         tickfont:
1701           size: 14
1702         zeroline: False
1703       yaxis:
1704         title: "<b>Bandwidth [Gbps]</b>"
1705         titlefont:
1706           size: 14
1707         gridcolor: "rgb(230, 230, 230)"
1708         hoverformat: ".4s"
1709         linecolor: "rgb(220, 220, 220)"
1710         linewidth: 1
1711         rangemode: "tozero"
1712         showgrid: True
1713         showline: True
1714         showticklabels: True
1715         tickcolor: "rgb(230, 230, 230)"
1716         tickformat: ".3s"
1717         tickfont:
1718           size: 14
1719         zeroline: False
1720       autosize: False
1721       margin:
1722         t: 50
1723         b: 20
1724         l: 80
1725         r: 20
1726       showlegend: True
1727       legend:
1728         orientation: "h"
1729         font:
1730           size: 14
1731       width: 700
1732       height: 800
1733       paper_bgcolor: "#fff"
1734       plot_bgcolor: "#fff"
1735       hoverlabel:
1736         namelength: -1
1737
1738     plot-throughput:
1739       titlefont:
1740         size: 16
1741       xaxis:
1742         title: "<b>Test Cases [Index]</b>"
1743         titlefont:
1744           size: 14
1745         autorange: True
1746         fixedrange: False
1747         gridcolor: "rgb(230, 230, 230)"
1748         linecolor: "rgb(220, 220, 220)"
1749         linewidth: 1
1750         showgrid: True
1751         showline: True
1752         showticklabels: True
1753         tickcolor: "rgb(220, 220, 220)"
1754         tickmode: "linear"
1755         tickfont:
1756           size: 14
1757         zeroline: False
1758       yaxis:
1759         title: "<b>Packet Throughput [Mpps]</b>"
1760         titlefont:
1761           size: 14
1762         gridcolor: "rgb(230, 230, 230)"
1763         hoverformat: ".4r"
1764         tickformat: ".3r"
1765         linecolor: "rgb(220, 220, 220)"
1766         linewidth: 1
1767         showgrid: True
1768         showline: True
1769         showticklabels: True
1770         tickcolor: "rgb(220, 220, 220)"
1771         tickfont:
1772           size: 14
1773         zeroline: False
1774         range: [0,50]
1775       autosize: False
1776       margin:
1777         t: 50
1778         b: 0
1779         l: 80
1780         r: 20
1781       showlegend: True
1782       legend:
1783         orientation: "h"
1784         font:
1785           size: 14
1786       width: 700
1787       height: 900
1788       paper_bgcolor: "#fff"
1789       plot_bgcolor: "#fff"
1790       hoverlabel:
1791         namelength: -1
1792
1793     plot-throughput-gbps:
1794       titlefont:
1795         size: 16
1796       xaxis:
1797         title: "<b>Test Cases [Index]</b>"
1798         titlefont:
1799           size: 14
1800         autorange: True
1801         fixedrange: False
1802         gridcolor: "rgb(230, 230, 230)"
1803         linecolor: "rgb(220, 220, 220)"
1804         linewidth: 1
1805         showgrid: True
1806         showline: True
1807         showticklabels: True
1808         tickcolor: "rgb(220, 220, 220)"
1809         tickmode: "linear"
1810         tickfont:
1811           size: 14
1812         zeroline: False
1813       yaxis:
1814         title: "<b>Packet Throughput [Gbps]</b>"
1815         titlefont:
1816           size: 14
1817         gridcolor: "rgb(230, 230, 230)"
1818         hoverformat: ".4r"
1819         tickformat: ".3r"
1820         linecolor: "rgb(220, 220, 220)"
1821         linewidth: 1
1822         showgrid: True
1823         showline: True
1824         showticklabels: True
1825         tickcolor: "rgb(220, 220, 220)"
1826         tickfont:
1827           size: 14
1828         zeroline: False
1829         range: [0,10]
1830       autosize: False
1831       margin:
1832         t: 50
1833         b: 0
1834         l: 80
1835         r: 20
1836       showlegend: True
1837       legend:
1838         orientation: "h"
1839         font:
1840           size: 14
1841       width: 700
1842       height: 900
1843       paper_bgcolor: "#fff"
1844       plot_bgcolor: "#fff"
1845       hoverlabel:
1846         namelength: -1
1847
1848     plot-cps:
1849       titlefont:
1850         size: 16
1851       xaxis:
1852         title: "<b>Test Cases [Index]</b>"
1853         titlefont:
1854           size: 14
1855         autorange: True
1856         fixedrange: False
1857         gridcolor: "rgb(230, 230, 230)"
1858         linecolor: "rgb(220, 220, 220)"
1859         linewidth: 1
1860         showgrid: True
1861         showline: True
1862         showticklabels: True
1863         tickcolor: "rgb(220, 220, 220)"
1864         tickmode: "linear"
1865         tickfont:
1866           size: 14
1867         zeroline: False
1868       yaxis:
1869         title: "<b>Connection Rate [Mcps]</b>"
1870         titlefont:
1871           size: 14
1872         gridcolor: "rgb(230, 230, 230)"
1873         hoverformat: ".4r"
1874         tickformat: ".3s"
1875         linecolor: "rgb(220, 220, 220)"
1876         linewidth: 1
1877         showgrid: True
1878         showline: True
1879         showticklabels: True
1880         tickcolor: "rgb(220, 220, 220)"
1881         tickfont:
1882           size: 14
1883         zeroline: False
1884         range: [0,10]
1885       autosize: False
1886       margin:
1887         t: 50
1888         b: 0
1889         l: 80
1890         r: 20
1891       showlegend: True
1892       legend:
1893         orientation: "h"
1894         font:
1895           size: 14
1896       width: 700
1897       height: 900
1898       paper_bgcolor: "#fff"
1899       plot_bgcolor: "#fff"
1900       hoverlabel:
1901         namelength: -1
1902
1903     plot-throughput-speedup-analysis:
1904       titlefont:
1905         size: 16
1906       xaxis:
1907         title: "<b>Number of Cores [Qty]</b>"
1908         titlefont:
1909           size: 14
1910         autorange: True
1911         fixedrange: False
1912         gridcolor: "rgb(230, 230, 230)"
1913         linecolor: "rgb(220, 220, 220)"
1914         linewidth: 1
1915         showgrid: True
1916         showline: True
1917         showticklabels: True
1918         tickcolor: "rgb(238, 238, 238)"
1919         tickmode: "linear"
1920         tickfont:
1921           size: 14
1922         zeroline: False
1923       yaxis:
1924         title: "<b>Packet Throughput [Mpps]</b>"
1925         titlefont:
1926           size: 14
1927         type: "linear"
1928         gridcolor: "rgb(230, 230, 230)"
1929         hoverformat: ".4s"
1930         linecolor: "rgb(220, 220, 220)"
1931         linewidth: 1
1932         showgrid: True
1933         showline: True
1934         showticklabels: True
1935         tickcolor: "rgb(220, 220, 220)"
1936         tickformat: ".4s"
1937         tickfont:
1938           size: 14
1939         zeroline: True
1940         rangemode: "tozero"
1941         range: [0,100]
1942       legend:
1943         orientation: "h"
1944         font:
1945           size: 14
1946         xanchor: "left"
1947         yanchor: "top"
1948         x: 0
1949         y: -0.2
1950         bgcolor: "rgba(255, 255, 255, 0)"
1951         bordercolor: "rgba(255, 255, 255, 0)"
1952         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1953       autosize: False
1954       margin:
1955           't': 50
1956           'b': 150
1957           'l': 85
1958           'r': 10
1959       showlegend: True
1960       width: 700
1961       height: 700
1962       paper_bgcolor: "#fff"
1963       plot_bgcolor: "#fff"
1964       hoverlabel:
1965         namelength: -1
1966       annotations: [
1967         {
1968           text: "_ _          __          ...",
1969           align: "left",
1970           showarrow: False,
1971           xref: "paper",
1972           yref: "paper",
1973           xanchor: "left",
1974           yanchor: "top",
1975           x: 0,
1976           y: -0.14,
1977           font: {
1978             family: "Consolas, Courier New",
1979             size: 13
1980           },
1981         },
1982         {
1983           text: "    Perfect     Measured     Limit",
1984           align: "left",
1985           showarrow: False,
1986           xref: "paper",
1987           yref: "paper",
1988           xanchor: "left",
1989           yanchor: "top",
1990           x: 0,
1991           y: -0.15,
1992           font: {
1993             family: "Consolas, Courier New",
1994             size: 13
1995           },
1996         },
1997       ]
1998
1999     plot-throughput-speedup-analysis-gbps:
2000       titlefont:
2001         size: 16
2002       xaxis:
2003         title: "<b>Number of Cores [Qty]</b>"
2004         titlefont:
2005           size: 14
2006         autorange: True
2007         fixedrange: False
2008         gridcolor: "rgb(230, 230, 230)"
2009         linecolor: "rgb(220, 220, 220)"
2010         linewidth: 1
2011         showgrid: True
2012         showline: True
2013         showticklabels: True
2014         tickcolor: "rgb(238, 238, 238)"
2015         tickmode: "linear"
2016         tickfont:
2017           size: 14
2018         zeroline: False
2019       yaxis:
2020         title: "<b>Packet Throughput [Gbps]</b>"
2021         titlefont:
2022           size: 14
2023         type: "linear"
2024         gridcolor: "rgb(230, 230, 230)"
2025         hoverformat: ".4s"
2026         linecolor: "rgb(220, 220, 220)"
2027         linewidth: 1
2028         showgrid: True
2029         showline: True
2030         showticklabels: True
2031         tickcolor: "rgb(220, 220, 220)"
2032         tickformat: ".4s"
2033         tickfont:
2034           size: 14
2035         zeroline: True
2036         rangemode: "tozero"
2037         range: [0,100]
2038       legend:
2039         orientation: "h"
2040         font:
2041           size: 14
2042         xanchor: "left"
2043         yanchor: "top"
2044         x: 0
2045         y: -0.2
2046         bgcolor: "rgba(255, 255, 255, 0)"
2047         bordercolor: "rgba(255, 255, 255, 0)"
2048         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2049       autosize: False
2050       margin:
2051           't': 50
2052           'b': 150
2053           'l': 85
2054           'r': 10
2055       showlegend: True
2056       width: 700
2057       height: 700
2058       paper_bgcolor: "#fff"
2059       plot_bgcolor: "#fff"
2060       hoverlabel:
2061         namelength: -1
2062       annotations: [
2063         {
2064           text: "_ _          __",
2065           align: "left",
2066           showarrow: False,
2067           xref: "paper",
2068           yref: "paper",
2069           xanchor: "left",
2070           yanchor: "top",
2071           x: 0,
2072           y: -0.13,
2073           font: {
2074             family: "Consolas, Courier New",
2075             size: 13
2076           },
2077         },
2078         {
2079           text: "    Perfect     Measured",
2080           align: "left",
2081           showarrow: False,
2082           xref: "paper",
2083           yref: "paper",
2084           xanchor: "left",
2085           yanchor: "top",
2086           x: 0,
2087           y: -0.15,
2088           font: {
2089             family: "Consolas, Courier New",
2090             size: 13
2091           },
2092         },
2093       ]
2094
2095     plot-throughput-speedup-analysis-cps:
2096       titlefont:
2097         size: 16
2098       xaxis:
2099         title: "<b>Number of Cores [Qty]</b>"
2100         titlefont:
2101           size: 14
2102         autorange: True
2103         fixedrange: False
2104         gridcolor: "rgb(230, 230, 230)"
2105         linecolor: "rgb(220, 220, 220)"
2106         linewidth: 1
2107         showgrid: True
2108         showline: True
2109         showticklabels: True
2110         tickcolor: "rgb(238, 238, 238)"
2111         tickmode: "linear"
2112         tickfont:
2113           size: 14
2114         zeroline: False
2115       yaxis:
2116         title: "<b>Connection Rate [Mcps]</b>"
2117         titlefont:
2118           size: 14
2119         type: "linear"
2120         gridcolor: "rgb(230, 230, 230)"
2121         hoverformat: ".4s"
2122         linecolor: "rgb(220, 220, 220)"
2123         linewidth: 1
2124         showgrid: True
2125         showline: True
2126         showticklabels: True
2127         tickcolor: "rgb(220, 220, 220)"
2128         tickformat: ".4s"
2129         tickfont:
2130           size: 14
2131         zeroline: True
2132         rangemode: "tozero"
2133         range: [0,100]
2134       legend:
2135         orientation: "h"
2136         font:
2137           size: 14
2138         xanchor: "left"
2139         yanchor: "top"
2140         x: 0
2141         y: -0.2
2142         bgcolor: "rgba(255, 255, 255, 0)"
2143         bordercolor: "rgba(255, 255, 255, 0)"
2144         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2145       autosize: False
2146       margin:
2147           't': 50
2148           'b': 150
2149           'l': 85
2150           'r': 10
2151       showlegend: True
2152       width: 700
2153       height: 700
2154       paper_bgcolor: "#fff"
2155       plot_bgcolor: "#fff"
2156       hoverlabel:
2157         namelength: -1
2158       annotations: [
2159         {
2160           text: "_ _          __",
2161           align: "left",
2162           showarrow: False,
2163           xref: "paper",
2164           yref: "paper",
2165           xanchor: "left",
2166           yanchor: "top",
2167           x: 0,
2168           y: -0.13,
2169           font: {
2170             family: "Consolas, Courier New",
2171             size: 13
2172           },
2173         },
2174         {
2175           text: "    Perfect     Measured",
2176           align: "left",
2177           showarrow: False,
2178           xref: "paper",
2179           yref: "paper",
2180           xanchor: "left",
2181           yanchor: "top",
2182           x: 0,
2183           y: -0.15,
2184           font: {
2185             family: "Consolas, Courier New",
2186             size: 13
2187           },
2188         },
2189       ]
2190
2191     plot-latency:
2192       titlefont:
2193         size: 16
2194       xaxis:
2195         title: "<b>Direction</b>"
2196         titlefont:
2197           size: 14
2198         autorange: True
2199         fixedrange: False
2200         gridcolor: "rgb(230, 230, 230)"
2201         linecolor: "rgb(220, 220, 220)"
2202         linewidth: 1
2203         showgrid: True
2204         showline: True
2205         showticklabels: False
2206         tickcolor: "rgb(220, 220, 220)"
2207         tickmode: "linear"
2208         tickfont:
2209           size: 14
2210         zeroline: False
2211       yaxis:
2212         title: "<b>Packet Latency [uSec]</b>"
2213         titlefont:
2214           size: 14
2215         type: "linear"
2216         gridcolor: "rgb(230, 230, 230)"
2217         hoverformat: ".4s"
2218         linecolor: "rgb(220, 220, 220)"
2219         linewidth: 1
2220         showgrid: True
2221         showline: True
2222         showticklabels: True
2223         tickcolor: "rgb(220, 220, 220)"
2224         tickformat: ".4s"
2225         tickfont:
2226           size: 14
2227         zeroline: True
2228         rangemode: "tozero"
2229       legend:
2230         orientation: "h"
2231         font:
2232           size: 14
2233         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2234       autosize: False
2235       margin:
2236           't': 50
2237           'b': 150
2238           'l': 80
2239           'r': 10
2240       showlegend: True
2241       width: 700
2242       height: 700
2243       paper_bgcolor: "#fff"
2244       plot_bgcolor: "#fff"
2245       hoverlabel:
2246         namelength: -1
2247
2248     plot-hdrh-latency:
2249       title:
2250         text: ""
2251         xanchor: "center"
2252         x: 0.5
2253         font:
2254           size: 16
2255       width: 700
2256       plot_bgcolor: "white"
2257       annotations:
2258         - font:
2259             size: 14
2260           showarrow: False
2261           text: "<b>Packet Latency [uSec]</b>"
2262           x: 1
2263           xanchor: "right"
2264           xref: "paper"
2265           y: -0.045
2266           yanchor: "top"
2267           yref: "paper"
2268         - font:
2269             size: 14
2270           showarrow: False
2271           text: "<b>Probability [%]</b>"
2272           textangle: 270
2273           x: -0.06
2274           xanchor: "center"
2275           xref: "paper"
2276           y: 0.5
2277           yanchor: "middle"
2278           yref: "paper"
2279         - font:
2280             size: 14
2281           showarrow: False
2282           text: "<b>Direction: E-W</b>"
2283           x: 0.24
2284           xanchor: "center"
2285           xref: "paper"
2286           y: 1.05
2287           yanchor: "bottom"
2288           yref: "paper"
2289         - font:
2290             size: 14
2291           showarrow: False
2292           text: "<b>Direction: W-E</b>"
2293           x: 0.74
2294           xanchor: "center"
2295           xref: "paper"
2296           y: 1.05
2297           yanchor: "bottom"
2298           yref: "paper"
2299
2300     plot-hdrh-latency-percentile-x-log:
2301       title:
2302         text: "<b>Latency by Percentile Distribution</b>"
2303         xanchor: "center"
2304         x: 0.5
2305         font:
2306           size: 18
2307       showlegend: True
2308       legend:
2309         traceorder: "normal"
2310         orientation: "h"
2311         font:
2312           size: 16
2313         xanchor: "left"
2314         yanchor: "top"
2315         x: 0
2316         y: -0.2
2317         bgcolor: "rgba(255, 255, 255, 0)"
2318         bordercolor: "rgba(255, 255, 255, 0)"
2319       xaxis:
2320         type: "log"
2321         title: "<b>Percentile [%]</b>"
2322         titlefont:
2323           size: 14
2324         autorange: False
2325         fixedrange: False
2326         gridcolor: "rgb(230, 230, 230)"
2327         linecolor: "rgb(220, 220, 220)"
2328         linewidth: 1
2329         showgrid: True
2330         showline: True
2331         showticklabels: True
2332         tickcolor: "rgb(220, 220, 220)"
2333         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2334         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2335         tickfont:
2336           size: 14
2337       yaxis:
2338         title: "<b>One-Way Latency per Direction [uSec]</b>"
2339         titlefont:
2340           size: 14
2341         gridcolor: "rgb(230, 230, 230)"
2342         linecolor: "rgb(220, 220, 220)"
2343         linewidth: 1
2344         showgrid: True
2345         showline: True
2346         showticklabels: True
2347         tickcolor: "rgb(220, 220, 220)"
2348         tickfont:
2349           size: 14
2350       autosize: False
2351       width: 700
2352       height: 700
2353       paper_bgcolor: "white"
2354       plot_bgcolor: "white"
2355
2356     plot-hdrh-latency-by-percentile:
2357       title:
2358         text: "<b>Latency by Percentile Distribution</b>"
2359         xanchor: "center"
2360         x: 0.5
2361         font:
2362           size: 18
2363       showlegend: True
2364       legend:
2365         traceorder: "normal"
2366         orientation: "h"
2367         font:
2368           size: 16
2369         xanchor: "left"
2370         yanchor: "top"
2371         x: 0
2372         y: -0.2
2373         bgcolor: "rgba(255, 255, 255, 0)"
2374         bordercolor: "rgba(255, 255, 255, 0)"
2375       xaxis:
2376         type: "linear"
2377         title: "<b>Percentile [%]</b>"
2378         titlefont:
2379           size: 14
2380         autorange: False
2381         fixedrange: False
2382         range: [0, 100]
2383         gridcolor: "rgb(230, 230, 230)"
2384         linecolor: "rgb(220, 220, 220)"
2385         linewidth: 1
2386         showgrid: True
2387         showline: True
2388         showticklabels: True
2389         tickcolor: "rgb(220, 220, 220)"
2390         tickvals: [0, 25, 50, 75, 100]
2391         ticktext: [0, 25, 50, 75, 100]
2392         tickfont:
2393           size: 14
2394       yaxis:
2395         title: "<b>One-Way Latency per Direction [uSec]</b>"
2396         titlefont:
2397           size: 14
2398         gridcolor: "rgb(230, 230, 230)"
2399         linecolor: "rgb(220, 220, 220)"
2400         linewidth: 1
2401         showgrid: True
2402         showline: True
2403         showticklabels: True
2404         tickcolor: "rgb(220, 220, 220)"
2405         tickfont:
2406           size: 14
2407       width: 700
2408       height: 700
2409       paper_bgcolor: "white"
2410       plot_bgcolor: "white"
2411
2412 - type: "static"
2413   src-path: "{DIR[RST]}"
2414   dst-path: "{DIR[WORKING,SRC]}"
2415
2416 - type: "input"
2417   general:
2418     file-name: "output_info.xml.gz"
2419     file-format: ".gz"
2420     arch-file-format:
2421       - ".gz"
2422       - ".zip"
2423     download-path: "{job}/{build}/archives/{filename}"
2424     extract: "output.xml"
2425
2426     zip-file-name: "robot-plugin.zip"
2427     zip-file-format: ".zip"
2428     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2429     zip-extract: "robot-plugin/output.xml"
2430
2431   builds:
2432
2433     csit-vpp-perf-report-iterative-2009-3n-hsw:
2434       - 18  # rls2005 MRR iter env 5
2435       - 9   # rls2005 NDRPDR iter env 5
2436       - 10  # rls2005 NDRPDR iter env 5
2437       - 11  # rls2005 NDRPDR iter env 5
2438       - 12  # rls2005 NDRPDR iter env 5
2439       - 13  # rls2005 NDRPDR iter env 5
2440       - 14  # rls2005 NDRPDR iter env 5
2441       - 15  # rls2005 NDRPDR iter env 5
2442       - 16  # rls2005 NDRPDR iter env 5
2443       - 17  # rls2005 NDRPDR iter env 5
2444       - 19  # rls2005 NDRPDR iter env 5
2445       - 23  # rls2009 MRR iter env 5
2446       - 21  # rls2009 NDRPDR iter env 5
2447       - 22  # rls2009 NDRPDR iter env 5
2448       - 24  # rls2009 NDRPDR iter env 5
2449       - 25  # rls2009 NDRPDR iter env 5
2450       - 26  # rls2009 NDRPDR iter env 5
2451       - 27  # rls2009 NDRPDR iter env 5
2452       - 28  # rls2009 NDRPDR iter env 5
2453       - 29  # rls2009 NDRPDR iter env 5
2454       - 30  # rls2009 NDRPDR iter env 5
2455       - 31  # rls2009 NDRPDR iter env 5
2456       - 32  # rls2009 Hoststack iter env 5
2457       - 33  # rls2009 Hoststack iter env 5
2458       - 34  # rls2009 Hoststack iter env 5
2459       - 35  # rls2009 Hoststack iter env 5
2460       - 36  # rls2009 Hoststack iter env 5
2461       - 37  # rls2009 Hoststack iter env 5
2462       - 38  # rls2009 Hoststack iter env 5
2463       - 39  # rls2009 Hoststack iter env 5
2464       - 40  # rls2009 Hoststack iter env 5
2465       - 41  # rls2009 Hoststack iter env 5
2466     csit-vpp-perf-report-iterative-2101-3n-hsw:
2467       - 3   # rls2101.rc1 MRR iter env 6
2468       - 4   # rls2101.rc1 NDRPDR iter env 6
2469       - 5   # rls2101.rc1 NDRPDR iter env 6
2470       - 6   # rls2101.rc1 NDRPDR iter env 6
2471       - 7   # rls2101.rc1 NDRPDR iter env 6
2472       - 8   # rls2101.rc1 NDRPDR iter env 6
2473       - 9   # rls2101.rc1 NDRPDR iter env 6
2474       - 10  # rls2101.rc1 NDRPDR iter env 6
2475       - 11  # rls2101.rc1 NDRPDR iter env 6
2476       - 12  # rls2101.rc1 NDRPDR iter env 6
2477       - 13  # rls2101.rc1 NDRPDR iter env 6
2478       - 17  # rls2009 MRR iter env 6
2479       - 19  # rls2009 NDRPDR iter env 6
2480     # csit-vpp-perf-report-coverage-2101-3n-hsw:
2481
2482
2483     csit-vpp-perf-report-iterative-2009-3n-skx:
2484       - 17  # rls2005 MRR iter env 5
2485       - 13  # rls2005 NDRPDR iter env 5
2486       - 18  # rls2005 NDRPDR iter env 5
2487       - 19  # rls2005 NDRPDR iter env 5
2488       - 41  # rls2005 NDRPDR iter env 5
2489       - 43  # rls2005 NDRPDR iter env 5
2490       - 44  # rls2005 NDRPDR iter env 5
2491       - 45  # rls2005 NDRPDR iter env 5
2492       - 46  # rls2005 NDRPDR iter env 5
2493       - 48  # rls2005 NDRPDR iter env 5
2494       - 49  # rls2005 NDRPDR iter env 5
2495       - 24  # rls2009 MRR iter env 5
2496       - 26  # rls2009 NDRPDR iter env 5
2497       - 27  # rls2009 NDRPDR iter env 5
2498       - 28  # rls2009 NDRPDR iter env 5
2499       - 29  # rls2009 NDRPDR iter env 5
2500       - 35  # rls2009 NDRPDR iter env 5
2501       - 36  # rls2009 NDRPDR iter env 5
2502       - 37  # rls2009 NDRPDR iter env 5
2503       - 38  # rls2009 NDRPDR iter env 5
2504       - 39  # rls2009 NDRPDR iter env 5
2505       - 40  # rls2009 NDRPDR iter env 5
2506     csit-vpp-perf-report-iterative-2101-3n-skx:
2507       - 4   # rls2101.rc1 MRR iter env 6
2508       - 5   # rls2101.rc1 NDRPDR iter env 6
2509       - 6   # rls2101.rc1 NDRPDR iter env 6
2510       - 7   # rls2101.rc1 NDRPDR iter env 6
2511       - 8   # rls2101.rc1 NDRPDR iter env 6
2512       - 9   # rls2101.rc1 NDRPDR iter env 6
2513       - 12  # rls2009 MRR iter env 6
2514     # csit-vpp-perf-report-coverage-2101-3n-skx:
2515
2516
2517     csit-vpp-perf-report-iterative-2009-2n-skx:
2518       - 20  # rls2005 MRR iter env 5
2519       - 13  # rls2005 NDRPDR iter env 5
2520       - 16  # rls2005 NDRPDR iter env 5
2521       - 17  # rls2005 NDRPDR iter env 5
2522       - 18  # rls2005 NDRPDR iter env 5
2523       - 19  # rls2005 NDRPDR iter env 5
2524       - 21  # rls2005 NDRPDR iter env 5
2525       - 22  # rls2005 NDRPDR iter env 5
2526       - 23  # rls2005 NDRPDR iter env 5
2527       - 24  # rls2005 NDRPDR iter env 5
2528       - 25  # rls2005 NDRPDR iter env 5
2529       - 120 # rls2009 MRR iter env 5
2530       - 35  # rls2009 NDRPDR iter env 5
2531       - 36  # rls2009 NDRPDR iter env 5
2532       - 37  # rls2009 NDRPDR iter env 5
2533       - 39  # rls2009 NDRPDR iter env 5
2534       - 40  # rls2009 NDRPDR iter env 5
2535       - 42  # rls2009 NDRPDR iter env 5
2536       - 43  # rls2009 NDRPDR iter env 5
2537       - 44  # rls2009 NDRPDR iter env 5
2538       - 46  # rls2009 NDRPDR iter env 5
2539       - 48  # rls2009 NDRPDR iter env 5
2540       - 110 # rls2009 NDRPDR iter NAT44 env 5
2541       - 111 # rls2009 NDRPDR iter NAT44 env 5
2542       - 112 # rls2009 NDRPDR iter NAT44 env 5
2543       - 113 # rls2009 NDRPDR iter NAT44 env 5
2544       - 114 # rls2009 NDRPDR iter NAT44 env 5
2545       - 115 # rls2009 NDRPDR iter NAT44 env 5
2546       - 116 # rls2009 NDRPDR iter NAT44 env 5
2547       - 118 # rls2009 NDRPDR iter NAT44 env 5
2548       - 119 # rls2009 NDRPDR iter NAT44 env 5
2549       - 121 # rls2009 NDRPDR iter NAT44 env 5
2550       - 38  # rls2009 nf-density iter env 5
2551       - 41  # rls2009 nf-density iter env 5
2552       - 45  # rls2009 nf-density iter env 5
2553       - 47  # rls2009 nf-density iter env 5
2554       - 49  # rls2009 nf-density iter env 5
2555       - 63  # rls2009 nf-density iter env 5
2556       - 65  # rls2009 nf-density iter env 5
2557       - 66  # rls2009 nf-density iter env 5
2558       - 71  # rls2009 nf-density iter env 5
2559       - 72  # rls2009 nf-density iter env 5
2560       - 50  # rls2009 MRR nf-density iter env 5
2561       - 27  # rls2009 reconf env 5
2562       - 28  # rls2009 reconf env 5
2563       - 29  # rls2009 reconf env 5
2564       - 30  # rls2009 reconf env 5
2565       - 31  # rls2009 reconf env 5
2566       - 32  # rls2009 reconf env 5
2567       - 61  # rls2009 reconf env 5
2568       - 62  # rls2009 reconf env 5
2569       - 68  # rls2009 reconf env 5
2570       - 70  # rls2009 reconf env 5
2571       - 33  # rls2009 soak env 5
2572       - 34  # rls2009 soak env 5
2573     csit-vpp-perf-report-iterative-2101-2n-skx:
2574       - 3   # rls2101.rc1 MRR iter env 6
2575       - 5   # rls2101.rc1 NDRPDR iter env 6
2576       - 6   # rls2101.rc1 NDRPDR iter env 6
2577       - 7   # rls2101.rc1 NDRPDR iter env 6
2578       - 8   # rls2101.rc1 NDRPDR iter env 6
2579       - 10  # rls2101.rc1 NDRPDR iter env 6
2580       - 11  # rls2101.rc1 NDRPDR iter env 6
2581       - 12  # rls2101.rc1 NDRPDR iter env 6
2582       - 13  # rls2101.rc1 NDRPDR iter env 6
2583     # csit-vpp-perf-report-coverage-2101-2n-skx:
2584
2585
2586     csit-vpp-perf-report-iterative-2009-2n-clx:
2587       - 77  # rls2005 MRR iter env 5
2588       - 13  # rls2005 NDRPDR iter env 5
2589       - 15  # rls2005 NDRPDR iter env 5
2590       - 17  # rls2005 NDRPDR iter env 5
2591       - 18  # rls2005 NDRPDR iter env 5
2592       - 19  # rls2005 NDRPDR iter env 5
2593       - 20  # rls2005 NDRPDR iter env 5
2594       - 21  # rls2005 NDRPDR iter env 5
2595       - 22  # rls2005 NDRPDR iter env 5
2596       - 23  # rls2005 NDRPDR iter env 5
2597       - 24  # rls2005 NDRPDR iter env 5
2598       - 125 # rls2009 MRR iter env 5
2599       - 36  # rls2009 NDRPDR iter env 5
2600       - 39  # rls2009 NDRPDR iter env 5
2601       - 40  # rls2009 NDRPDR iter env 5
2602       - 65  # rls2009 NDRPDR iter env 5
2603       - 66  # rls2009 NDRPDR iter env 5
2604       - 79  # rls2009 NDRPDR iter env 5
2605       - 82  # rls2009 NDRPDR iter env 5
2606       - 88  # rls2009 NDRPDR iter env 5
2607       - 89  # rls2009 NDRPDR iter env 5
2608       - 90  # rls2009 NDRPDR iter env 5
2609       - 114 # rls2009 NDRPDR iter NAT44 env 5
2610       - 115 # rls2009 NDRPDR iter NAT44 env 5
2611       - 116 # rls2009 NDRPDR iter NAT44 env 5
2612       - 117 # rls2009 NDRPDR iter NAT44 env 5
2613       - 118 # rls2009 NDRPDR iter NAT44 env 5
2614       - 119 # rls2009 NDRPDR iter NAT44 env 5
2615       - 121 # rls2009 NDRPDR iter NAT44 env 5
2616       - 122 # rls2009 NDRPDR iter NAT44 env 5
2617       - 123 # rls2009 NDRPDR iter NAT44 env 5
2618       - 126 # rls2009 NDRPDR iter NAT44 env 5
2619       - 37  # rls2009 nf-density iter env 5
2620       - 43  # rls2009 nf-density iter env 5
2621       - 69  # rls2009 nf-density iter env 5
2622       - 70  # rls2009 nf-density iter env 5
2623       - 71  # rls2009 nf-density iter env 5
2624       - 72  # rls2009 nf-density iter env 5
2625       - 73  # rls2009 nf-density iter env 5
2626       - 74  # rls2009 nf-density iter env 5
2627       - 75  # rls2009 nf-density iter env 5
2628       - 76  # rls2009 nf-density iter env 5
2629       - 45  # rls2009 MRR nf-density iter env 5
2630       - 25  # rls2009 reconf env 5
2631       - 27  # rls2009 reconf env 5
2632       - 28  # rls2009 reconf env 5
2633       - 29  # rls2009 reconf env 5
2634       - 30  # rls2009 reconf env 5
2635       - 30  # rls2009 reconf env 5
2636       - 32  # rls2009 reconf env 5
2637       - 48  # rls2009 reconf env 5
2638       - 53  # rls2009 reconf env 5
2639       - 68  # rls2009 reconf env 5
2640       - 33  # rls2009 soak env 5
2641       - 34  # rls2009 soak env 5
2642     csit-vpp-perf-report-iterative-2101-2n-clx:
2643       - 3   # rls2101.rc1 MRR iter env 6
2644       - 4   # rls2101.rc1 NDRPDR iter env 6
2645       - 5   # rls2101.rc1 NDRPDR iter env 6
2646       - 6   # rls2101.rc1 NDRPDR iter env 6
2647       - 7   # rls2101.rc1 NDRPDR iter env 6
2648       - 8   # rls2101.rc1 NDRPDR iter env 6
2649       - 9   # rls2101.rc1 NDRPDR iter env 6
2650       - 10  # rls2101.rc1 NDRPDR iter env 6
2651       - 11  # rls2101.rc1 NDRPDR iter env 6
2652       - 12  # rls2101.rc1 NDRPDR iter env 6
2653       - 13  # rls2101.rc1 NDRPDR iter env 6
2654     # csit-vpp-perf-report-coverage-2101-2n-clx:
2655
2656
2657     csit-vpp-perf-report-iterative-2009-2n-zn2:
2658       - 15  # rls2009 MRR iter env 5
2659       - 17  # rls2009 NDRPDR iter env 5
2660       - 18  # rls2009 NDRPDR iter env 5
2661       - 31  # rls2009 NDRPDR iter env 5
2662       - 33  # rls2009 NDRPDR iter env 5
2663       - 34  # rls2009 NDRPDR iter env 5
2664     csit-vpp-perf-report-iterative-2101-2n-zn2:
2665       - 3   # rls2101.rc1 MRR iter env 6
2666       - 4   # rls2101.rc1 NDRPDR iter env 6
2667       - 5   # rls2101.rc1 NDRPDR iter env 6
2668       - 6   # rls2101.rc1 NDRPDR iter env 6
2669       - 7   # rls2101.rc1 NDRPDR iter env 6
2670       - 8   # rls2009 MRR iter env6
2671       - 9   # rls2009 NDRPDR iter env 6
2672
2673     csit-vpp-perf-report-iterative-2009-3n-tsh:
2674       - 8   # rls2005 NDRPDR iter env 5
2675       - 11  # rls2005 NDRPDR iter env 5
2676       - 12  # rls2005 NDRPDR iter env 5
2677       - 24  # rls2005 NDRPDR iter env 5
2678       - 27  # rls2005 NDRPDR iter env 5
2679       - 29  # rls2005 NDRPDR iter env 5
2680       - 31  # rls2005 NDRPDR iter env 5
2681       - 39  # rls2005 NDRPDR iter env 5
2682       - 40  # rls2005 NDRPDR iter env 5
2683       - 42  # rls2005 NDRPDR iter env 5
2684       - 13  # rls2005 MRR iter env 5
2685       - 14  # rls2009 NDRPDR iter env 5
2686       - 20  # rls2009 NDRPDR iter env 5
2687       - 21  # rls2009 NDRPDR iter env 5
2688       - 22  # rls2009 NDRPDR iter env 5
2689       - 23  # rls2009 NDRPDR iter env 5
2690       - 28  # rls2009 NDRPDR iter env 5
2691       - 30  # rls2009 NDRPDR iter env 5
2692       - 33  # rls2009 NDRPDR iter env 5
2693       - 38  # rls2009 NDRPDR iter env 5
2694       - 41  # rls2009 NDRPDR iter env 5
2695       - 15  # rls2009 MRR iter env 5
2696     csit-vpp-perf-report-iterative-2101-3n-tsh:
2697       - 2   # rls2101.rc1 MRR iter env 6
2698       - 3   # rls2101.rc1 NDRPDR iter env 6
2699       - 5   # rls2101.rc1 NDRPDR iter env 6
2700
2701     csit-vpp-perf-report-iterative-2009-3n-dnv:
2702       - 16  # rls2005 NDRPDR iter env 5
2703       - 23  # rls2005 NDRPDR iter env 5
2704       - 25  # rls2005 NDRPDR iter env 5
2705       - 26  # rls2005 NDRPDR iter env 5
2706       - 27  # rls2005 NDRPDR iter env 5
2707       - 28  # rls2005 NDRPDR iter env 5
2708       - 29  # rls2005 NDRPDR iter env 5
2709       - 30  # rls2005 NDRPDR iter env 5
2710       - 31  # rls2005 NDRPDR iter env 5
2711       - 32  # rls2005 NDRPDR iter env 5
2712       - 19  # rls2005 MRR iter env 5
2713       - 3   # rls2009 NDRPDR iter env 5
2714       - 6   # rls2009 NDRPDR iter env 5
2715       - 7   # rls2009 NDRPDR iter env 5
2716       - 8   # rls2009 NDRPDR iter env 5
2717       - 10  # rls2009 NDRPDR iter env 5
2718       - 11  # rls2009 NDRPDR iter env 5
2719       - 12  # rls2009 NDRPDR iter env 5
2720       - 14  # rls2009 NDRPDR iter env 5
2721       - 15  # rls2009 NDRPDR iter env 5
2722       - 24  # rls2009 NDRPDR iter env 5
2723       - 22  # rls2009 MRR iter env 5
2724     csit-vpp-perf-report-iterative-2101-3n-dnv:
2725       - 2   # rls2101.rc1 MRR iter env 6
2726       - 3   # rls2101.rc1 NDRPDR iter env 6
2727       - 4   # rls2101.rc1 NDRPDR iter env 6
2728       - 5   # rls2101.rc1 NDRPDR iter env 6
2729       - 6   # rls2101.rc1 NDRPDR iter env 6
2730       - 7   # rls2101.rc1 NDRPDR iter env 6
2731       - 8   # rls2101.rc1 NDRPDR iter env 6
2732       - 9   # rls2101.rc1 NDRPDR iter env 6
2733       - 10  # rls2101.rc1 NDRPDR iter env 6
2734       - 11  # rls2101.rc1 NDRPDR iter env 6
2735       - 12  # rls2101.rc1 NDRPDR iter env 6
2736     # csit-vpp-perf-report-coverage-2101-3n-dnv:
2737
2738
2739     csit-vpp-perf-report-iterative-2009-2n-dnv:
2740       - 16  # rls2005 NDRPDR iter env 5
2741       - 17  # rls2005 NDRPDR iter env 5
2742       - 18  # rls2005 NDRPDR iter env 5
2743       - 19  # rls2005 NDRPDR iter env 5
2744       - 21  # rls2005 NDRPDR iter env 5
2745       - 24  # rls2005 NDRPDR iter env 5
2746       - 27  # rls2005 NDRPDR iter env 5
2747       - 28  # rls2005 NDRPDR iter env 5
2748       - 29  # rls2005 NDRPDR iter env 5
2749       - 30  # rls2005 NDRPDR iter env 5
2750       - 23  # rls2005 MRR iter env 5
2751       - 3   # rls2009 NDRPDR iter env 5
2752       - 5   # rls2009 NDRPDR iter env 5
2753       - 6   # rls2009 NDRPDR iter env 5
2754       - 7   # rls2009 NDRPDR iter env 5
2755       - 9   # rls2009 NDRPDR iter env 5
2756       - 10  # rls2009 NDRPDR iter env 5
2757       - 11  # rls2009 NDRPDR iter env 5
2758       - 12  # rls2009 NDRPDR iter env 5
2759       - 14  # rls2009 NDRPDR iter env 5
2760       - 15  # rls2009 NDRPDR iter env 5
2761       - 13  # rls2009 MRR iter env 5
2762     csit-vpp-perf-report-iterative-2101-2n-dnv:
2763       - 2   # rls2101.rc1 MRR iter env 6
2764       - 3   # rls2101.rc1 NDRPDR iter env 6
2765       - 4   # rls2101.rc1 NDRPDR iter env 6
2766       - 5   # rls2101.rc1 NDRPDR iter env 6
2767       - 6   # rls2101.rc1 NDRPDR iter env 6
2768       - 7   # rls2101.rc1 NDRPDR iter env 6
2769       - 8   # rls2101.rc1 NDRPDR iter env 6
2770       - 9   # rls2101.rc1 NDRPDR iter env 6
2771       - 10  # rls2101.rc1 NDRPDR iter env 6
2772       - 11  # rls2101.rc1 NDRPDR iter env 6
2773       - 12  # rls2101.rc1 NDRPDR iter env 6
2774     # csit-vpp-perf-report-coverage-2101-2n-dnv:
2775
2776
2777     csit-dpdk-perf-report-iterative-2005-3n-hsw:
2778       - 25  # NDRPDR iter
2779       - 26  # NDRPDR iter
2780       - 27  # NDRPDR iter
2781       - 28  # NDRPDR iter
2782       - 29  # NDRPDR iter
2783       - 30  # NDRPDR iter
2784       - 31  # NDRPDR iter
2785       - 32  # NDRPDR iter
2786       - 33  # NDRPDR iter
2787       - 34  # NDRPDR iter
2788     csit-dpdk-perf-report-iterative-2009-3n-hsw:
2789       - 6   # NDRPDR iter env5
2790       - 7   # NDRPDR iter env5
2791       - 8   # NDRPDR iter env5
2792       - 9   # NDRPDR iter env5
2793       - 10  # NDRPDR iter env5
2794       - 11  # NDRPDR iter env5
2795       - 12  # NDRPDR iter env5
2796       - 13  # NDRPDR iter env5
2797       - 14  # NDRPDR iter env5
2798       - 15  # NDRPDR iter env5
2799     csit-dpdk-perf-report-iterative-2101-3n-hsw:
2800       - 11  # rls2101.rc1 NDRPDR iter env 6
2801       - 12  # rls2101.rc1 NDRPDR iter env 6
2802       - 13  # rls2101.rc1 NDRPDR iter env 6
2803       - 14  # rls2101.rc1 NDRPDR iter env 6
2804       - 16  # rls2101.rc1 NDRPDR iter env 6
2805       - 17  # rls2101.rc1 NDRPDR iter env 6
2806       - 18  # rls2101.rc1 NDRPDR iter env 6
2807       - 19  # rls2101.rc1 NDRPDR iter env 6
2808       - 20  # rls2101.rc1 NDRPDR iter env 6
2809       - 21  # rls2101.rc1 NDRPDR iter env 6
2810
2811     csit-dpdk-perf-report-iterative-2005-3n-skx:
2812       - 28  # NDRPDR iter
2813       - 29  # NDRPDR iter
2814       - 30  # NDRPDR iter
2815       - 31  # NDRPDR iter
2816       - 32  # NDRPDR iter
2817       - 33  # NDRPDR iter
2818       - 34  # NDRPDR iter
2819       - 35  # NDRPDR iter
2820       - 36  # NDRPDR iter
2821       - 37  # NDRPDR iter
2822     csit-dpdk-perf-report-iterative-2009-3n-skx:
2823       - 4   # NDRPDR sel env5
2824       - 5   # NDRPDR sel env5
2825       - 6   # NDRPDR sel env5
2826       - 7   # NDRPDR sel env5
2827       - 8   # NDRPDR sel env5
2828       - 9   # NDRPDR sel env5
2829       - 14  # NDRPDR sel env5
2830       - 11  # NDRPDR sel env5
2831       - 12  # NDRPDR sel env5
2832       - 13  # NDRPDR sel env5
2833     csit-dpdk-perf-report-iterative-2101-3n-skx:
2834       - 12  # rls2101.rc1 NDRPDR iter env 6
2835       - 14  # rls2101.rc1 NDRPDR iter env 6
2836       - 15  # rls2101.rc1 NDRPDR iter env 6
2837       - 17  # rls2101.rc1 NDRPDR iter env 6
2838       - 19  # rls2101.rc1 NDRPDR iter env 6
2839       - 20  # rls2101.rc1 NDRPDR iter env 6
2840       - 21  # rls2101.rc1 NDRPDR iter env 6
2841       - 22  # rls2101.rc1 NDRPDR iter env 6
2842
2843     csit-dpdk-perf-report-iterative-2005-2n-skx:
2844       - 20  # NDRPDR iter
2845       - 21  # NDRPDR iter
2846       - 22  # NDRPDR iter
2847       - 23  # NDRPDR iter
2848       - 24  # NDRPDR iter
2849       - 25  # NDRPDR iter
2850       - 26  # NDRPDR iter
2851       - 27  # NDRPDR iter
2852       - 28  # NDRPDR iter
2853       - 29  # NDRPDR iter
2854     csit-dpdk-perf-report-iterative-2009-2n-skx:
2855       - 4   # NDRPDR iter env5
2856       - 5   # NDRPDR iter env5
2857       - 6   # NDRPDR iter env5
2858       - 7   # NDRPDR iter env5
2859       - 8   # NDRPDR iter env5
2860       - 9   # NDRPDR iter env5
2861       - 10  # NDRPDR iter env5
2862       - 11  # NDRPDR iter env5
2863       - 12  # NDRPDR iter env5
2864       - 13  # NDRPDR iter env5
2865     csit-dpdk-perf-report-iterative-2101-2n-skx:
2866       - 11  # rls2101.rc1 NDRPDR iter env 6
2867       - 12  # rls2101.rc1 NDRPDR iter env 6
2868       - 13  # rls2101.rc1 NDRPDR iter env 6
2869       - 14  # rls2101.rc1 NDRPDR iter env 6
2870       - 15  # rls2101.rc1 NDRPDR iter env 6
2871       - 17  # rls2101.rc1 NDRPDR iter env 6
2872       - 18  # rls2101.rc1 NDRPDR iter env 6
2873       - 19  # rls2101.rc1 NDRPDR iter env 6
2874       - 20  # rls2101.rc1 NDRPDR iter env 6
2875       - 21  # rls2101.rc1 NDRPDR iter env 6
2876
2877     csit-dpdk-perf-report-iterative-2005-2n-clx:
2878       - 20  # NDRPDR iter
2879       - 21  # NDRPDR iter
2880       - 22  # NDRPDR iter
2881       - 23  # NDRPDR iter
2882       - 24  # NDRPDR iter
2883       - 25  # NDRPDR iter
2884       - 26  # NDRPDR iter
2885       - 27  # NDRPDR iter
2886       - 28  # NDRPDR iter
2887       - 29  # NDRPDR iter
2888     csit-dpdk-perf-report-iterative-2009-2n-clx:
2889       - 4   # NDRPDR iter env5
2890       - 5   # NDRPDR iter env5
2891       - 6   # NDRPDR iter env5
2892       - 7   # NDRPDR iter env5
2893       - 8   # NDRPDR iter env5
2894       - 9   # NDRPDR iter env5
2895       - 10  # NDRPDR iter env5
2896       - 11  # NDRPDR iter env5
2897       - 12  # NDRPDR iter env5
2898       - 13  # NDRPDR iter env5
2899     csit-dpdk-perf-report-iterative-2101-2n-clx:
2900       - 12  # rls2101.rc1 NDRPDR iter env 6
2901       - 13  # rls2101.rc1 NDRPDR iter env 6
2902       - 14  # rls2101.rc1 NDRPDR iter env 6
2903       - 15  # rls2101.rc1 NDRPDR iter env 6
2904       - 17  # rls2101.rc1 NDRPDR iter env 6
2905       - 18  # rls2101.rc1 NDRPDR iter env 6
2906       - 19  # rls2101.rc1 NDRPDR iter env 6
2907       - 20  # rls2101.rc1 NDRPDR iter env 6
2908       - 21  # rls2101.rc1 NDRPDR iter env 6
2909       - 22  # rls2101.rc1 NDRPDR iter env 6
2910
2911     csit-dpdk-perf-report-iterative-2009-2n-zn2:
2912       - 16  # NDRPDR iter env5
2913       - 21  # NDRPDR iter env5
2914       - 22  # NDRPDR iter env5
2915       - 23  # NDRPDR iter env5
2916       - 24  # NDRPDR iter env5
2917       - 25  # NDRPDR iter env5
2918       - 29  # NDRPDR iter env5
2919     csit-dpdk-perf-report-iterative-2101-2n-zn2:
2920       - 11  # rls2101.rc1 NDRPDR iter env 6
2921       - 12  # rls2101.rc1 NDRPDR iter env 6
2922       - 13  # rls2101.rc1 NDRPDR iter env 6
2923       - 14  # rls2101.rc1 NDRPDR iter env 6
2924       - 16  # rls2101.rc1 NDRPDR iter env 6
2925       - 17  # rls2101.rc1 NDRPDR iter env 6
2926       - 18  # rls2101.rc1 NDRPDR iter env 6
2927       - 19  # rls2101.rc1 NDRPDR iter env 6
2928       - 20  # rls2101.rc1 NDRPDR iter env 6
2929       - 21  # rls2101.rc1 NDRPDR iter env 6
2930
2931 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
2932 #      # No data
2933 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
2934 #      # No data
2935
2936 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
2937 #      # No data
2938 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
2939 #      # No data
2940
2941     csit-dpdk-perf-report-iterative-2005-3n-tsh:
2942       - 5   # NDRPDR sel
2943     csit-dpdk-perf-report-iterative-2009-3n-tsh:
2944       - 1   # NDRPDR iter env5
2945       - 2   # NDRPDR iter env5
2946       - 3   # NDRPDR iter env5
2947       - 4   # NDRPDR iter env5
2948       - 5   # NDRPDR iter env5
2949       - 6   # NDRPDR iter env5
2950       - 7   # NDRPDR iter env5
2951       - 9   # NDRPDR iter env5
2952       - 10  # NDRPDR iter env5
2953       - 11  # NDRPDR iter env5
2954     csit-dpdk-perf-report-iterative-2101-3n-tsh:
2955       - 11  # rls2101.rc1 NDRPDR iter env 6
2956       - 12  # rls2101.rc1 NDRPDR iter env 6
2957       - 13  # rls2101.rc1 NDRPDR iter env 6
2958       - 14  # rls2101.rc1 NDRPDR iter env 6
2959       - 16  # rls2101.rc1 NDRPDR iter env 6
2960       - 17  # rls2101.rc1 NDRPDR iter env 6
2961       - 18  # rls2101.rc1 NDRPDR iter env 6
2962       - 19  # rls2101.rc1 NDRPDR iter env 6
2963       - 20  # rls2101.rc1 NDRPDR iter env 6
2964       - 21  # rls2101.rc1 NDRPDR iter env 6
2965
2966     csit-vpp-device-2101-ubuntu1804-1n-skx:
2967       - 66  # VPP DEV 2101.rc1 env6
2968
2969 - type: "output"
2970   output: "report"
2971   format:
2972     html:
2973     - full
2974 #     pdf:
2975 #     - minimal
2976
2977 ################################################################################
2978 ###                               T A B L E S                                ###
2979 ################################################################################
2980
2981 # VPP Soak vs NDR - 2n-skx
2982 - type: "table"
2983   title: "VPP Soak vs NDR 2n-skx"
2984   algorithm: "table_soak_vs_ndr"
2985   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
2986   reference:
2987     title: "NDR"
2988     data: "vpp-soak-vs-ndr-2n-skx-ref"
2989   compare:
2990     title: "Soak"
2991     data: "vpp-soak-vs-ndr-2n-skx-cmp"
2992   data: "vpp-soak-vs-ndr-2n-skx"
2993   include-tests: "NDR"
2994   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
2995   parameters:
2996     - "throughput"
2997     - "name"
2998     - "parent"
2999
3000 # VPP Soak vs NDR - 2n-clx
3001 - type: "table"
3002   title: "VPP Soak vs NDR 2n-clx"
3003   algorithm: "table_soak_vs_ndr"
3004   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
3005   reference:
3006     title: "NDR"
3007     data: "vpp-soak-vs-ndr-2n-clx-ref"
3008   compare:
3009     title: "Soak"
3010     data: "vpp-soak-vs-ndr-2n-clx-cmp"
3011   data: "vpp-soak-vs-ndr-2n-clx"
3012   include-tests: "NDR"
3013   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3014   parameters:
3015     - "throughput"
3016     - "name"
3017     - "parent"
3018
3019 ################################################################################
3020
3021 # VPP Compare NICs 3n-skx 2t1c ndr
3022 - type: "table"
3023   title: "VPP Compare NICs 3n-skx 2t1c ndr"
3024   algorithm: "table_comparison"
3025   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
3026   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3027   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3028   columns:
3029     - title: "x710"
3030       data-set: "vpp-nic-comparison-3n-skx"
3031       tag: "NIC_Intel-X710"
3032     - title: "xxv710"
3033       data-set: "vpp-nic-comparison-3n-skx"
3034       tag: "NIC_Intel-XXV710"
3035   comparisons:
3036     - title: "Diff"
3037       reference: 1
3038       compare: 2
3039   legend:
3040     - ""
3041     - "x710, xxv710 - NICs tested."
3042     - "Diff - difference between x710 and xxv710 NIC."
3043
3044 # VPP Compare NICs 3n-skx 4t2c ndr
3045 - type: "table"
3046   title: "VPP Compare NICs 3n-skx 4t2c ndr"
3047   algorithm: "table_comparison"
3048   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
3049   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3050   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3051   columns:
3052     - title: "x710"
3053       data-set: "vpp-nic-comparison-3n-skx"
3054       tag: "NIC_Intel-X710"
3055     - title: "xxv710"
3056       data-set: "vpp-nic-comparison-3n-skx"
3057       tag: "NIC_Intel-XXV710"
3058   comparisons:
3059     - title: "Diff"
3060       reference: 1
3061       compare: 2
3062   legend:
3063     - ""
3064     - "x710, xxv710 - NICs tested."
3065     - "Diff - difference between x710 and xxv710 NIC."
3066
3067 # VPP Compare NICs 3n-skx 2t1c pdr
3068 - type: "table"
3069   title: "VPP Compare NICs 3n-skx 2t1c pdr"
3070   algorithm: "table_comparison"
3071   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
3072   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3073   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3074   columns:
3075     - title: "x710"
3076       data-set: "vpp-nic-comparison-3n-skx"
3077       tag: "NIC_Intel-X710"
3078     - title: "xxv710"
3079       data-set: "vpp-nic-comparison-3n-skx"
3080       tag: "NIC_Intel-XXV710"
3081   comparisons:
3082     - title: "Diff"
3083       reference: 1
3084       compare: 2
3085   legend:
3086     - ""
3087     - "x710, xxv710 - NICs tested."
3088     - "Diff - difference between x710 and xxv710 NIC."
3089
3090 # VPP Compare NICs 3n-skx 4t2c pdr
3091 - type: "table"
3092   title: "VPP Compare NICs 3n-skx 4t2c pdr"
3093   algorithm: "table_comparison"
3094   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
3095   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3096   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3097   columns:
3098     - title: "x710"
3099       data-set: "vpp-nic-comparison-3n-skx"
3100       tag: "NIC_Intel-X710"
3101     - title: "xxv710"
3102       data-set: "vpp-nic-comparison-3n-skx"
3103       tag: "NIC_Intel-XXV710"
3104   comparisons:
3105     - title: "Diff"
3106       reference: 1
3107       compare: 2
3108   legend:
3109     - ""
3110     - "x710, xxv710 - NICs tested."
3111     - "Diff - difference between x710 and xxv710 NIC."
3112
3113 # VPP Compare NICs 3n-skx 2t1c mrr
3114 - type: "table"
3115   title: "VPP Compare NICs 3n-skx 2t1c mrr"
3116   algorithm: "table_comparison"
3117   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
3118   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3119   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3120   columns:
3121     - title: "x710"
3122       data-set: "vpp-nic-comparison-3n-skx-mrr"
3123       tag: "NIC_Intel-X710"
3124     - title: "xxv710"
3125       data-set: "vpp-nic-comparison-3n-skx-mrr"
3126       tag: "NIC_Intel-XXV710"
3127   comparisons:
3128     - title: "Diff"
3129       reference: 1
3130       compare: 2
3131   legend:
3132     - ""
3133     - "x710, xxv710 - NICs tested."
3134     - "Diff - difference between x710 and xxv710 NIC."
3135
3136 # VPP Compare NICs 3n-skx 4t2c mrr
3137 - type: "table"
3138   title: "VPP Compare NICs 3n-skx 4t2c mrr"
3139   algorithm: "table_comparison"
3140   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
3141   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3142   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3143   columns:
3144     - title: "x710"
3145       data-set: "vpp-nic-comparison-3n-skx-mrr"
3146       tag: "NIC_Intel-X710"
3147     - title: "xxv710"
3148       data-set: "vpp-nic-comparison-3n-skx-mrr"
3149       tag: "NIC_Intel-XXV710"
3150   comparisons:
3151     - title: "Diff"
3152       reference: 1
3153       compare: 2
3154   legend:
3155     - ""
3156     - "x710, xxv710 - NICs tested."
3157     - "Diff - difference between x710 and xxv710 NIC."
3158
3159 # VPP Compare NICs 3n-skx 8t4c mrr
3160 - type: "table"
3161   title: "VPP Compare NICs 3n-skx 8t4c mrr"
3162   algorithm: "table_comparison"
3163   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
3164   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3165   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3166   columns:
3167     - title: "x710"
3168       data-set: "vpp-nic-comparison-3n-skx-mrr"
3169       tag: "NIC_Intel-X710"
3170     - title: "xxv710"
3171       data-set: "vpp-nic-comparison-3n-skx-mrr"
3172       tag: "NIC_Intel-XXV710"
3173   comparisons:
3174     - title: "Diff"
3175       reference: 1
3176       compare: 2
3177   legend:
3178     - ""
3179     - "x710, xxv710 - NICs tested."
3180     - "Diff - difference between x710 and xxv710 NIC."
3181
3182 # VPP Compare NICs 2n-skx 2t1c ndr
3183 - type: "table"
3184   title: "VPP Compare NICs 2n-skx 2t1c ndr"
3185   algorithm: "table_comparison"
3186   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
3187   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3188   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3189   columns:
3190     - title: "x710"
3191       data-set: "vpp-nic-comparison-2n-skx"
3192       tag: "NIC_Intel-X710"
3193     - title: "xxv710"
3194       data-set: "vpp-nic-comparison-2n-skx"
3195       tag: "NIC_Intel-XXV710"
3196   comparisons:
3197     - title: "Diff"
3198       reference: 1
3199       compare: 2
3200   legend:
3201     - ""
3202     - "x710, xxv710 - NICs tested."
3203     - "Diff - difference between x710 and xxv710 NIC."
3204
3205 # VPP Compare NICs 2n-skx 4t2c ndr