resources/tools/presentation/specification.yaml

   1 - type: "environment"
   2
   3   paths:
   4     # Top level directories:
   5     ## Working directory
   6     DIR[WORKING]: "_tmp"
   7     ## Build directories
   8     DIR[BUILD,HTML]: "_build"
   9     DIR[BUILD,LATEX]: "_build_latex"
  10
  11     # Static .rst files
  12     DIR[RST]: "../../../docs/report"
  13
  14     # Working directories
  15     ## Input data files (.zip, .xml)
  16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  17     ## Static source files from git
  18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  20
  21     # Static html content
  22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  26
  27     # Detailed test results
  28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
  33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
  34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
  35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
  36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
  37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
  38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
  42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
  43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
  44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
  45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
  46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
  47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
  51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
  52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
  53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
  54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
  55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  56
  57     # Detailed test configurations
  58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
  60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
  64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
  65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
  66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
  67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
  68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
  69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
  73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
  74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
  75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
  76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
  77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  78
  79     # Detailed tests operational data
  80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
  82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
  86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
  87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
  88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
  89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
  90
  91     # Latencies:
  92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  94
  95     # .css patch file to fix tables generated by Sphinx
  96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  98
  99   urls:
 100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
 101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
 102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
 103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
 104     DIR[NEXUS,DOC]: "report/_static/archive"
 105
 106   make-dirs:
 107   # List the directories which are created while preparing the environment.
 108   # All directories MUST be defined in "paths" section.
 109   - "DIR[WORKING,DATA]"
 110   - "DIR[STATIC,VPP]"
 111   - "DIR[STATIC,DPDK]"
 112   - "DIR[STATIC,ARCH]"
 113   - "DIR[BUILD,LATEX]"
 114   - "DIR[WORKING,SRC]"
 115   - "DIR[WORKING,SRC,STATIC]"
 116
 117   remove-dirs:
 118   # List the directories which are deleted while cleaning the environment.
 119   # All directories MUST be defined in "paths" section.
 120   #- "DIR[BUILD,HTML]"
 121   - "DIR[WORKING,DATA]"
 122
 123   build-dirs:
 124   # List the directories where the results (build) is stored.
 125   # All directories MUST be defined in "paths" section.
 126   - "DIR[BUILD,HTML]"
 127   - "DIR[BUILD,LATEX]"
 128
 129 - type: "configuration"
 130
 131   mapping-file: "mapping_report.yaml"
 132
 133   limits:
 134     nic:
 135       x520: 24460000
 136       x553: 29761905
 137       x710: 35800000
 138       xxv710: 35800000
 139       xl710: 35800000
 140       cx556a: 148809523.81
 141
 142     link:
 143       10ge: 14880952.38
 144       25ge: 37202380.95
 145       40ge: 59523809.52
 146       100ge: 148809523.81
 147
 148     pci:
 149       pci-g3-x8: 74404761.90
 150       pci-g3-x16: 148809523.81
 151
 152   data-sets:
 153
 154     ###########################################################################
 155     # Plots:
 156
 157     # 3n-hsw
 158
 159     plot-vpp-throughput-lat-tsa-3n-hsw:
 160       csit-vpp-perf-report-iterative-2009-3n-hsw:
 161         - 21  # rls2009 NDRPDR iter env 5
 162         - 22  # rls2009 NDRPDR iter env 5
 163         - 24  # rls2009 NDRPDR iter env 5
 164         - 25  # rls2009 NDRPDR iter env 5
 165         - 26  # rls2009 NDRPDR iter env 5
 166         - 27  # rls2009 NDRPDR iter env 5
 167         - 28  # rls2009 NDRPDR iter env 5
 168         - 29  # rls2009 NDRPDR iter env 5
 169         - 30  # rls2009 NDRPDR iter env 5
 170         - 31  # rls2009 NDRPDR iter env 5
 171
 172     plot-vpp-hdrh-lat-3n-hsw:
 173       csit-vpp-perf-report-iterative-2009-3n-hsw:
 174         - 22  # rls2009 NDRPDR iter env 5
 175
 176     plot-vpp-hoststack-3n-hsw:
 177       csit-vpp-perf-report-iterative-2009-3n-hsw:
 178         - 32  # rls2009 Hoststack iter env 5
 179         - 33  # rls2009 Hoststack iter env 5
 180         - 34  # rls2009 Hoststack iter env 5
 181         - 35  # rls2009 Hoststack iter env 5
 182         - 36  # rls2009 Hoststack iter env 5
 183         - 37  # rls2009 Hoststack iter env 5
 184         - 38  # rls2009 Hoststack iter env 5
 185         - 39  # rls2009 Hoststack iter env 5
 186         - 40  # rls2009 Hoststack iter env 5
 187         - 41  # rls2009 Hoststack iter env 5
 188
 189     plot-dpdk-throughput-latency-3n-hsw:
 190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 191         - 6   # NDRPDR iter env5
 192         - 7   # NDRPDR iter env5
 193         - 8   # NDRPDR iter env5
 194         - 9   # NDRPDR iter env5
 195         - 10  # NDRPDR iter env5
 196         - 11  # NDRPDR iter env5
 197         - 12  # NDRPDR iter env5
 198         - 13  # NDRPDR iter env5
 199         - 14  # NDRPDR iter env5
 200         - 15  # NDRPDR iter env5
 201
 202     plot-dpdk-hdrh-lat-3n-hsw:
 203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 204         - 6   # NDRPDR iter env5
 205
 206     # 3n-skx
 207
 208     plot-vpp-throughput-lat-tsa-3n-skx:
 209       csit-vpp-perf-report-iterative-2009-3n-skx:
 210         - 26  # rls2009 NDRPDR iter env 5
 211         - 27  # rls2009 NDRPDR iter env 5
 212         - 28  # rls2009 NDRPDR iter env 5
 213         - 29  # rls2009 NDRPDR iter env 5
 214         - 35  # rls2009 NDRPDR iter env 5
 215         - 36  # rls2009 NDRPDR iter env 5
 216         - 37  # rls2009 NDRPDR iter env 5
 217         - 38  # rls2009 NDRPDR iter env 5
 218         - 39  # rls2009 NDRPDR iter env 5
 219         - 40  # rls2009 NDRPDR iter env 5
 220
 221     plot-vpp-hdrh-lat-3n-skx:
 222       csit-vpp-perf-report-iterative-2009-3n-skx:
 223         - 27  # rls2009 NDRPDR iter env 5
 224
 225 #    plot-vpp-nfv-3n-skx-ndrpdr:
 226 #      # No data
 227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 228
 229 #    plot-vpp-nfv-3n-skx-mrr:
 230 #      # No data
 231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 232
 233     plot-dpdk-throughput-latency-3n-skx:
 234       csit-dpdk-perf-report-iterative-2009-3n-skx:
 235         - 4   # NDRPDR sel env5
 236         - 5   # NDRPDR sel env5
 237         - 6   # NDRPDR sel env5
 238         - 7   # NDRPDR sel env5
 239         - 8   # NDRPDR sel env5
 240         - 9   # NDRPDR sel env5
 241         - 14  # NDRPDR sel env5
 242         - 11  # NDRPDR sel env5
 243         - 12  # NDRPDR sel env5
 244         - 13  # NDRPDR sel env5
 245
 246     plot-dpdk-hdrh-lat-3n-skx:
 247       csit-dpdk-perf-report-iterative-2009-3n-skx:
 248         - 4   # NDRPDR sel env5
 249
 250     # 2n-skx
 251
 252     plot-vpp-throughput-lat-tsa-2n-skx:
 253       csit-vpp-perf-report-iterative-2009-2n-skx:
 254         - 35  # rls2009 NDRPDR iter env 5
 255         - 36  # rls2009 NDRPDR iter env 5
 256         - 37  # rls2009 NDRPDR iter env 5
 257         - 39  # rls2009 NDRPDR iter env 5
 258         - 40  # rls2009 NDRPDR iter env 5
 259         - 42  # rls2009 NDRPDR iter env 5
 260         - 43  # rls2009 NDRPDR iter env 5
 261         - 44  # rls2009 NDRPDR iter env 5
 262         - 46  # rls2009 NDRPDR iter env 5
 263         - 48  # rls2009 NDRPDR iter env 5
 264         - 110 # rls2009 NDRPDR iter NAT44 env 5
 265         - 111 # rls2009 NDRPDR iter NAT44 env 5
 266         - 112 # rls2009 NDRPDR iter NAT44 env 5
 267         - 113 # rls2009 NDRPDR iter NAT44 env 5
 268         - 114 # rls2009 NDRPDR iter NAT44 env 5
 269         - 115 # rls2009 NDRPDR iter NAT44 env 5
 270         - 116 # rls2009 NDRPDR iter NAT44 env 5
 271         - 118 # rls2009 NDRPDR iter NAT44 env 5
 272         - 119 # rls2009 NDRPDR iter NAT44 env 5
 273         - 121 # rls2009 NDRPDR iter NAT44 env 5
 274
 275     plot-vpp-hdrh-lat-2n-skx:
 276       csit-vpp-perf-report-iterative-2009-2n-skx:
 277         - 35  # rls2009 NDRPDR iter env 5
 278
 279     plot-vpp-hdrh-lat-2n-skx-nat44:
 280       csit-vpp-perf-report-iterative-2009-2n-skx:
 281         - 110 # rls2009 NDRPDR iter NAT44 env 5
 282
 283     plot-vpp-soak-2n-skx:
 284       csit-vpp-perf-report-iterative-2009-2n-skx:
 285         - 33  # rls2009 soak env 5
 286         - 34  # rls2009 soak env 5
 287
 288     plot-vpp-nfv-2n-skx-ndrpdr:
 289       csit-vpp-perf-report-iterative-2009-2n-skx:
 290         - 38  # rls2009 nf-density iter env 5
 291         - 41  # rls2009 nf-density iter env 5
 292         - 45  # rls2009 nf-density iter env 5
 293         - 47  # rls2009 nf-density iter env 5
 294         - 49  # rls2009 nf-density iter env 5
 295         - 63  # rls2009 nf-density iter env 5
 296         - 65  # rls2009 nf-density iter env 5
 297         - 66  # rls2009 nf-density iter env 5
 298         - 71  # rls2009 nf-density iter env 5
 299         - 72  # rls2009 nf-density iter env 5
 300
 301     plot-vpp-nfv-2n-skx-mrr:
 302       csit-vpp-perf-report-iterative-2009-2n-skx:
 303         - 50  # rls2009 MRR nf-density iter env 5
 304
 305     plot-vpp-nfv-reconf-2n-skx:
 306       csit-vpp-perf-report-iterative-2009-2n-skx:
 307         - 27  # rls2009 reconf env 5
 308         - 28  # rls2009 reconf env 5
 309         - 29  # rls2009 reconf env 5
 310         - 30  # rls2009 reconf env 5
 311         - 31  # rls2009 reconf env 5
 312         - 32  # rls2009 reconf env 5
 313         - 61  # rls2009 reconf env 5
 314         - 62  # rls2009 reconf env 5
 315         - 68  # rls2009 reconf env 5
 316         - 70  # rls2009 reconf env 5
 317
 318     plot-dpdk-throughput-latency-2n-skx:
 319       csit-dpdk-perf-report-iterative-2009-2n-skx:
 320         - 4   # NDRPDR iter env5
 321         - 5   # NDRPDR iter env5
 322         - 6   # NDRPDR iter env5
 323         - 7   # NDRPDR iter env5
 324         - 8   # NDRPDR iter env5
 325         - 9   # NDRPDR iter env5
 326         - 10  # NDRPDR iter env5
 327         - 11  # NDRPDR iter env5
 328         - 12  # NDRPDR iter env5
 329         - 13  # NDRPDR iter env5
 330
 331     plot-dpdk-hdrh-lat-2n-skx:
 332       csit-dpdk-perf-report-iterative-2009-2n-skx:
 333         - 4   # NDRPDR iter env5
 334
 335     # 2n-zn2
 336
 337     plot-vpp-throughput-lat-tsa-2n-zn2-turbo:
 338       csit-vpp-perf-report-iterative-2009-2n-zn2:
 339         - 3   # rls2009 NDRPDR turbo iter env 5
 340         - 4   # rls2009 NDRPDR turbo iter env 5
 341         - 6   # rls2009 NDRPDR turbo iter env 5
 342         - 7   # rls2009 NDRPDR turbo iter env 5
 343         - 8   # rls2009 NDRPDR turbo iter env 5
 344         - 9   # rls2009 NDRPDR turbo iter env 5
 345         - 10  # rls2009 NDRPDR turbo iter env 5
 346         - 11  # rls2009 NDRPDR turbo iter env 5
 347
 348     plot-vpp-hdrh-lat-2n-zn2-turbo:
 349       csit-vpp-perf-report-iterative-2009-2n-zn2:
 350         - 3   # rls2009 NDRPDR turbo iter env 5
 351
 352     plot-dpdk-throughput-latency-2n-zn2-turbo:
 353       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 354         - 1   # NDRPDR turbo iter env5
 355
 356     plot-dpdk-hdrh-lat-2n-zn2-turbo:
 357       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 358         - 1   # NDRPDR turbo iter env5
 359
 360     plot-vpp-throughput-lat-tsa-2n-zn2:
 361       csit-vpp-perf-report-iterative-2009-2n-zn2:
 362         - 17  # rls2009 NDRPDR iter env 5
 363         - 18  # rls2009 NDRPDR iter env 5
 364         - 31  # rls2009 NDRPDR iter env 5
 365         - 33  # rls2009 NDRPDR iter env 5
 366
 367     plot-vpp-hdrh-lat-2n-zn2:
 368       csit-vpp-perf-report-iterative-2009-2n-zn2:
 369         - 18  # rls2009 NDRPDR iter env 5
 370
 371     plot-dpdk-throughput-latency-2n-zn2:
 372       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 373         - 16  # NDRPDR iter env5
 374         - 21  # NDRPDR iter env5
 375         - 22  # NDRPDR iter env5
 376         - 23  # NDRPDR iter env5
 377         - 24  # NDRPDR iter env5
 378         - 25  # NDRPDR iter env5
 379         - 29  # NDRPDR iter env5
 380
 381     plot-dpdk-hdrh-lat-2n-zn2:
 382       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 383         - 16  # NDRPDR iter env5
 384
 385     # 2n-clx
 386
 387     plot-vpp-throughput-lat-tsa-2n-clx:
 388       csit-vpp-perf-report-iterative-2009-2n-clx:
 389         - 36  # rls2009 NDRPDR iter env 5
 390         - 39  # rls2009 NDRPDR iter env 5
 391         - 40  # rls2009 NDRPDR iter env 5
 392         - 65  # rls2009 NDRPDR iter env 5
 393         - 66  # rls2009 NDRPDR iter env 5
 394         - 79  # rls2009 NDRPDR iter env 5
 395         - 82  # rls2009 NDRPDR iter env 5
 396         - 88  # rls2009 NDRPDR iter env 5
 397         - 89  # rls2009 NDRPDR iter env 5
 398         - 90  # rls2009 NDRPDR iter env 5
 399         - 114 # rls2009 NDRPDR iter NAT44 env 5
 400         - 115 # rls2009 NDRPDR iter NAT44 env 5
 401         - 116 # rls2009 NDRPDR iter NAT44 env 5
 402         - 117 # rls2009 NDRPDR iter NAT44 env 5
 403         - 118 # rls2009 NDRPDR iter NAT44 env 5
 404         - 119 # rls2009 NDRPDR iter NAT44 env 5
 405         - 121 # rls2009 NDRPDR iter NAT44 env 5
 406         - 122 # rls2009 NDRPDR iter NAT44 env 5
 407         - 123 # rls2009 NDRPDR iter NAT44 env 5
 408         - 126 # rls2009 NDRPDR iter NAT44 env 5
 409
 410     plot-vpp-hdrh-lat-2n-clx:
 411       csit-vpp-perf-report-iterative-2009-2n-clx:
 412         - 36  # rls2009 NDRPDR iter env 5
 413
 414     plot-vpp-hdrh-lat-2n-clx-nat44:
 415       csit-vpp-perf-report-iterative-2009-2n-clx:
 416         - 123 # rls2009 NDRPDR iter NAT44 env 5
 417
 418     plot-vpp-nfv-2n-clx-ndrpdr:
 419       csit-vpp-perf-report-iterative-2009-2n-clx:
 420         - 37  # rls2009 nf-density iter env 5
 421         - 43  # rls2009 nf-density iter env 5
 422         - 69  # rls2009 nf-density iter env 5
 423         - 70  # rls2009 nf-density iter env 5
 424         - 71  # rls2009 nf-density iter env 5
 425         - 72  # rls2009 nf-density iter env 5
 426         - 73  # rls2009 nf-density iter env 5
 427         - 74  # rls2009 nf-density iter env 5
 428         - 75  # rls2009 nf-density iter env 5
 429         - 76  # rls2009 nf-density iter env 5
 430
 431     plot-vpp-nfv-2n-clx-mrr:
 432       csit-vpp-perf-report-iterative-2009-2n-clx:
 433         - 45  # rls2009 MRR nf-density iter env 5
 434
 435     plot-vpp-nfv-reconf-2n-clx:
 436       csit-vpp-perf-report-iterative-2009-2n-clx:
 437         - 25  # rls2009 reconf env 5
 438         - 27  # rls2009 reconf env 5
 439         - 28  # rls2009 reconf env 5
 440         - 29  # rls2009 reconf env 5
 441         - 30  # rls2009 reconf env 5
 442         - 30  # rls2009 reconf env 5
 443         - 32  # rls2009 reconf env 5
 444         - 48  # rls2009 reconf env 5
 445         - 53  # rls2009 reconf env 5
 446         - 68  # rls2009 reconf env 5
 447
 448     plot-vpp-soak-2n-clx:
 449       csit-vpp-perf-report-iterative-2009-2n-clx:
 450         - 33  # rls2009 soak env 5
 451         - 34  # rls2009 soak env 5
 452
 453     plot-dpdk-throughput-latency-2n-clx:
 454       csit-dpdk-perf-report-iterative-2009-2n-clx:
 455         - 4   # NDRPDR iter env5
 456         - 5   # NDRPDR iter env5
 457         - 6   # NDRPDR iter env5
 458         - 7   # NDRPDR iter env5
 459         - 8   # NDRPDR iter env5
 460         - 9   # NDRPDR iter env5
 461         - 10  # NDRPDR iter env5
 462         - 11  # NDRPDR iter env5
 463         - 12  # NDRPDR iter env5
 464         - 13  # NDRPDR iter env5
 465
 466     plot-dpdk-hdrh-lat-2n-clx:
 467       csit-dpdk-perf-report-iterative-2009-2n-clx:
 468         - 4   # NDRPDR iter env5
 469
 470     # 3n-tsh
 471
 472     plot-vpp-throughput-lat-tsa-3n-tsh:
 473       csit-vpp-perf-report-iterative-2009-3n-tsh:
 474         - 14  # rls2009 NDRPDR iter env 5
 475         - 20  # rls2009 NDRPDR iter env 5
 476         - 21  # rls2009 NDRPDR iter env 5
 477         - 22  # rls2009 NDRPDR iter env 5
 478         - 23  # rls2009 NDRPDR iter env 5
 479         - 28  # rls2009 NDRPDR iter env 5
 480         - 30  # rls2009 NDRPDR iter env 5
 481         - 33  # rls2009 NDRPDR iter env 5
 482         - 38  # rls2009 NDRPDR iter env 5
 483         - 41  # rls2009 NDRPDR iter env 5
 484
 485     plot-vpp-hdrh-lat-3n-tsh:
 486       csit-vpp-perf-report-iterative-2009-3n-tsh:
 487         - 14  # rls2009 NDRPDR iter env 5
 488
 489     plot-dpdk-throughput-latency-3n-tsh:
 490       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 491         - 1   # NDRPDR iter env5
 492         - 2   # NDRPDR iter env5
 493         - 3   # NDRPDR iter env5
 494         - 4   # NDRPDR iter env5
 495         - 5   # NDRPDR iter env5
 496         - 6   # NDRPDR iter env5
 497         - 7   # NDRPDR iter env5
 498         - 9   # NDRPDR iter env5
 499         - 10  # NDRPDR iter env5
 500         - 11  # NDRPDR iter env5
 501
 502     plot-dpdk-hdrh-lat-3n-tsh:
 503       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 504         - 1   # NDRPDR iter env5
 505
 506     # 3n-dnv
 507
 508     plot-vpp-throughput-lat-tsa-3n-dnv:
 509       csit-vpp-perf-report-iterative-2009-3n-dnv:
 510         - 3   # rls2009 NDRPDR iter env 5
 511         - 6   # rls2009 NDRPDR iter env 5
 512         - 7   # rls2009 NDRPDR iter env 5
 513         - 8   # rls2009 NDRPDR iter env 5
 514         - 10  # rls2009 NDRPDR iter env 5
 515         - 11  # rls2009 NDRPDR iter env 5
 516         - 12  # rls2009 NDRPDR iter env 5
 517         - 14  # rls2009 NDRPDR iter env 5
 518         - 15  # rls2009 NDRPDR iter env 5
 519         - 24  # rls2009 NDRPDR iter env 5
 520
 521 #    plot-dpdk-throughput-latency-3n-dnv:
 522 #      # No data
 523 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 524
 525     # 2n-dnv
 526
 527     plot-vpp-throughput-lat-tsa-2n-dnv:
 528       csit-vpp-perf-report-iterative-2009-2n-dnv:
 529         - 3   # rls2009 NDRPDR iter env 5
 530         - 5   # rls2009 NDRPDR iter env 5
 531         - 6   # rls2009 NDRPDR iter env 5
 532         - 7   # rls2009 NDRPDR iter env 5
 533         - 9   # rls2009 NDRPDR iter env 5
 534         - 10  # rls2009 NDRPDR iter env 5
 535         - 11  # rls2009 NDRPDR iter env 5
 536         - 12  # rls2009 NDRPDR iter env 5
 537         - 14  # rls2009 NDRPDR iter env 5
 538         - 15  # rls2009 NDRPDR iter env 5
 539
 540 #    plot-dpdk-throughput-latency-2n-dnv:
 541 #      # No data
 542 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 543
 544     ###########################################################################
 545     # Simple tables (only one data set):
 546
 547     # NIC Comparisons
 548
 549     vpp-nic-comparison-3n-skx:
 550       csit-vpp-perf-report-iterative-2009-3n-skx:
 551         - 26  # rls2009 NDRPDR iter env 5
 552         - 27  # rls2009 NDRPDR iter env 5
 553         - 28  # rls2009 NDRPDR iter env 5
 554         - 29  # rls2009 NDRPDR iter env 5
 555         - 35  # rls2009 NDRPDR iter env 5
 556         - 36  # rls2009 NDRPDR iter env 5
 557         - 37  # rls2009 NDRPDR iter env 5
 558         - 38  # rls2009 NDRPDR iter env 5
 559         - 39  # rls2009 NDRPDR iter env 5
 560         - 40  # rls2009 NDRPDR iter env 5
 561
 562     vpp-nic-comparison-2n-skx:
 563       csit-vpp-perf-report-iterative-2009-2n-skx:
 564         - 35  # rls2009 NDRPDR iter env 5
 565         - 36  # rls2009 NDRPDR iter env 5
 566         - 37  # rls2009 NDRPDR iter env 5
 567         - 39  # rls2009 NDRPDR iter env 5
 568         - 40  # rls2009 NDRPDR iter env 5
 569         - 42  # rls2009 NDRPDR iter env 5
 570         - 43  # rls2009 NDRPDR iter env 5
 571         - 44  # rls2009 NDRPDR iter env 5
 572         - 46  # rls2009 NDRPDR iter env 5
 573         - 48  # rls2009 NDRPDR iter env 5
 574         - 110 # rls2009 NDRPDR iter NAT44 env 5
 575         - 111 # rls2009 NDRPDR iter NAT44 env 5
 576         - 112 # rls2009 NDRPDR iter NAT44 env 5
 577         - 113 # rls2009 NDRPDR iter NAT44 env 5
 578         - 114 # rls2009 NDRPDR iter NAT44 env 5
 579         - 115 # rls2009 NDRPDR iter NAT44 env 5
 580         - 116 # rls2009 NDRPDR iter NAT44 env 5
 581         - 118 # rls2009 NDRPDR iter NAT44 env 5
 582         - 119 # rls2009 NDRPDR iter NAT44 env 5
 583         - 121 # rls2009 NDRPDR iter NAT44 env 5
 584
 585     vpp-nic-comparison-3n-skx-mrr:
 586       csit-vpp-perf-report-iterative-2009-3n-skx:
 587         - 24  # rls2009 MRR iter env 5
 588
 589     vpp-nic-comparison-2n-skx-mrr:
 590       csit-vpp-perf-report-iterative-2009-2n-skx:
 591         - 120 # rls2009 MRR iter env 5
 592
 593     # Results
 594
 595     vpp-perf-results-3n-hsw:
 596       csit-vpp-perf-report-coverage-2009-3n-hsw:
 597         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
 598         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
 599         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
 600         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
 601         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
 602         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
 603         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
 604         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
 605         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
 606         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
 607         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
 608         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
 609         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
 610         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
 611         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
 612         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
 613         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
 614         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
 615         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
 616         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
 617         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
 618         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
 619         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
 620         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
 621         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
 622         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
 623         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
 624         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
 625         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
 626         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
 627         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
 628         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
 629         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
 630         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
 631         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
 632
 633     vpp-perf-results-3n-skx:
 634       csit-vpp-perf-report-coverage-2009-3n-skx:
 635         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
 636         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
 637         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
 638         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
 639         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
 640         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
 641         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
 642         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
 643         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
 644         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
 645         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
 646         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
 647         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
 648         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
 649         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
 650         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
 651         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
 652         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
 653         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
 654         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
 655         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
 656         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
 657         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
 658         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
 659         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
 660         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
 661         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
 662         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
 663         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
 664         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
 665         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
 666         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
 667         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
 668         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
 669         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
 670         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
 671
 672     vpp-perf-results-2n-skx:
 673       csit-vpp-perf-report-coverage-2009-2n-skx:
 674         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
 675         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
 676         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
 677         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
 678         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
 679         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
 680         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
 681         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
 682         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
 683         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
 684         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
 685         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
 686         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
 687         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
 688         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
 689         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
 690         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
 691
 692     vpp-perf-results-2n-zn2:
 693       csit-vpp-perf-report-iterative-2009-2n-zn2:
 694         - 18  # rls2009 NDRPDR iter env 5
 695
 696     vpp-perf-results-2n-clx:
 697       csit-vpp-perf-report-coverage-2009-2n-clx:
 698         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
 699         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
 700         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
 701         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
 702         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
 703         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
 704         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
 705         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
 706         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
 707         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
 708         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
 709         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
 710         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
 711         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
 712         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
 713         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
 714         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
 715
 716     vpp-perf-results-3n-tsh:
 717       csit-vpp-perf-report-iterative-2009-3n-tsh:
 718         - 14  # rls2009 NDRPDR iter env 5
 719
 720     vpp-perf-results-3n-dnv:
 721       csit-vpp-perf-report-coverage-2009-3n-dnv:
 722         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
 723         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
 724         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
 725         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
 726         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
 727         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
 728         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
 729         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
 730         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
 731
 732     vpp-perf-results-2n-dnv:
 733       csit-vpp-perf-report-coverage-2009-2n-dnv:
 734         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
 735         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
 736         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
 737         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
 738         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
 739         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
 740
 741     vpp-mrr-results-3n-hsw:
 742       csit-vpp-perf-report-iterative-2009-3n-hsw:
 743         - 23  # rls2009 MRR iter env 5
 744
 745     vpp-mrr-results-3n-skx:
 746       csit-vpp-perf-report-iterative-2009-3n-skx:
 747         - 24  # rls2009 MRR iter env 5
 748
 749     vpp-mrr-results-2n-skx:
 750       csit-vpp-perf-report-iterative-2009-2n-skx:
 751         - 120 # rls2009 MRR iter env 5
 752
 753     vpp-mrr-results-2n-zn2:
 754       csit-vpp-perf-report-iterative-2009-2n-zn2:
 755         - 15  # rls2009 MRR iter env 5
 756
 757     vpp-mrr-results-2n-clx:
 758       csit-vpp-perf-report-iterative-2009-2n-clx:
 759         - 125 # rls2009 MRR iter env 5
 760
 761     vpp-mrr-results-3n-tsh:
 762       csit-vpp-perf-report-iterative-2009-3n-tsh:
 763         - 15  # rls2009 MRR iter env 5
 764
 765     vpp-mrr-results-3n-dnv:
 766       csit-vpp-perf-report-iterative-2009-3n-dnv:
 767         - 22  # rls2009 MRR iter env 5
 768
 769     vpp-mrr-results-2n-dnv:
 770       csit-vpp-perf-report-iterative-2009-2n-dnv:
 771         - 13  # rls2009 MRR iter env 5
 772
 773     vpp-device-results-ubuntu:
 774       csit-vpp-device-2009-ubuntu1804-1n-skx:
 775         - 131 # rls2009 env 5
 776
 777     dpdk-perf-results-3n-hsw:
 778       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 779         - 6   # NDRPDR iter env5
 780
 781     dpdk-perf-results-3n-skx:
 782       csit-dpdk-perf-report-iterative-2009-3n-skx:
 783         - 4   # NDRPDR sel env5
 784
 785     dpdk-perf-results-2n-skx:
 786       csit-dpdk-perf-report-iterative-2009-2n-skx:
 787         - 4   # NDRPDR iter env5
 788
 789     dpdk-perf-results-2n-zn2:
 790       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 791         - 16  # NDRPDR iter env5
 792
 793     dpdk-perf-results-2n-clx:
 794       csit-dpdk-perf-report-iterative-2009-2n-clx:
 795         - 4   # NDRPDR iter env5
 796
 797 #    dpdk-perf-results-2n-dnv:
 798 #      # No data
 799 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 800
 801 #    dpdk-perf-results-3n-dnv:
 802 #      # No data
 803 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 804
 805     dpdk-perf-results-3n-tsh:
 806       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 807         - 1   # NDRPDR iter env5
 808
 809 ###########################################################################
 810     # Tables (more than one data set)
 811
 812     # Performance changes
 813
 814     vpp-performance-changes-3n-hsw-h1:
 815       csit-vpp-perf-report-iterative-2005-3n-hsw:
 816         - 31  # NDRPDR sel 2001.0-4
 817         - 32  # NDRPDR sel 2001.0-4
 818         - 33  # NDRPDR sel 2001.0-4
 819         - 34  # NDRPDR sel 2001.0-4
 820         - 35  # NDRPDR sel 2001.0-4
 821         - 36  # NDRPDR sel 2001.0-4
 822         - 38  # NDRPDR sel 2001.0-4
 823     vpp-performance-changes-3n-hsw-ref-env4:
 824       csit-vpp-perf-report-iterative-2005-3n-hsw:
 825         - 20  # NDRPDR sel env 4
 826         - 21  # NDRPDR sel env 4
 827         - 22  # NDRPDR sel env 4
 828         - 23  # NDRPDR sel env 4
 829         - 24  # NDRPDR sel env 4
 830         - 25  # NDRPDR sel env 4
 831         - 26  # NDRPDR sel env 4
 832         - 27  # NDRPDR sel env 4
 833         - 28  # NDRPDR sel env 4
 834         - 29  # NDRPDR sel env 4
 835     vpp-performance-changes-3n-hsw-ref-env5:
 836       csit-vpp-perf-report-iterative-2009-3n-hsw:
 837         - 9   # rls2005 NDRPDR iter env 5
 838         - 10  # rls2005 NDRPDR iter env 5
 839         - 11  # rls2005 NDRPDR iter env 5
 840         - 12  # rls2005 NDRPDR iter env 5
 841         - 13  # rls2005 NDRPDR iter env 5
 842         - 14  # rls2005 NDRPDR iter env 5
 843         - 15  # rls2005 NDRPDR iter env 5
 844         - 16  # rls2005 NDRPDR iter env 5
 845         - 17  # rls2005 NDRPDR iter env 5
 846         - 19  # rls2005 NDRPDR iter env 5
 847     vpp-performance-changes-3n-hsw-cmp:
 848       csit-vpp-perf-report-iterative-2009-3n-hsw:
 849         - 21  # rls2009 NDRPDR iter env 5
 850         - 22  # rls2009 NDRPDR iter env 5
 851         - 24  # rls2009 NDRPDR iter env 5
 852         - 25  # rls2009 NDRPDR iter env 5
 853         - 26  # rls2009 NDRPDR iter env 5
 854         - 27  # rls2009 NDRPDR iter env 5
 855         - 28  # rls2009 NDRPDR iter env 5
 856         - 29  # rls2009 NDRPDR iter env 5
 857         - 30  # rls2009 NDRPDR iter env 5
 858         - 31  # rls2009 NDRPDR iter env 5
 859
 860     vpp-performance-changes-3n-skx-h1:
 861       csit-vpp-perf-report-iterative-2005-3n-skx:
 862         - 50  # NDRPDR sel 2001.0-4
 863         - 51  # NDRPDR sel 2001.0-4
 864         - 52  # NDRPDR sel 2001.0-4
 865         - 53  # NDRPDR sel 2001.0-4
 866         - 54  # NDRPDR sel 2001.0-4
 867     vpp-performance-changes-3n-skx-ref-env4:
 868       csit-vpp-perf-report-iterative-2005-3n-skx:
 869         - 42  # NDRPDR sel env 4
 870         - 43  # NDRPDR sel env 4
 871         - 44  # NDRPDR sel env 4
 872         - 45  # NDRPDR sel env 4
 873         - 47  # NDRPDR sel env 4
 874         - 55  # NDRPDR sel env 4
 875         - 56  # NDRPDR sel env 4
 876         - 57  # NDRPDR sel env 4
 877         - 61  # NDRPDR sel env 4
 878         - 62  # NDRPDR sel env 4
 879     vpp-performance-changes-3n-skx-ref-env5:
 880       csit-vpp-perf-report-iterative-2009-3n-skx:
 881         - 13  # rls2005 NDRPDR iter env 5
 882         - 18  # rls2005 NDRPDR iter env 5
 883         - 19  # rls2005 NDRPDR iter env 5
 884         - 41  # rls2005 NDRPDR iter env 5
 885         - 43  # rls2005 NDRPDR iter env 5
 886         - 44  # rls2005 NDRPDR iter env 5
 887         - 45  # rls2005 NDRPDR iter env 5
 888         - 46  # rls2005 NDRPDR iter env 5
 889         - 48  # rls2005 NDRPDR iter env 5
 890         - 49  # rls2005 NDRPDR iter env 5
 891     vpp-performance-changes-3n-skx-cmp:
 892       csit-vpp-perf-report-iterative-2009-3n-skx:
 893         - 26  # rls2009 NDRPDR iter env 5
 894         - 27  # rls2009 NDRPDR iter env 5
 895         - 28  # rls2009 NDRPDR iter env 5
 896         - 29  # rls2009 NDRPDR iter env 5
 897         - 35  # rls2009 NDRPDR iter env 5
 898         - 36  # rls2009 NDRPDR iter env 5
 899         - 37  # rls2009 NDRPDR iter env 5
 900         - 38  # rls2009 NDRPDR iter env 5
 901         - 39  # rls2009 NDRPDR iter env 5
 902         - 40  # rls2009 NDRPDR iter env 5
 903
 904     vpp-performance-changes-2n-skx-h1:
 905       csit-vpp-perf-report-iterative-2005-2n-skx:
 906         - 100 # NDRPDR sel 2001.0-4
 907         - 101 # NDRPDR sel 2001.0-4
 908         - 102 # NDRPDR sel 2001.0-4
 909         - 103 # NDRPDR sel 2001.0-4
 910         - 104 # NDRPDR sel 2001.0-4
 911         - 105 # NDRPDR sel 2001.0-4
 912     vpp-performance-changes-2n-skx-ref-env4:
 913       csit-vpp-perf-report-iterative-2005-2n-skx:
 914         - 88  # NDRPDR sel env 4
 915         - 89  # NDRPDR sel env 4
 916         - 90  # NDRPDR sel env 4
 917         - 91  # NDRPDR sel env 4
 918         - 92  # NDRPDR sel env 4
 919         - 93  # NDRPDR sel env 4
 920         - 94  # NDRPDR sel env 4
 921         - 125 # NDRPDR sel env 4
 922         - 126 # NDRPDR sel env 4
 923         - 127 # NDRPDR sel env 4
 924     vpp-performance-changes-2n-skx-ref-env5:
 925       csit-vpp-perf-report-iterative-2009-2n-skx:
 926         - 13  # rls2005 NDRPDR iter env 5
 927         - 16  # rls2005 NDRPDR iter env 5
 928         - 17  # rls2005 NDRPDR iter env 5
 929         - 18  # rls2005 NDRPDR iter env 5
 930         - 19  # rls2005 NDRPDR iter env 5
 931         - 21  # rls2005 NDRPDR iter env 5
 932         - 22  # rls2005 NDRPDR iter env 5
 933         - 23  # rls2005 NDRPDR iter env 5
 934         - 24  # rls2005 NDRPDR iter env 5
 935         - 25  # rls2005 NDRPDR iter env 5
 936     vpp-performance-changes-2n-skx-cmp:
 937       csit-vpp-perf-report-iterative-2009-2n-skx:
 938         - 35  # rls2009 NDRPDR iter env 5
 939         - 36  # rls2009 NDRPDR iter env 5
 940         - 37  # rls2009 NDRPDR iter env 5
 941         - 39  # rls2009 NDRPDR iter env 5
 942         - 40  # rls2009 NDRPDR iter env 5
 943         - 42  # rls2009 NDRPDR iter env 5
 944         - 43  # rls2009 NDRPDR iter env 5
 945         - 44  # rls2009 NDRPDR iter env 5
 946         - 46  # rls2009 NDRPDR iter env 5
 947         - 48  # rls2009 NDRPDR iter env 5
 948         - 110 # rls2009 NDRPDR iter NAT44 env 5
 949         - 111 # rls2009 NDRPDR iter NAT44 env 5
 950         - 112 # rls2009 NDRPDR iter NAT44 env 5
 951         - 113 # rls2009 NDRPDR iter NAT44 env 5
 952         - 114 # rls2009 NDRPDR iter NAT44 env 5
 953         - 115 # rls2009 NDRPDR iter NAT44 env 5
 954         - 116 # rls2009 NDRPDR iter NAT44 env 5
 955         - 118 # rls2009 NDRPDR iter NAT44 env 5
 956         - 119 # rls2009 NDRPDR iter NAT44 env 5
 957         - 121 # rls2009 NDRPDR iter NAT44 env 5
 958
 959     vpp-performance-changes-2n-clx-h1:
 960       csit-vpp-perf-report-iterative-2005-2n-clx:
 961         - 73  # NDRPDR sel 2001.0-4
 962         - 74  # NDRPDR sel 2001.0-4
 963         - 75  # NDRPDR sel 2001.0-4
 964         - 76  # NDRPDR sel 2001.0-4
 965         - 77  # NDRPDR sel 2001.0-4
 966         - 78  # NDRPDR sel 2001.0-4
 967         - 79  # NDRPDR sel 2001.0-4
 968         - 80  # NDRPDR sel 2001.0-4
 969     vpp-performance-changes-2n-clx-ref-env4:
 970       csit-vpp-perf-report-iterative-2005-2n-clx:
 971         - 62  # NDRPDR sel env 4
 972         - 63  # NDRPDR sel env 4
 973         - 64  # NDRPDR sel env 4
 974         - 65  # NDRPDR sel env 4
 975         - 66  # NDRPDR sel env 4
 976         - 68  # NDRPDR sel env 4
 977         - 69  # NDRPDR sel env 4
 978         - 70  # NDRPDR sel env 4
 979         - 103 # NDRPDR sel env 4
 980         - 104 # NDRPDR sel env 4
 981     vpp-performance-changes-2n-clx-ref-env5:
 982       csit-vpp-perf-report-iterative-2009-2n-clx:
 983         - 13  # rls2005 NDRPDR iter env 5
 984         - 15  # rls2005 NDRPDR iter env 5
 985         - 17  # rls2005 NDRPDR iter env 5
 986         - 18  # rls2005 NDRPDR iter env 5
 987         - 19  # rls2005 NDRPDR iter env 5
 988         - 20  # rls2005 NDRPDR iter env 5
 989         - 21  # rls2005 NDRPDR iter env 5
 990         - 22  # rls2005 NDRPDR iter env 5
 991         - 23  # rls2005 NDRPDR iter env 5
 992         - 24  # rls2005 NDRPDR iter env 5
 993     vpp-performance-changes-2n-clx-cmp:
 994       csit-vpp-perf-report-iterative-2009-2n-clx:
 995         - 36  # rls2009 NDRPDR iter env 5
 996         - 39  # rls2009 NDRPDR iter env 5
 997         - 40  # rls2009 NDRPDR iter env 5
 998         - 65  # rls2009 NDRPDR iter env 5
 999         - 66  # rls2009 NDRPDR iter env 5
1000         - 79  # rls2009 NDRPDR iter env 5
1001         - 82  # rls2009 NDRPDR iter env 5
1002         - 88  # rls2009 NDRPDR iter env 5
1003         - 89  # rls2009 NDRPDR iter env 5
1004         - 90  # rls2009 NDRPDR iter env 5
1005         - 114 # rls2009 NDRPDR iter NAT44 env 5
1006         - 115 # rls2009 NDRPDR iter NAT44 env 5
1007         - 116 # rls2009 NDRPDR iter NAT44 env 5
1008         - 117 # rls2009 NDRPDR iter NAT44 env 5
1009         - 118 # rls2009 NDRPDR iter NAT44 env 5
1010         - 119 # rls2009 NDRPDR iter NAT44 env 5
1011         - 121 # rls2009 NDRPDR iter NAT44 env 5
1012         - 122 # rls2009 NDRPDR iter NAT44 env 5
1013         - 123 # rls2009 NDRPDR iter NAT44 env 5
1014         - 126 # rls2009 NDRPDR iter NAT44 env 5
1015
1016     vpp-performance-changes-2n-dnv-h1:
1017       csit-vpp-perf-verify-2001-2n-dnv:
1018         - 4   # NDRPDR sel
1019         - 5   # NDRPDR sel
1020         - 6   # NDRPDR sel
1021         - 7   # NDRPDR sel
1022         - 8   # NDRPDR sel
1023         - 9   # NDRPDR sel
1024         - 10  # NDRPDR sel
1025         - 11  # NDRPDR sel
1026         - 13  # NDRPDR sel
1027         - 16  # NDRPDR sel
1028     vpp-performance-changes-2n-dnv-ref:
1029       csit-vpp-perf-report-iterative-2009-2n-dnv:
1030         - 16  # rls2005 NDRPDR iter env 5
1031         - 17  # rls2005 NDRPDR iter env 5
1032         - 18  # rls2005 NDRPDR iter env 5
1033         - 19  # rls2005 NDRPDR iter env 5
1034         - 21  # rls2005 NDRPDR iter env 5
1035         - 24  # rls2005 NDRPDR iter env 5
1036         - 27  # rls2005 NDRPDR iter env 5
1037         - 28  # rls2005 NDRPDR iter env 5
1038         - 29  # rls2005 NDRPDR iter env 5
1039         - 30  # rls2005 NDRPDR iter env 5
1040     vpp-performance-changes-2n-dnv-cmp:
1041       csit-vpp-perf-report-iterative-2009-2n-dnv:
1042         - 3   # rls2009 NDRPDR iter env 5
1043         - 5   # rls2009 NDRPDR iter env 5
1044         - 6   # rls2009 NDRPDR iter env 5
1045         - 7   # rls2009 NDRPDR iter env 5
1046         - 9   # rls2009 NDRPDR iter env 5
1047         - 10  # rls2009 NDRPDR iter env 5
1048         - 11  # rls2009 NDRPDR iter env 5
1049         - 12  # rls2009 NDRPDR iter env 5
1050         - 14  # rls2009 NDRPDR iter env 5
1051         - 15  # rls2009 NDRPDR iter env 5
1052
1053     vpp-performance-changes-3n-dnv-h1:
1054       csit-vpp-perf-verify-2001-3n-dnv:
1055         - 5   # NDRPDR sel
1056         - 6   # NDRPDR sel
1057         - 7   # NDRPDR sel
1058         - 8   # NDRPDR sel
1059         - 9   # NDRPDR sel
1060         - 10  # NDRPDR sel
1061         - 12  # NDRPDR sel
1062         - 16  # NDRPDR sel
1063         - 17  # NDRPDR sel
1064         - 18  # NDRPDR sel
1065     vpp-performance-changes-3n-dnv-ref:
1066       csit-vpp-perf-report-iterative-2009-3n-dnv:
1067         - 16  # rls2005 NDRPDR iter env 5
1068         - 23  # rls2005 NDRPDR iter env 5
1069         - 25  # rls2005 NDRPDR iter env 5
1070         - 26  # rls2005 NDRPDR iter env 5
1071         - 27  # rls2005 NDRPDR iter env 5
1072         - 28  # rls2005 NDRPDR iter env 5
1073         - 29  # rls2005 NDRPDR iter env 5
1074         - 30  # rls2005 NDRPDR iter env 5
1075         - 31  # rls2005 NDRPDR iter env 5
1076         - 32  # rls2005 NDRPDR iter env 5
1077     vpp-performance-changes-3n-dnv-cmp:
1078       csit-vpp-perf-report-iterative-2009-3n-dnv:
1079         - 3   # rls2009 NDRPDR iter env 5
1080         - 6   # rls2009 NDRPDR iter env 5
1081         - 7   # rls2009 NDRPDR iter env 5
1082         - 8   # rls2009 NDRPDR iter env 5
1083         - 10  # rls2009 NDRPDR iter env 5
1084         - 11  # rls2009 NDRPDR iter env 5
1085         - 12  # rls2009 NDRPDR iter env 5
1086         - 14  # rls2009 NDRPDR iter env 5
1087         - 15  # rls2009 NDRPDR iter env 5
1088         - 24  # rls2009 NDRPDR iter env 5
1089
1090     vpp-performance-changes-3n-tsh-h1:
1091       csit-vpp-perf-report-iterative-2005-3n-tsh:
1092         - 28  # NDRPDR sel 2001.0-4
1093         - 29  # NDRPDR sel 2001.0-4
1094         - 31  # NDRPDR sel 2001.0-4
1095     vpp-performance-changes-3n-tsh-ref-env4:
1096       csit-vpp-perf-report-iterative-2005-3n-tsh:
1097         - 23  # NDRPDR sel env 4
1098         - 25  # NDRPDR sel env 4
1099         - 33  # NDRPDR sel env 4
1100         - 34  # NDRPDR sel env 4
1101         - 35  # NDRPDR sel env 4
1102         - 36  # NDRPDR sel env 4
1103         - 37  # NDRPDR sel env 4
1104         - 38  # NDRPDR sel env 4
1105         - 39  # NDRPDR sel env 4
1106         - 40  # NDRPDR sel env 4
1107     vpp-performance-changes-3n-tsh-ref-env5:
1108       csit-vpp-perf-report-iterative-2009-3n-tsh:
1109         - 8   # rls2005 NDRPDR iter env 5
1110         - 11  # rls2005 NDRPDR iter env 5
1111         - 12  # rls2005 NDRPDR iter env 5
1112         - 24  # rls2005 NDRPDR iter env 5
1113         - 27  # rls2005 NDRPDR iter env 5
1114         - 29  # rls2005 NDRPDR iter env 5
1115         - 31  # rls2005 NDRPDR iter env 5
1116         - 39  # rls2005 NDRPDR iter env 5
1117         - 40  # rls2005 NDRPDR iter env 5
1118         - 42  # rls2005 NDRPDR iter env 5
1119     vpp-performance-changes-3n-tsh-cmp:
1120       csit-vpp-perf-report-iterative-2009-3n-tsh:
1121         - 14  # rls2009 NDRPDR iter env 5
1122         - 20  # rls2009 NDRPDR iter env 5
1123         - 21  # rls2009 NDRPDR iter env 5
1124         - 22  # rls2009 NDRPDR iter env 5
1125         - 23  # rls2009 NDRPDR iter env 5
1126         - 28  # rls2009 NDRPDR iter env 5
1127         - 30  # rls2009 NDRPDR iter env 5
1128         - 33  # rls2009 NDRPDR iter env 5
1129         - 38  # rls2009 NDRPDR iter env 5
1130         - 41  # rls2009 NDRPDR iter env 5
1131
1132     vpp-soak-vs-ndr-2n-skx-ref:
1133       csit-vpp-perf-report-iterative-2009-2n-skx:
1134         - 35  # rls2009 NDRPDR iter env 5
1135         - 36  # rls2009 NDRPDR iter env 5
1136         - 37  # rls2009 NDRPDR iter env 5
1137         - 39  # rls2009 NDRPDR iter env 5
1138         - 40  # rls2009 NDRPDR iter env 5
1139         - 42  # rls2009 NDRPDR iter env 5
1140         - 43  # rls2009 NDRPDR iter env 5
1141         - 44  # rls2009 NDRPDR iter env 5
1142         - 46  # rls2009 NDRPDR iter env 5
1143         - 48  # rls2009 NDRPDR iter env 5
1144     vpp-soak-vs-ndr-2n-skx-cmp:
1145       csit-vpp-perf-report-iterative-2009-2n-skx:
1146         - 33  # rls2009 soak env 5
1147         - 34  # rls2009 soak env 5
1148     vpp-soak-vs-ndr-2n-skx:
1149       csit-vpp-perf-report-iterative-2009-2n-skx:
1150         - 35  # rls2009 NDRPDR iter env 5
1151         - 36  # rls2009 NDRPDR iter env 5
1152         - 37  # rls2009 NDRPDR iter env 5
1153         - 39  # rls2009 NDRPDR iter env 5
1154         - 40  # rls2009 NDRPDR iter env 5
1155         - 42  # rls2009 NDRPDR iter env 5
1156         - 43  # rls2009 NDRPDR iter env 5
1157         - 44  # rls2009 NDRPDR iter env 5
1158         - 46  # rls2009 NDRPDR iter env 5
1159         - 48  # rls2009 NDRPDR iter env 5
1160         - 33  # rls2009 soak env 5
1161         - 34  # rls2009 soak env 5
1162
1163     vpp-soak-vs-ndr-2n-clx-ref:
1164       csit-vpp-perf-report-iterative-2009-2n-clx:
1165         - 36  # rls2009 NDRPDR iter env 5
1166         - 39  # rls2009 NDRPDR iter env 5
1167         - 40  # rls2009 NDRPDR iter env 5
1168         - 65  # rls2009 NDRPDR iter env 5
1169         - 66  # rls2009 NDRPDR iter env 5
1170         - 79  # rls2009 NDRPDR iter env 5
1171         - 82  # rls2009 NDRPDR iter env 5
1172         - 88  # rls2009 NDRPDR iter env 5
1173         - 89  # rls2009 NDRPDR iter env 5
1174         - 90  # rls2009 NDRPDR iter env 5
1175     vpp-soak-vs-ndr-2n-clx-cmp:
1176       csit-vpp-perf-report-iterative-2009-2n-clx:
1177         - 33  # rls2009 soak env 5
1178         - 34  # rls2009 soak env 5
1179     vpp-soak-vs-ndr-2n-clx:
1180       csit-vpp-perf-report-iterative-2009-2n-clx:
1181         - 36  # rls2009 NDRPDR iter env 5
1182         - 39  # rls2009 NDRPDR iter env 5
1183         - 40  # rls2009 NDRPDR iter env 5
1184         - 65  # rls2009 NDRPDR iter env 5
1185         - 66  # rls2009 NDRPDR iter env 5
1186         - 79  # rls2009 NDRPDR iter env 5
1187         - 82  # rls2009 NDRPDR iter env 5
1188         - 88  # rls2009 NDRPDR iter env 5
1189         - 89  # rls2009 NDRPDR iter env 5
1190         - 90  # rls2009 NDRPDR iter env 5
1191         - 33  # rls2009 soak env 5
1192         - 34  # rls2009 soak env 5
1193
1194     vpp-performance-changes-3n-hsw-mrr-h1:
1195       csit-vpp-perf-verify-2001-3n-hsw:
1196         - 17  # MRR sel
1197     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1198       csit-vpp-perf-report-iterative-2005-3n-hsw:
1199         - 30  # MRR env 4
1200     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1201       csit-vpp-perf-report-iterative-2009-3n-hsw:
1202         - 18  # rls2005 MRR iter env 5
1203     vpp-performance-changes-3n-hsw-mrr-cmp:
1204       csit-vpp-perf-report-iterative-2009-3n-hsw:
1205         - 23  # rls2009 MRR iter env 5
1206
1207     vpp-performance-changes-3n-skx-mrr-h1:
1208       csit-vpp-perf-verify-2001-3n-skx:
1209         - 50  # MRR sel
1210         - 53  # MRR sel addition
1211     vpp-performance-changes-3n-skx-mrr-ref-env4:
1212       csit-vpp-perf-report-iterative-2005-3n-skx:
1213         - 49  # MRR sel env 4
1214     vpp-performance-changes-3n-skx-mrr-ref-env5:
1215       csit-vpp-perf-report-iterative-2009-3n-skx:
1216         - 17  # rls2005 MRR iter env 5
1217     vpp-performance-changes-3n-skx-mrr-cmp:
1218       csit-vpp-perf-report-iterative-2009-3n-skx:
1219         - 24  # rls2009 MRR iter env 5
1220
1221     vpp-performance-changes-2n-skx-mrr-h1:
1222       csit-vpp-perf-verify-2001-2n-skx:
1223         - 101 # MRR sel
1224         - 128 # MRR sel addition
1225     vpp-performance-changes-2n-skx-mrr-ref-env4:
1226       csit-vpp-perf-report-iterative-2005-2n-skx:
1227         - 99  # MRR sel env 4
1228     vpp-performance-changes-2n-skx-mrr-ref-env5:
1229       csit-vpp-perf-report-iterative-2009-2n-skx:
1230         - 20  # rls2005 MRR iter env 5
1231     vpp-performance-changes-2n-skx-mrr-cmp:
1232       csit-vpp-perf-report-iterative-2009-2n-skx:
1233         - 120 # rls2009 MRR iter env 5
1234
1235     vpp-performance-changes-2n-clx-mrr-h1:
1236       csit-vpp-perf-verify-2001-2n-clx:
1237         - 39  # MRR
1238     vpp-performance-changes-2n-clx-mrr-ref-env4:
1239       csit-vpp-perf-report-iterative-2005-2n-clx:
1240         - 72   # MRR sel env 4
1241     vpp-performance-changes-2n-clx-mrr-ref-env5:
1242       csit-vpp-perf-report-iterative-2009-2n-clx:
1243         - 77  # rls2005 MRR iter env 5
1244     vpp-performance-changes-2n-clx-mrr-cmp:
1245       csit-vpp-perf-report-iterative-2009-2n-clx:
1246         - 125 # rls2009 MRR iter env 5
1247
1248     vpp-performance-changes-2n-dnv-mrr-h1:
1249       csit-vpp-perf-verify-2001-2n-dnv:
1250         - 12  # MRR sel
1251     vpp-performance-changes-2n-dnv-mrr-ref:
1252       csit-vpp-perf-report-iterative-2009-2n-dnv:
1253         - 23  # rls2005 MRR iter env 5
1254     vpp-performance-changes-2n-dnv-mrr-cmp:
1255       csit-vpp-perf-report-iterative-2009-2n-dnv:
1256         - 13  # rls2009 MRR iter env 5
1257
1258     vpp-performance-changes-3n-dnv-mrr-h1:
1259       csit-vpp-perf-verify-2001-3n-dnv:
1260         - 11  # MRR sel
1261     vpp-performance-changes-3n-dnv-mrr-ref:
1262       csit-vpp-perf-report-iterative-2009-3n-dnv:
1263         - 19  # rls2005 MRR iter env 5
1264     vpp-performance-changes-3n-dnv-mrr-cmp:
1265       csit-vpp-perf-report-iterative-2009-3n-dnv:
1266         - 22  # rls2009 MRR iter env 5
1267
1268     vpp-performance-changes-3n-tsh-mrr-h1:
1269       csit-vpp-perf-verify-2001-3n-tsh:
1270         - 9   # MRR sel
1271     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1272       csit-vpp-perf-report-iterative-2005-3n-tsh:
1273         - 27  # MRR sel env 4
1274     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1275       csit-vpp-perf-report-iterative-2009-3n-tsh:
1276         - 13  # rls2005 MRR iter env 5
1277     vpp-performance-changes-3n-tsh-mrr-cmp:
1278       csit-vpp-perf-report-iterative-2009-3n-tsh:
1279         - 15  # rls2009 MRR iter env 5
1280
1281     dpdk-performance-changes-3n-hsw-h1:
1282       csit-dpdk-perf-verify-2001-3n-hsw:
1283         - 4   # NDRPDR sel
1284         - 5   # NDRPDR sel
1285         - 6   # NDRPDR sel
1286         - 7   # NDRPDR sel
1287         - 8   # NDRPDR sel
1288         - 9   # NDRPDR sel
1289         - 10  # NDRPDR sel
1290         - 11  # NDRPDR sel
1291         - 12  # NDRPDR sel
1292         - 13  # NDRPDR sel
1293         - 15  # NDRPDR sel
1294         - 16  # NDRPDR sel
1295         - 17  # NDRPDR sel
1296         - 18  # NDRPDR sel
1297         - 19  # NDRPDR sel
1298         - 20  # NDRPDR sel
1299         - 21  # NDRPDR sel
1300         - 22  # NDRPDR sel
1301         - 23  # NDRPDR sel
1302         - 24  # NDRPDR sel
1303     dpdk-performance-changes-3n-hsw-ref:
1304       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1305         - 25  # NDRPDR iter
1306         - 26  # NDRPDR iter
1307         - 27  # NDRPDR iter
1308         - 28  # NDRPDR iter
1309         - 29  # NDRPDR iter
1310         - 30  # NDRPDR iter
1311         - 31  # NDRPDR iter
1312         - 32  # NDRPDR iter
1313         - 33  # NDRPDR iter
1314         - 34  # NDRPDR iter
1315     dpdk-performance-changes-3n-hsw-cmp:
1316       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1317         - 6   # NDRPDR iter env5
1318         - 7   # NDRPDR iter env5
1319         - 8   # NDRPDR iter env5
1320         - 9   # NDRPDR iter env5
1321         - 10  # NDRPDR iter env5
1322         - 11  # NDRPDR iter env5
1323         - 12  # NDRPDR iter env5
1324         - 13  # NDRPDR iter env5
1325         - 14  # NDRPDR iter env5
1326         - 15  # NDRPDR iter env5
1327
1328     dpdk-performance-changes-3n-skx-h1:
1329       csit-dpdk-perf-verify-2001-3n-skx:
1330         - 29  # NDRPDR sel xxv710
1331         - 33  # NDRPDR sel xxv710
1332         - 34  # NDRPDR sel xxv710
1333         - 35  # NDRPDR sel xxv710
1334         - 36  # NDRPDR sel xxv710
1335         - 37  # NDRPDR sel xxv710
1336         - 41  # NDRPDR sel xxv710
1337         - 42  # NDRPDR sel xxv710
1338         - 43  # NDRPDR sel xxv710
1339         - 45  # NDRPDR sel xxv710
1340         - 30  # NDRPDR sel x710
1341         - 31  # NDRPDR sel x710
1342         - 32  # NDRPDR sel x710
1343         - 38  # NDRPDR sel x710
1344         - 39  # NDRPDR sel x710
1345         - 40  # NDRPDR sel x710
1346         - 44  # NDRPDR sel x710
1347         - 46  # NDRPDR sel x710
1348         - 47  # NDRPDR sel x710
1349         - 48  # NDRPDR sel x710
1350     dpdk-performance-changes-3n-skx-ref:
1351       csit-dpdk-perf-report-iterative-2005-3n-skx:
1352         - 28  # NDRPDR iter
1353         - 29  # NDRPDR iter
1354         - 30  # NDRPDR iter
1355         - 31  # NDRPDR iter
1356         - 32  # NDRPDR iter
1357         - 33  # NDRPDR iter
1358         - 34  # NDRPDR iter
1359         - 35  # NDRPDR iter
1360         - 36  # NDRPDR iter
1361         - 37  # NDRPDR iter
1362     dpdk-performance-changes-3n-skx-cmp:
1363       csit-dpdk-perf-report-iterative-2009-3n-skx:
1364         - 4   # NDRPDR sel env5
1365         - 5   # NDRPDR sel env5
1366         - 6   # NDRPDR sel env5
1367         - 7   # NDRPDR sel env5
1368         - 8   # NDRPDR sel env5
1369         - 9   # NDRPDR sel env5
1370         - 14  # NDRPDR sel env5
1371         - 11  # NDRPDR sel env5
1372         - 12  # NDRPDR sel env5
1373         - 13  # NDRPDR sel env5
1374
1375     dpdk-performance-changes-2n-skx-h1:
1376       csit-dpdk-perf-verify-2001-2n-skx:
1377         - 35  # NDRPDR sel xxv710
1378         - 36  # NDRPDR sel xxv710
1379         - 37  # NDRPDR sel xxv710
1380         - 41  # NDRPDR sel xxv710
1381         - 42  # NDRPDR sel xxv710
1382         - 43  # NDRPDR sel xxv710
1383         - 46  # NDRPDR sel xxv710
1384         - 47  # NDRPDR sel xxv710
1385         - 52  # NDRPDR sel xxv710
1386         - 53  # NDRPDR sel xxv710
1387         - 38  # NDRPDR sel x710
1388         - 39  # NDRPDR sel x710
1389         - 40  # NDRPDR sel x710
1390         - 44  # NDRPDR sel x710
1391         - 45  # NDRPDR sel x710
1392         - 48  # NDRPDR sel x710
1393         - 49  # NDRPDR sel x710
1394         - 50  # NDRPDR sel x710
1395         - 51  # NDRPDR sel x710
1396         - 54  # NDRPDR sel x710
1397     dpdk-performance-changes-2n-skx-ref:
1398       csit-dpdk-perf-report-iterative-2005-2n-skx:
1399         - 20  # NDRPDR iter
1400         - 21  # NDRPDR iter
1401         - 22  # NDRPDR iter
1402         - 23  # NDRPDR iter
1403         - 24  # NDRPDR iter
1404         - 25  # NDRPDR iter
1405         - 26  # NDRPDR iter
1406         - 27  # NDRPDR iter
1407         - 28  # NDRPDR iter
1408         - 29  # NDRPDR iter
1409     dpdk-performance-changes-2n-skx-cmp:
1410       csit-dpdk-perf-report-iterative-2009-2n-skx:
1411         - 4   # NDRPDR iter env5
1412         - 5   # NDRPDR iter env5
1413         - 6   # NDRPDR iter env5
1414         - 7   # NDRPDR iter env5
1415         - 8   # NDRPDR iter env5
1416         - 9   # NDRPDR iter env5
1417         - 10  # NDRPDR iter env5
1418         - 11  # NDRPDR iter env5
1419         - 12  # NDRPDR iter env5
1420         - 13  # NDRPDR iter env5
1421
1422     dpdk-performance-changes-2n-clx-h1:
1423       csit-dpdk-perf-verify-2001-2n-clx:
1424         - 15  # NDRPDR sel
1425         - 16  # NDRPDR sel
1426         - 17  # NDRPDR sel
1427         - 18  # NDRPDR sel
1428         - 19  # NDRPDR sel
1429         - 20  # NDRPDR sel
1430         - 21  # NDRPDR sel
1431         - 22  # NDRPDR sel
1432         - 23  # NDRPDR sel
1433         - 24  # NDRPDR sel
1434         - 25  # NDRPDR sel
1435         - 26  # NDRPDR sel
1436         - 27  # NDRPDR sel
1437         - 28  # NDRPDR sel
1438         - 29  # NDRPDR sel
1439         - 30  # NDRPDR sel
1440         - 31  # NDRPDR sel
1441         - 32  # NDRPDR sel
1442         - 33  # NDRPDR sel
1443         - 34  # NDRPDR sel
1444     dpdk-performance-changes-2n-clx-ref:
1445       csit-dpdk-perf-report-iterative-2005-2n-clx:
1446         - 20  # NDRPDR iter
1447         - 21  # NDRPDR iter
1448         - 22  # NDRPDR iter
1449         - 23  # NDRPDR iter
1450         - 24  # NDRPDR iter
1451         - 25  # NDRPDR iter
1452         - 26  # NDRPDR iter
1453         - 27  # NDRPDR iter
1454         - 28  # NDRPDR iter
1455         - 29  # NDRPDR iter
1456     dpdk-performance-changes-2n-clx-cmp:
1457       csit-dpdk-perf-report-iterative-2009-2n-clx:
1458         - 4   # NDRPDR iter env5
1459         - 5   # NDRPDR iter env5
1460         - 6   # NDRPDR iter env5
1461         - 7   # NDRPDR iter env5
1462         - 8   # NDRPDR iter env5
1463         - 9   # NDRPDR iter env5
1464         - 10  # NDRPDR iter env5
1465         - 11  # NDRPDR iter env5
1466         - 12  # NDRPDR iter env5
1467         - 13  # NDRPDR iter env5
1468
1469 #    dpdk-performance-changes-2n-dnv-h1:
1470 #      csit-dpdk-perf-verify-2001-2n-dnv:
1471 #        - 9   # NDRPDR sel
1472 #        - 10  # NDRPDR sel
1473 #        - 11  # NDRPDR sel
1474 #        - 12  # NDRPDR sel
1475 #        - 13  # NDRPDR sel
1476 #        - 14  # NDRPDR sel
1477 #        - 15  # NDRPDR sel
1478 #        - 16  # NDRPDR sel
1479 #        - 17  # NDRPDR sel
1480 #        - 18  # NDRPDR sel
1481 #    dpdk-performance-changes-2n-dnv-ref:
1482 #      # No data
1483 #    dpdk-performance-changes-2n-dnv-cmp:
1484 #      # No data
1485 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1486
1487 #    dpdk-performance-changes-3n-dnv-h1:
1488 #      csit-dpdk-perf-verify-2001-3n-dnv:
1489 #        - 12  # NDRPDR sel
1490 #        - 13  # NDRPDR sel
1491 #        - 14  # NDRPDR sel
1492 #        - 15  # NDRPDR sel
1493 #        - 16  # NDRPDR sel
1494 #        - 17  # NDRPDR sel
1495 #        - 18  # NDRPDR sel
1496 #        - 19  # NDRPDR sel
1497 #        - 20  # NDRPDR sel
1498 #        - 22  # NDRPDR sel
1499 #    dpdk-performance-changes-3n-dnv-ref:
1500 #      # No data
1501 #    dpdk-performance-changes-3n-dnv-cmp:
1502 #      # No data
1503 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1504
1505     dpdk-performance-changes-3n-tsh-h1:
1506       csit-dpdk-perf-verify-2001-3n-tsh:
1507         - 3   # NDRPDR sel
1508         - 4   # NDRPDR sel
1509         - 5   # NDRPDR sel
1510         - 9   # NDRPDR sel
1511         - 10  # NDRPDR sel
1512         - 11  # NDRPDR sel
1513         - 12  # NDRPDR sel
1514         - 14  # NDRPDR sel
1515         - 15  # NDRPDR sel
1516         - 18  # NDRPDR sel
1517     dpdk-performance-changes-3n-tsh-ref:
1518       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1519         - 5   # NDRPDR sel
1520     dpdk-performance-changes-3n-tsh-cmp:
1521       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1522         - 1   # NDRPDR iter env5
1523         - 2   # NDRPDR iter env5
1524         - 3   # NDRPDR iter env5
1525         - 4   # NDRPDR iter env5
1526         - 5   # NDRPDR iter env5
1527         - 6   # NDRPDR iter env5
1528         - 7   # NDRPDR iter env5
1529         - 9   # NDRPDR iter env5
1530         - 10  # NDRPDR iter env5
1531         - 11  # NDRPDR iter env5
1532
1533     # Compare testbeds
1534
1535     vpp-compare-testbeds-ref:
1536       csit-vpp-perf-report-iterative-2009-3n-hsw:
1537         - 21  # rls2009 NDRPDR iter env 5
1538         - 22  # rls2009 NDRPDR iter env 5
1539         - 24  # rls2009 NDRPDR iter env 5
1540         - 25  # rls2009 NDRPDR iter env 5
1541         - 26  # rls2009 NDRPDR iter env 5
1542         - 27  # rls2009 NDRPDR iter env 5
1543         - 28  # rls2009 NDRPDR iter env 5
1544         - 29  # rls2009 NDRPDR iter env 5
1545         - 30  # rls2009 NDRPDR iter env 5
1546         - 31  # rls2009 NDRPDR iter env 5
1547     vpp-compare-testbeds-cmp:
1548       csit-vpp-perf-report-iterative-2009-3n-skx:
1549         - 26  # rls2009 NDRPDR iter env 5
1550         - 27  # rls2009 NDRPDR iter env 5
1551         - 28  # rls2009 NDRPDR iter env 5
1552         - 29  # rls2009 NDRPDR iter env 5
1553         - 35  # rls2009 NDRPDR iter env 5
1554         - 36  # rls2009 NDRPDR iter env 5
1555         - 37  # rls2009 NDRPDR iter env 5
1556         - 38  # rls2009 NDRPDR iter env 5
1557         - 39  # rls2009 NDRPDR iter env 5
1558         - 40  # rls2009 NDRPDR iter env 5
1559
1560     vpp-compare-testbeds-skx-clx-ref:
1561       csit-vpp-perf-report-iterative-2009-2n-skx:
1562         - 35  # rls2009 NDRPDR iter env 5
1563         - 36  # rls2009 NDRPDR iter env 5
1564         - 37  # rls2009 NDRPDR iter env 5
1565         - 39  # rls2009 NDRPDR iter env 5
1566         - 40  # rls2009 NDRPDR iter env 5
1567         - 42  # rls2009 NDRPDR iter env 5
1568         - 43  # rls2009 NDRPDR iter env 5
1569         - 44  # rls2009 NDRPDR iter env 5
1570         - 46  # rls2009 NDRPDR iter env 5
1571         - 48  # rls2009 NDRPDR iter env 5
1572         - 110 # rls2009 NDRPDR iter NAT44 env 5
1573         - 111 # rls2009 NDRPDR iter NAT44 env 5
1574         - 112 # rls2009 NDRPDR iter NAT44 env 5
1575         - 113 # rls2009 NDRPDR iter NAT44 env 5
1576         - 114 # rls2009 NDRPDR iter NAT44 env 5
1577         - 115 # rls2009 NDRPDR iter NAT44 env 5
1578         - 116 # rls2009 NDRPDR iter NAT44 env 5
1579         - 118 # rls2009 NDRPDR iter NAT44 env 5
1580         - 119 # rls2009 NDRPDR iter NAT44 env 5
1581         - 121 # rls2009 NDRPDR iter NAT44 env 5
1582     vpp-compare-testbeds-skx-clx-cmp:
1583       csit-vpp-perf-report-iterative-2009-2n-clx:
1584         - 36  # rls2009 NDRPDR iter env 5
1585         - 39  # rls2009 NDRPDR iter env 5
1586         - 40  # rls2009 NDRPDR iter env 5
1587         - 65  # rls2009 NDRPDR iter env 5
1588         - 66  # rls2009 NDRPDR iter env 5
1589         - 79  # rls2009 NDRPDR iter env 5
1590         - 82  # rls2009 NDRPDR iter env 5
1591         - 88  # rls2009 NDRPDR iter env 5
1592         - 89  # rls2009 NDRPDR iter env 5
1593         - 90  # rls2009 NDRPDR iter env 5
1594         - 114 # rls2009 NDRPDR iter NAT44 env 5
1595         - 115 # rls2009 NDRPDR iter NAT44 env 5
1596         - 116 # rls2009 NDRPDR iter NAT44 env 5
1597         - 117 # rls2009 NDRPDR iter NAT44 env 5
1598         - 118 # rls2009 NDRPDR iter NAT44 env 5
1599         - 119 # rls2009 NDRPDR iter NAT44 env 5
1600         - 121 # rls2009 NDRPDR iter NAT44 env 5
1601         - 122 # rls2009 NDRPDR iter NAT44 env 5
1602         - 123 # rls2009 NDRPDR iter NAT44 env 5
1603         - 126 # rls2009 NDRPDR iter NAT44 env 5
1604
1605     vpp-compare-testbeds-hsw-clx-ref:
1606       csit-vpp-perf-report-iterative-2009-3n-hsw:
1607         - 21  # rls2009 NDRPDR iter env 5
1608         - 22  # rls2009 NDRPDR iter env 5
1609         - 24  # rls2009 NDRPDR iter env 5
1610         - 25  # rls2009 NDRPDR iter env 5
1611         - 26  # rls2009 NDRPDR iter env 5
1612         - 27  # rls2009 NDRPDR iter env 5
1613         - 28  # rls2009 NDRPDR iter env 5
1614         - 29  # rls2009 NDRPDR iter env 5
1615         - 30  # rls2009 NDRPDR iter env 5
1616         - 31  # rls2009 NDRPDR iter env 5
1617     vpp-compare-testbeds-hsw-clx-cmp:
1618       csit-vpp-perf-report-iterative-2009-2n-clx:
1619         - 36  # rls2009 NDRPDR iter env 5
1620         - 39  # rls2009 NDRPDR iter env 5
1621         - 40  # rls2009 NDRPDR iter env 5
1622         - 65  # rls2009 NDRPDR iter env 5
1623         - 66  # rls2009 NDRPDR iter env 5
1624         - 79  # rls2009 NDRPDR iter env 5
1625         - 82  # rls2009 NDRPDR iter env 5
1626         - 88  # rls2009 NDRPDR iter env 5
1627         - 89  # rls2009 NDRPDR iter env 5
1628         - 90  # rls2009 NDRPDR iter env 5
1629
1630     vpp-compare-testbeds-mrr-ref:
1631       csit-vpp-perf-report-iterative-2009-3n-hsw:
1632         - 23  # rls2009 MRR iter env 5
1633     vpp-compare-testbeds-mrr-cmp:
1634       csit-vpp-perf-report-iterative-2009-3n-skx:
1635         - 24  # rls2009 MRR iter env 5
1636
1637     vpp-compare-testbeds-mrr-skx-clx-ref:
1638       csit-vpp-perf-report-iterative-2009-2n-skx:
1639         - 120 # rls2009 MRR iter env 5
1640     vpp-compare-testbeds-mrr-skx-clx-cmp:
1641       csit-vpp-perf-report-iterative-2009-2n-clx:
1642         - 125 # rls2009 MRR iter env 5
1643
1644     vpp-compare-testbeds-mrr-hsw-clx-ref:
1645       csit-vpp-perf-report-iterative-2009-3n-hsw:
1646         - 23  # rls2009 MRR iter env 5
1647     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1648       csit-vpp-perf-report-iterative-2009-2n-clx:
1649         - 125 # rls2009 MRR iter env 5
1650
1651     dpdk-compare-testbeds-ref:
1652       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1653         - 6   # NDRPDR iter env5
1654         - 7   # NDRPDR iter env5
1655         - 8   # NDRPDR iter env5
1656         - 9   # NDRPDR iter env5
1657         - 10  # NDRPDR iter env5
1658         - 11  # NDRPDR iter env5
1659         - 12  # NDRPDR iter env5
1660         - 13  # NDRPDR iter env5
1661         - 14  # NDRPDR iter env5
1662         - 15  # NDRPDR iter env5
1663     dpdk-compare-testbeds-cmp:
1664       csit-dpdk-perf-report-iterative-2009-3n-skx:
1665         - 4   # NDRPDR sel env5
1666         - 5   # NDRPDR sel env5
1667         - 6   # NDRPDR sel env5
1668         - 7   # NDRPDR sel env5
1669         - 8   # NDRPDR sel env5
1670         - 9   # NDRPDR sel env5
1671         - 14  # NDRPDR sel env5
1672         - 11  # NDRPDR sel env5
1673         - 12  # NDRPDR sel env5
1674         - 13  # NDRPDR sel env5
1675
1676     dpdk-compare-testbeds-skx-clx-ref:
1677       csit-dpdk-perf-report-iterative-2009-2n-skx:
1678         - 4   # NDRPDR iter env5
1679         - 5   # NDRPDR iter env5
1680         - 6   # NDRPDR iter env5
1681         - 7   # NDRPDR iter env5
1682         - 8   # NDRPDR iter env5
1683         - 9   # NDRPDR iter env5
1684         - 10  # NDRPDR iter env5
1685         - 11  # NDRPDR iter env5
1686         - 12  # NDRPDR iter env5
1687         - 13  # NDRPDR iter env5
1688     dpdk-compare-testbeds-skx-clx-cmp:
1689       csit-dpdk-perf-report-iterative-2009-2n-clx:
1690         - 4   # NDRPDR iter env5
1691         - 5   # NDRPDR iter env5
1692         - 6   # NDRPDR iter env5
1693         - 7   # NDRPDR iter env5
1694         - 8   # NDRPDR iter env5
1695         - 9   # NDRPDR iter env5
1696         - 10  # NDRPDR iter env5
1697         - 11  # NDRPDR iter env5
1698         - 12  # NDRPDR iter env5
1699         - 13  # NDRPDR iter env5
1700
1701     # Compare topologies
1702
1703     vpp-compare-topologies-ref:
1704       csit-vpp-perf-report-iterative-2009-3n-skx:
1705         - 26  # rls2009 NDRPDR iter env 5
1706         - 27  # rls2009 NDRPDR iter env 5
1707         - 28  # rls2009 NDRPDR iter env 5
1708         - 29  # rls2009 NDRPDR iter env 5
1709         - 35  # rls2009 NDRPDR iter env 5
1710         - 36  # rls2009 NDRPDR iter env 5
1711         - 37  # rls2009 NDRPDR iter env 5
1712         - 38  # rls2009 NDRPDR iter env 5
1713         - 39  # rls2009 NDRPDR iter env 5
1714         - 40  # rls2009 NDRPDR iter env 5
1715     vpp-compare-topologies-cmp:
1716       csit-vpp-perf-report-iterative-2009-2n-skx:
1717         - 35  # rls2009 NDRPDR iter env 5
1718         - 36  # rls2009 NDRPDR iter env 5
1719         - 37  # rls2009 NDRPDR iter env 5
1720         - 39  # rls2009 NDRPDR iter env 5
1721         - 40  # rls2009 NDRPDR iter env 5
1722         - 42  # rls2009 NDRPDR iter env 5
1723         - 43  # rls2009 NDRPDR iter env 5
1724         - 44  # rls2009 NDRPDR iter env 5
1725         - 46  # rls2009 NDRPDR iter env 5
1726         - 48  # rls2009 NDRPDR iter env 5
1727
1728     vpp-compare-topologies-mrr-ref:
1729       csit-vpp-perf-report-iterative-2009-3n-skx:
1730         - 24  # rls2009 MRR iter env 5
1731     vpp-compare-topologies-mrr-cmp:
1732       csit-vpp-perf-report-iterative-2009-2n-skx:
1733         - 120 # rls2009 MRR iter env 5
1734
1735     dpdk-compare-topologies-ref:
1736       csit-dpdk-perf-report-iterative-2009-3n-skx:
1737         - 4   # NDRPDR sel env5
1738         - 5   # NDRPDR sel env5
1739         - 6   # NDRPDR sel env5
1740         - 7   # NDRPDR sel env5
1741         - 8   # NDRPDR sel env5
1742         - 9   # NDRPDR sel env5
1743         - 14  # NDRPDR sel env5
1744         - 11  # NDRPDR sel env5
1745         - 12  # NDRPDR sel env5
1746         - 13  # NDRPDR sel env5
1747     dpdk-compare-topologies-cmp:
1748       csit-dpdk-perf-report-iterative-2009-2n-skx:
1749         - 4   # NDRPDR iter env5
1750         - 5   # NDRPDR iter env5
1751         - 6   # NDRPDR iter env5
1752         - 7   # NDRPDR iter env5
1753         - 8   # NDRPDR iter env5
1754         - 9   # NDRPDR iter env5
1755         - 10  # NDRPDR iter env5
1756         - 11  # NDRPDR iter env5
1757         - 12  # NDRPDR iter env5
1758         - 13  # NDRPDR iter env5
1759
1760   plot-layouts:
1761
1762     plot-soak-throughput:
1763       titlefont:
1764         size: 16
1765       xaxis:
1766         title: "<b>Test Cases [Index]</b>"
1767         titlefont:
1768           size: 14
1769         autorange: True
1770         fixedrange: False
1771         gridcolor: "rgb(230, 230, 230)"
1772         linecolor: "rgb(220, 220, 220)"
1773         linewidth: 1
1774         showgrid: True
1775         showline: True
1776         showticklabels: True
1777         tickcolor: "rgb(220, 220, 220)"
1778         tickmode: "linear"
1779         tickfont:
1780           size: 14
1781         zeroline: False
1782       yaxis:
1783         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1784         titlefont:
1785           size: 14
1786         gridcolor: "rgb(230, 230, 230)"
1787         hoverformat: ".4r"
1788         tickformat: ".3r"
1789         linecolor: "rgb(220, 220, 220)"
1790         linewidth: 1
1791         showgrid: True
1792         showline: True
1793         showticklabels: True
1794         tickcolor: "rgb(220, 220, 220)"
1795         tickfont:
1796           size: 14
1797         zeroline: False
1798         range: [0,50]
1799       autosize: False
1800       margin:
1801         t: 50
1802         b: 0
1803         l: 80
1804         r: 20
1805       showlegend: True
1806       legend:
1807         orientation: "h"
1808         font:
1809           size: 14
1810       width: 700
1811       height: 900
1812       paper_bgcolor: "#fff"
1813       plot_bgcolor: "#fff"
1814       hoverlabel:
1815         namelength: -1
1816
1817     plot-service-density:
1818       titlefont:
1819         size: 16
1820       xaxis:
1821         side: "top"
1822         autorange: True
1823         fixedrange: False
1824         showgrid: False
1825         showline: False
1826         showticklabels: False
1827         ticks: ""
1828         ticklen: 0
1829         tickwidth: 0
1830         zeroline: False
1831       yaxis:
1832         autorange: "reversed"
1833         showgrid: False
1834         showline: False
1835         showticklabels: False
1836         ticks: ""
1837         ticklen: 0
1838         tickwidth: 0
1839         zeroline: False
1840       showlegend: False
1841       paper_bgcolor: "#fff"
1842       plot_bgcolor: "#fff"
1843       width: 700
1844       height: 700
1845       hoverlabel:
1846         namelength: -1
1847
1848     plot-hoststack:
1849       titlefont:
1850         size: 16
1851       xaxis:
1852         title: "<b>Test Cases [Index]</b>"
1853         titlefont:
1854           size: 14
1855         autorange: True
1856         fixedrange: False
1857         gridcolor: "rgb(230, 230, 230)"
1858         linecolor: "rgb(220, 220, 220)"
1859         linewidth: 1
1860         showgrid: True
1861         showline: True
1862         showticklabels: True
1863         tickcolor: "rgb(220, 220, 220)"
1864         tickmode: "linear"
1865         tickfont:
1866           size: 14
1867         zeroline: False
1868       yaxis:
1869         title: "<b>Bandwidth [Gbps]</b>"
1870         titlefont:
1871           size: 14
1872         gridcolor: "rgb(230, 230, 230)"
1873         hoverformat: ".4s"
1874         linecolor: "rgb(220, 220, 220)"
1875         linewidth: 1
1876         rangemode: "tozero"
1877         showgrid: True
1878         showline: True
1879         showticklabels: True
1880         tickcolor: "rgb(230, 230, 230)"
1881         tickformat: ".3s"
1882         tickfont:
1883           size: 14
1884         zeroline: False
1885       autosize: False
1886       margin:
1887         t: 50
1888         b: 20
1889         l: 80
1890         r: 20
1891       showlegend: True
1892       legend:
1893         orientation: "h"
1894         font:
1895           size: 14
1896       width: 700
1897       height: 800
1898       paper_bgcolor: "#fff"
1899       plot_bgcolor: "#fff"
1900       hoverlabel:
1901         namelength: -1
1902
1903     plot-throughput:
1904       titlefont:
1905         size: 16
1906       xaxis:
1907         title: "<b>Test Cases [Index]</b>"
1908         titlefont:
1909           size: 14
1910         autorange: True
1911         fixedrange: False
1912         gridcolor: "rgb(230, 230, 230)"
1913         linecolor: "rgb(220, 220, 220)"
1914         linewidth: 1
1915         showgrid: True
1916         showline: True
1917         showticklabels: True
1918         tickcolor: "rgb(220, 220, 220)"
1919         tickmode: "linear"
1920         tickfont:
1921           size: 14
1922         zeroline: False
1923       yaxis:
1924         title: "<b>Packet Throughput [Mpps]</b>"
1925         titlefont:
1926           size: 14
1927         gridcolor: "rgb(230, 230, 230)"
1928         hoverformat: ".4r"
1929         tickformat: ".3r"
1930         linecolor: "rgb(220, 220, 220)"
1931         linewidth: 1
1932         showgrid: True
1933         showline: True
1934         showticklabels: True
1935         tickcolor: "rgb(220, 220, 220)"
1936         tickfont:
1937           size: 14
1938         zeroline: False
1939         range: [0,50]
1940       autosize: False
1941       margin:
1942         t: 50
1943         b: 0
1944         l: 80
1945         r: 20
1946       showlegend: True
1947       legend:
1948         orientation: "h"
1949         font:
1950           size: 14
1951       width: 700
1952       height: 900
1953       paper_bgcolor: "#fff"
1954       plot_bgcolor: "#fff"
1955       hoverlabel:
1956         namelength: -1
1957
1958     plot-throughput-gbps:
1959       titlefont:
1960         size: 16
1961       xaxis:
1962         title: "<b>Test Cases [Index]</b>"
1963         titlefont:
1964           size: 14
1965         autorange: True
1966         fixedrange: False
1967         gridcolor: "rgb(230, 230, 230)"
1968         linecolor: "rgb(220, 220, 220)"
1969         linewidth: 1
1970         showgrid: True
1971         showline: True
1972         showticklabels: True
1973         tickcolor: "rgb(220, 220, 220)"
1974         tickmode: "linear"
1975         tickfont:
1976           size: 14
1977         zeroline: False
1978       yaxis:
1979         title: "<b>Packet Throughput [Gbps]</b>"
1980         titlefont:
1981           size: 14
1982         gridcolor: "rgb(230, 230, 230)"
1983         hoverformat: ".4r"
1984         tickformat: ".3r"
1985         linecolor: "rgb(220, 220, 220)"
1986         linewidth: 1
1987         showgrid: True
1988         showline: True
1989         showticklabels: True
1990         tickcolor: "rgb(220, 220, 220)"
1991         tickfont:
1992           size: 14
1993         zeroline: False
1994         range: [0,10]
1995       autosize: False
1996       margin:
1997         t: 50
1998         b: 0
1999         l: 80
2000         r: 20
2001       showlegend: True
2002       legend:
2003         orientation: "h"
2004         font:
2005           size: 14
2006       width: 700
2007       height: 900
2008       paper_bgcolor: "#fff"
2009       plot_bgcolor: "#fff"
2010       hoverlabel:
2011         namelength: -1
2012
2013     plot-cps:
2014       titlefont:
2015         size: 16
2016       xaxis:
2017         title: "<b>Test Cases [Index]</b>"
2018         titlefont:
2019           size: 14
2020         autorange: True
2021         fixedrange: False
2022         gridcolor: "rgb(230, 230, 230)"
2023         linecolor: "rgb(220, 220, 220)"
2024         linewidth: 1
2025         showgrid: True
2026         showline: True
2027         showticklabels: True
2028         tickcolor: "rgb(220, 220, 220)"
2029         tickmode: "linear"
2030         tickfont:
2031           size: 14
2032         zeroline: False
2033       yaxis:
2034         title: "<b>Connection Rate [Mcps]</b>"
2035         titlefont:
2036           size: 14
2037         gridcolor: "rgb(230, 230, 230)"
2038         hoverformat: ".4r"
2039         tickformat: ".3s"
2040         linecolor: "rgb(220, 220, 220)"
2041         linewidth: 1
2042         showgrid: True
2043         showline: True
2044         showticklabels: True
2045         tickcolor: "rgb(220, 220, 220)"
2046         tickfont:
2047           size: 14
2048         zeroline: False
2049         range: [0,10]
2050       autosize: False
2051       margin:
2052         t: 50
2053         b: 0
2054         l: 80
2055         r: 20
2056       showlegend: True
2057       legend:
2058         orientation: "h"
2059         font:
2060           size: 14
2061       width: 700
2062       height: 900
2063       paper_bgcolor: "#fff"
2064       plot_bgcolor: "#fff"
2065       hoverlabel:
2066         namelength: -1
2067
2068     plot-throughput-speedup-analysis:
2069       titlefont:
2070         size: 16
2071       xaxis:
2072         title: "<b>Number of Cores [Qty]</b>"
2073         titlefont:
2074           size: 14
2075         autorange: True
2076         fixedrange: False
2077         gridcolor: "rgb(230, 230, 230)"
2078         linecolor: "rgb(220, 220, 220)"
2079         linewidth: 1
2080         showgrid: True
2081         showline: True
2082         showticklabels: True
2083         tickcolor: "rgb(238, 238, 238)"
2084         tickmode: "linear"
2085         tickfont:
2086           size: 14
2087         zeroline: False
2088       yaxis:
2089         title: "<b>Packet Throughput [Mpps]</b>"
2090         titlefont:
2091           size: 14
2092         type: "linear"
2093         gridcolor: "rgb(230, 230, 230)"
2094         hoverformat: ".4s"
2095         linecolor: "rgb(220, 220, 220)"
2096         linewidth: 1
2097         showgrid: True
2098         showline: True
2099         showticklabels: True
2100         tickcolor: "rgb(220, 220, 220)"
2101         tickformat: ".4s"
2102         tickfont:
2103           size: 14
2104         zeroline: True
2105         rangemode: "tozero"
2106         range: [0,100]
2107       legend:
2108         orientation: "h"
2109         font:
2110           size: 14
2111         xanchor: "left"
2112         yanchor: "top"
2113         x: 0
2114         y: -0.2
2115         bgcolor: "rgba(255, 255, 255, 0)"
2116         bordercolor: "rgba(255, 255, 255, 0)"
2117         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2118       autosize: False
2119       margin:
2120           't': 50
2121           'b': 150
2122           'l': 85
2123           'r': 10
2124       showlegend: True
2125       width: 700
2126       height: 700
2127       paper_bgcolor: "#fff"
2128       plot_bgcolor: "#fff"
2129       hoverlabel:
2130         namelength: -1
2131       annotations: [
2132         {
2133           text: "_ _          __          ...",
2134           align: "left",
2135           showarrow: False,
2136           xref: "paper",
2137           yref: "paper",
2138           xanchor: "left",
2139           yanchor: "top",
2140           x: 0,
2141           y: -0.14,
2142           font: {
2143             family: "Consolas, Courier New",
2144             size: 13
2145           },
2146         },
2147         {
2148           text: "    Perfect     Measured     Limit",
2149           align: "left",
2150           showarrow: False,
2151           xref: "paper",
2152           yref: "paper",
2153           xanchor: "left",
2154           yanchor: "top",
2155           x: 0,
2156           y: -0.15,
2157           font: {
2158             family: "Consolas, Courier New",
2159             size: 13
2160           },
2161         },
2162       ]
2163
2164     plot-throughput-speedup-analysis-gbps:
2165       titlefont:
2166         size: 16
2167       xaxis:
2168         title: "<b>Number of Cores [Qty]</b>"
2169         titlefont:
2170           size: 14
2171         autorange: True
2172         fixedrange: False
2173         gridcolor: "rgb(230, 230, 230)"
2174         linecolor: "rgb(220, 220, 220)"
2175         linewidth: 1
2176         showgrid: True
2177         showline: True
2178         showticklabels: True
2179         tickcolor: "rgb(238, 238, 238)"
2180         tickmode: "linear"
2181         tickfont:
2182           size: 14
2183         zeroline: False
2184       yaxis:
2185         title: "<b>Packet Throughput [Gbps]</b>"
2186         titlefont:
2187           size: 14
2188         type: "linear"
2189         gridcolor: "rgb(230, 230, 230)"
2190         hoverformat: ".4s"
2191         linecolor: "rgb(220, 220, 220)"
2192         linewidth: 1
2193         showgrid: True
2194         showline: True
2195         showticklabels: True
2196         tickcolor: "rgb(220, 220, 220)"
2197         tickformat: ".4s"
2198         tickfont:
2199           size: 14
2200         zeroline: True
2201         rangemode: "tozero"
2202         range: [0,100]
2203       legend:
2204         orientation: "h"
2205         font:
2206           size: 14
2207         xanchor: "left"
2208         yanchor: "top"
2209         x: 0
2210         y: -0.2
2211         bgcolor: "rgba(255, 255, 255, 0)"
2212         bordercolor: "rgba(255, 255, 255, 0)"
2213         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2214       autosize: False
2215       margin:
2216           't': 50
2217           'b': 150
2218           'l': 85
2219           'r': 10
2220       showlegend: True
2221       width: 700
2222       height: 700
2223       paper_bgcolor: "#fff"
2224       plot_bgcolor: "#fff"
2225       hoverlabel:
2226         namelength: -1
2227       annotations: [
2228         {
2229           text: "_ _          __",
2230           align: "left",
2231           showarrow: False,
2232           xref: "paper",
2233           yref: "paper",
2234           xanchor: "left",
2235           yanchor: "top",
2236           x: 0,
2237           y: -0.13,
2238           font: {
2239             family: "Consolas, Courier New",
2240             size: 13
2241           },
2242         },
2243         {
2244           text: "    Perfect     Measured",
2245           align: "left",
2246           showarrow: False,
2247           xref: "paper",
2248           yref: "paper",
2249           xanchor: "left",
2250           yanchor: "top",
2251           x: 0,
2252           y: -0.15,
2253           font: {
2254             family: "Consolas, Courier New",
2255             size: 13
2256           },
2257         },
2258       ]
2259
2260     plot-throughput-speedup-analysis-cps:
2261       titlefont:
2262         size: 16
2263       xaxis:
2264         title: "<b>Number of Cores [Qty]</b>"
2265         titlefont:
2266           size: 14
2267         autorange: True
2268         fixedrange: False
2269         gridcolor: "rgb(230, 230, 230)"
2270         linecolor: "rgb(220, 220, 220)"
2271         linewidth: 1
2272         showgrid: True
2273         showline: True
2274         showticklabels: True
2275         tickcolor: "rgb(238, 238, 238)"
2276         tickmode: "linear"
2277         tickfont:
2278           size: 14
2279         zeroline: False
2280       yaxis:
2281         title: "<b>Connection Rate [Mcps]</b>"
2282         titlefont:
2283           size: 14
2284         type: "linear"
2285         gridcolor: "rgb(230, 230, 230)"
2286         hoverformat: ".4s"
2287         linecolor: "rgb(220, 220, 220)"
2288         linewidth: 1
2289         showgrid: True
2290         showline: True
2291         showticklabels: True
2292         tickcolor: "rgb(220, 220, 220)"
2293         tickformat: ".4s"
2294         tickfont:
2295           size: 14
2296         zeroline: True
2297         rangemode: "tozero"
2298         range: [0,100]
2299       legend:
2300         orientation: "h"
2301         font:
2302           size: 14
2303         xanchor: "left"
2304         yanchor: "top"
2305         x: 0
2306         y: -0.2
2307         bgcolor: "rgba(255, 255, 255, 0)"
2308         bordercolor: "rgba(255, 255, 255, 0)"
2309         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2310       autosize: False
2311       margin:
2312           't': 50
2313           'b': 150
2314           'l': 85
2315           'r': 10
2316       showlegend: True
2317       width: 700
2318       height: 700
2319       paper_bgcolor: "#fff"
2320       plot_bgcolor: "#fff"
2321       hoverlabel:
2322         namelength: -1
2323       annotations: [
2324         {
2325           text: "_ _          __",
2326           align: "left",
2327           showarrow: False,
2328           xref: "paper",
2329           yref: "paper",
2330           xanchor: "left",
2331           yanchor: "top",
2332           x: 0,
2333           y: -0.13,
2334           font: {
2335             family: "Consolas, Courier New",
2336             size: 13
2337           },
2338         },
2339         {
2340           text: "    Perfect     Measured",
2341           align: "left",
2342           showarrow: False,
2343           xref: "paper",
2344           yref: "paper",
2345           xanchor: "left",
2346           yanchor: "top",
2347           x: 0,
2348           y: -0.15,
2349           font: {
2350             family: "Consolas, Courier New",
2351             size: 13
2352           },
2353         },
2354       ]
2355
2356     plot-latency:
2357       titlefont:
2358         size: 16
2359       xaxis:
2360         title: "<b>Direction</b>"
2361         titlefont:
2362           size: 14
2363         autorange: True
2364         fixedrange: False
2365         gridcolor: "rgb(230, 230, 230)"
2366         linecolor: "rgb(220, 220, 220)"
2367         linewidth: 1
2368         showgrid: True
2369         showline: True
2370         showticklabels: False
2371         tickcolor: "rgb(220, 220, 220)"
2372         tickmode: "linear"
2373         tickfont:
2374           size: 14
2375         zeroline: False
2376       yaxis:
2377         title: "<b>Packet Latency [uSec]</b>"
2378         titlefont:
2379           size: 14
2380         type: "linear"
2381         gridcolor: "rgb(230, 230, 230)"
2382         hoverformat: ".4s"
2383         linecolor: "rgb(220, 220, 220)"
2384         linewidth: 1
2385         showgrid: True
2386         showline: True
2387         showticklabels: True
2388         tickcolor: "rgb(220, 220, 220)"
2389         tickformat: ".4s"
2390         tickfont:
2391           size: 14
2392         zeroline: True
2393         rangemode: "tozero"
2394       legend:
2395         orientation: "h"
2396         font:
2397           size: 14
2398         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2399       autosize: False
2400       margin:
2401           't': 50
2402           'b': 150
2403           'l': 80
2404           'r': 10
2405       showlegend: True
2406       width: 700
2407       height: 700
2408       paper_bgcolor: "#fff"
2409       plot_bgcolor: "#fff"
2410       hoverlabel:
2411         namelength: -1
2412
2413     plot-hdrh-latency:
2414       title:
2415         text: ""
2416         xanchor: "center"
2417         x: 0.5
2418         font:
2419           size: 16
2420       width: 700
2421       plot_bgcolor: "white"
2422       annotations:
2423         - font:
2424             size: 14
2425           showarrow: False
2426           text: "<b>Packet Latency [uSec]</b>"
2427           x: 1
2428           xanchor: "right"
2429           xref: "paper"
2430           y: -0.045
2431           yanchor: "top"
2432           yref: "paper"
2433         - font:
2434             size: 14
2435           showarrow: False
2436           text: "<b>Probability [%]</b>"
2437           textangle: 270
2438           x: -0.06
2439           xanchor: "center"
2440           xref: "paper"
2441           y: 0.5
2442           yanchor: "middle"
2443           yref: "paper"
2444         - font:
2445             size: 14
2446           showarrow: False
2447           text: "<b>Direction: E-W</b>"
2448           x: 0.24
2449           xanchor: "center"
2450           xref: "paper"
2451           y: 1.05
2452           yanchor: "bottom"
2453           yref: "paper"
2454         - font:
2455             size: 14
2456           showarrow: False
2457           text: "<b>Direction: W-E</b>"
2458           x: 0.74
2459           xanchor: "center"
2460           xref: "paper"
2461           y: 1.05
2462           yanchor: "bottom"
2463           yref: "paper"
2464
2465     plot-hdrh-latency-percentile:
2466       title:
2467         text: ""
2468         xanchor: "center"
2469         x: 0.5
2470         font:
2471           size: 16
2472       xaxis:
2473         type: "log"
2474         title: "<b>Percentile [%]</b>"
2475         titlefont:
2476           size: 14
2477         autorange: True
2478         fixedrange: False
2479         gridcolor: "rgb(230, 230, 230)"
2480         linecolor: "rgb(220, 220, 220)"
2481         linewidth: 1
2482         showgrid: True
2483         showline: True
2484         showticklabels: True
2485         tickcolor: "rgb(220, 220, 220)"
2486         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2487         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2488         tickfont:
2489           size: 14
2490       yaxis:
2491         title: "<b>Packet Latency [uSec]</b>"
2492         titlefont:
2493           size: 14
2494         gridcolor: "rgb(230, 230, 230)"
2495         linecolor: "rgb(220, 220, 220)"
2496         linewidth: 1
2497         showgrid: True
2498         showline: True
2499         showticklabels: True
2500         tickcolor: "rgb(220, 220, 220)"
2501         tickfont:
2502           size: 14
2503       autosize: False
2504       showlegend: True
2505       legend:
2506         traceorder: "normal"
2507         orientation: "h"
2508         font:
2509           size: 14
2510         xanchor: "left"
2511         yanchor: "top"
2512         x: 0
2513         y: -0.15
2514         bgcolor: "rgba(255, 255, 255, 0)"
2515         bordercolor: "rgba(255, 255, 255, 0)"
2516       width: 700
2517       height: 700
2518       paper_bgcolor: "white"
2519       plot_bgcolor: "white"
2520
2521     plot-hdrh-latency-by-percentile:
2522       title:
2523         text: "<b>Latency by Percentile Distribution</b>"
2524         xanchor: "center"
2525         x: 0.5
2526         font:
2527           size: 18
2528       showlegend: True
2529       legend:
2530         traceorder: "normal"
2531         orientation: "h"
2532         font:
2533           size: 16
2534         xanchor: "left"
2535         yanchor: "top"
2536         x: 0
2537         y: -0.2
2538         bgcolor: "rgba(255, 255, 255, 0)"
2539         bordercolor: "rgba(255, 255, 255, 0)"
2540       xaxis:
2541         type: "linear"
2542         title: "<b>Percentile [%]</b>"
2543         titlefont:
2544           size: 14
2545         autorange: False
2546         fixedrange: False
2547         range: [0, 100]
2548         gridcolor: "rgb(230, 230, 230)"
2549         linecolor: "rgb(220, 220, 220)"
2550         linewidth: 1
2551         showgrid: True
2552         showline: True
2553         showticklabels: True
2554         tickcolor: "rgb(220, 220, 220)"
2555         tickvals: [0, 25, 50, 75, 100]
2556         ticktext: [0, 25, 50, 75, 100]
2557         tickfont:
2558           size: 14
2559       yaxis:
2560         title: "<b>One-Way Latency per Direction [uSec]</b>"
2561         titlefont:
2562           size: 14
2563         gridcolor: "rgb(230, 230, 230)"
2564         linecolor: "rgb(220, 220, 220)"
2565         linewidth: 1
2566         showgrid: True
2567         showline: True
2568         showticklabels: True
2569         tickcolor: "rgb(220, 220, 220)"
2570         tickfont:
2571           size: 14
2572       width: 700
2573       height: 700
2574       paper_bgcolor: "white"
2575       plot_bgcolor: "white"
2576
2577 - type: "static"
2578   src-path: "{DIR[RST]}"
2579   dst-path: "{DIR[WORKING,SRC]}"
2580
2581 - type: "input"
2582   general:
2583     file-name: "output_info.xml.gz"
2584     file-format: ".gz"
2585     arch-file-format:
2586       - ".gz"
2587       - ".zip"
2588     download-path: "{job}/{build}/archives/{filename}"
2589     extract: "output.xml"
2590
2591     zip-file-name: "robot-plugin.zip"
2592     zip-file-format: ".zip"
2593     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2594     zip-extract: "robot-plugin/output.xml"
2595
2596   builds:
2597
2598     csit-vpp-perf-verify-2001-3n-hsw:
2599       - 17  # MRR sel
2600     csit-vpp-perf-report-iterative-2005-3n-hsw:
2601       - 20  # NDRPDR sel env 4
2602       - 21  # NDRPDR sel env 4
2603       - 22  # NDRPDR sel env 4
2604       - 23  # NDRPDR sel env 4
2605       - 24  # NDRPDR sel env 4
2606       - 25  # NDRPDR sel env 4
2607       - 26  # NDRPDR sel env 4
2608       - 27  # NDRPDR sel env 4
2609       - 28  # NDRPDR sel env 4
2610       - 29  # NDRPDR sel env 4
2611       - 30  # MRR env 4
2612       - 31  # NDRPDR sel 2001.0-4
2613       - 32  # NDRPDR sel 2001.0-4
2614       - 33  # NDRPDR sel 2001.0-4
2615       - 34  # NDRPDR sel 2001.0-4
2616       - 35  # NDRPDR sel 2001.0-4
2617       - 36  # NDRPDR sel 2001.0-4
2618       - 38  # NDRPDR sel 2001.0-4
2619     csit-vpp-perf-report-iterative-2009-3n-hsw:
2620       - 18  # rls2005 MRR iter env 5
2621       - 9   # rls2005 NDRPDR iter env 5
2622       - 10  # rls2005 NDRPDR iter env 5
2623       - 11  # rls2005 NDRPDR iter env 5
2624       - 12  # rls2005 NDRPDR iter env 5
2625       - 13  # rls2005 NDRPDR iter env 5
2626       - 14  # rls2005 NDRPDR iter env 5
2627       - 15  # rls2005 NDRPDR iter env 5
2628       - 16  # rls2005 NDRPDR iter env 5
2629       - 17  # rls2005 NDRPDR iter env 5
2630       - 19  # rls2005 NDRPDR iter env 5
2631       - 23  # rls2009 MRR iter env 5
2632       - 21  # rls2009 NDRPDR iter env 5
2633       - 22  # rls2009 NDRPDR iter env 5
2634       - 24  # rls2009 NDRPDR iter env 5
2635       - 25  # rls2009 NDRPDR iter env 5
2636       - 26  # rls2009 NDRPDR iter env 5
2637       - 27  # rls2009 NDRPDR iter env 5
2638       - 28  # rls2009 NDRPDR iter env 5
2639       - 29  # rls2009 NDRPDR iter env 5
2640       - 30  # rls2009 NDRPDR iter env 5
2641       - 31  # rls2009 NDRPDR iter env 5
2642       - 32  # rls2009 Hoststack iter env 5
2643       - 33  # rls2009 Hoststack iter env 5
2644       - 34  # rls2009 Hoststack iter env 5
2645       - 35  # rls2009 Hoststack iter env 5
2646       - 36  # rls2009 Hoststack iter env 5
2647       - 37  # rls2009 Hoststack iter env 5
2648       - 38  # rls2009 Hoststack iter env 5
2649       - 39  # rls2009 Hoststack iter env 5
2650       - 40  # rls2009 Hoststack iter env 5
2651       - 41  # rls2009 Hoststack iter env 5
2652     csit-vpp-perf-report-coverage-2009-3n-hsw:
2653       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2654       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2655       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2656       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2657       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2658       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2659       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2660       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2661       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2662       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2663       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2664       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2665       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2666       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2667       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2668       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2669       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2670       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2671       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2672       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2673       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2674       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2675       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2676       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2677       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2678       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2679       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2680       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2681       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2682       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2683       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2684       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2685       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2686       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2687       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2688
2689     csit-vpp-perf-verify-2001-3n-skx:
2690       - 50  # MRR sel
2691       - 53  # MRR sel addition
2692     csit-vpp-perf-report-iterative-2005-3n-skx:
2693       - 4   # NDRPDR sel
2694       - 5   # NDRPDR sel ??? all x710 failed
2695       - 33  # NDRPDR sel
2696       - 28  # NDRPDR sel
2697       - 34  # NDRPDR sel
2698       - 42  # NDRPDR sel env 4
2699       - 43  # NDRPDR sel env 4
2700       - 44  # NDRPDR sel env 4
2701       - 45  # NDRPDR sel env 4
2702       - 47  # NDRPDR sel env 4
2703       - 55  # NDRPDR sel env 4
2704       - 56  # NDRPDR sel env 4
2705       - 57  # NDRPDR sel env 4
2706       - 61  # NDRPDR sel env 4
2707       - 62  # NDRPDR sel env 4
2708       - 50  # NDRPDR sel 2001.0-4
2709       - 51  # NDRPDR sel 2001.0-4
2710       - 52  # NDRPDR sel 2001.0-4
2711       - 53  # NDRPDR sel 2001.0-4
2712       - 54  # NDRPDR sel 2001.0-4
2713       - 49  # MRR sel env 4
2714     csit-vpp-perf-report-iterative-2009-3n-skx:
2715       - 17  # rls2005 MRR iter env 5
2716       - 13  # rls2005 NDRPDR iter env 5
2717       - 18  # rls2005 NDRPDR iter env 5
2718       - 19  # rls2005 NDRPDR iter env 5
2719       - 41  # rls2005 NDRPDR iter env 5
2720       - 43  # rls2005 NDRPDR iter env 5
2721       - 44  # rls2005 NDRPDR iter env 5
2722       - 45  # rls2005 NDRPDR iter env 5
2723       - 46  # rls2005 NDRPDR iter env 5
2724       - 48  # rls2005 NDRPDR iter env 5
2725       - 49  # rls2005 NDRPDR iter env 5
2726       - 24  # rls2009 MRR iter env 5
2727       - 26  # rls2009 NDRPDR iter env 5
2728       - 27  # rls2009 NDRPDR iter env 5
2729       - 28  # rls2009 NDRPDR iter env 5
2730       - 29  # rls2009 NDRPDR iter env 5
2731       - 35  # rls2009 NDRPDR iter env 5
2732       - 36  # rls2009 NDRPDR iter env 5
2733       - 37  # rls2009 NDRPDR iter env 5
2734       - 38  # rls2009 NDRPDR iter env 5
2735       - 39  # rls2009 NDRPDR iter env 5
2736       - 40  # rls2009 NDRPDR iter env 5
2737     csit-vpp-perf-report-coverage-2009-3n-skx:
2738       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2739       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2740       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2741       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2742       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2743       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2744       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2745       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2746       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2747       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2748       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2749       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2750       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2751       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2752       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2753       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2754       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2755       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2756       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2757       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2758       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2759       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2760       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2761       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2762       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2763       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2764       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2765       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2766       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2767       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2768       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2769       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2770       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2771       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2772       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2773       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2774
2775     csit-vpp-perf-verify-2001-2n-skx:
2776       - 101  # MRR sel - old
2777       - 128  # MRR sel addition - old
2778     csit-vpp-perf-report-iterative-2005-2n-skx:
2779       - 88  # NDRPDR sel env 4
2780       - 89  # NDRPDR sel env 4
2781       - 90  # NDRPDR sel env 4
2782       - 91  # NDRPDR sel env 4
2783       - 92  # NDRPDR sel env 4
2784       - 93  # NDRPDR sel env 4
2785       - 94  # NDRPDR sel env 4
2786       - 125 # NDRPDR sel env 4
2787       - 126 # NDRPDR sel env 4
2788       - 127 # NDRPDR sel env 4
2789       - 100 # NDRPDR sel 2001.0-4
2790       - 101 # NDRPDR sel 2001.0-4
2791       - 102 # NDRPDR sel 2001.0-4
2792       - 103 # NDRPDR sel 2001.0-4
2793       - 104 # NDRPDR sel 2001.0-4
2794       - 105 # NDRPDR sel 2001.0-4
2795       - 99  # MRR sel env 4
2796     csit-vpp-perf-report-iterative-2009-2n-skx:
2797       - 20  # rls2005 MRR iter env 5
2798       - 13  # rls2005 NDRPDR iter env 5
2799       - 16  # rls2005 NDRPDR iter env 5
2800       - 17  # rls2005 NDRPDR iter env 5
2801       - 18  # rls2005 NDRPDR iter env 5
2802       - 19  # rls2005 NDRPDR iter env 5
2803       - 21  # rls2005 NDRPDR iter env 5
2804       - 22  # rls2005 NDRPDR iter env 5
2805       - 23  # rls2005 NDRPDR iter env 5
2806       - 24  # rls2005 NDRPDR iter env 5
2807       - 25  # rls2005 NDRPDR iter env 5
2808       - 120 # rls2009 MRR iter env 5
2809       - 35  # rls2009 NDRPDR iter env 5
2810       - 36  # rls2009 NDRPDR iter env 5
2811       - 37  # rls2009 NDRPDR iter env 5
2812       - 39  # rls2009 NDRPDR iter env 5
2813       - 40  # rls2009 NDRPDR iter env 5
2814       - 42  # rls2009 NDRPDR iter env 5
2815       - 43  # rls2009 NDRPDR iter env 5
2816       - 44  # rls2009 NDRPDR iter env 5
2817       - 46  # rls2009 NDRPDR iter env 5
2818       - 48  # rls2009 NDRPDR iter env 5
2819       - 110 # rls2009 NDRPDR iter NAT44 env 5
2820       - 111 # rls2009 NDRPDR iter NAT44 env 5
2821       - 112 # rls2009 NDRPDR iter NAT44 env 5
2822       - 113 # rls2009 NDRPDR iter NAT44 env 5
2823       - 114 # rls2009 NDRPDR iter NAT44 env 5
2824       - 115 # rls2009 NDRPDR iter NAT44 env 5
2825       - 116 # rls2009 NDRPDR iter NAT44 env 5
2826       - 118 # rls2009 NDRPDR iter NAT44 env 5
2827       - 119 # rls2009 NDRPDR iter NAT44 env 5
2828       - 121 # rls2009 NDRPDR iter NAT44 env 5
2829       - 38  # rls2009 nf-density iter env 5
2830       - 41  # rls2009 nf-density iter env 5
2831       - 45  # rls2009 nf-density iter env 5
2832       - 47  # rls2009 nf-density iter env 5
2833       - 49  # rls2009 nf-density iter env 5
2834       - 63  # rls2009 nf-density iter env 5
2835       - 65  # rls2009 nf-density iter env 5
2836       - 66  # rls2009 nf-density iter env 5
2837       - 71  # rls2009 nf-density iter env 5
2838       - 72  # rls2009 nf-density iter env 5
2839       - 50  # rls2009 MRR nf-density iter env 5
2840       - 27  # rls2009 reconf env 5
2841       - 28  # rls2009 reconf env 5
2842       - 29  # rls2009 reconf env 5
2843       - 30  # rls2009 reconf env 5
2844       - 31  # rls2009 reconf env 5
2845       - 32  # rls2009 reconf env 5
2846       - 61  # rls2009 reconf env 5
2847       - 62  # rls2009 reconf env 5
2848       - 68  # rls2009 reconf env 5
2849       - 70  # rls2009 reconf env 5
2850       - 33  # rls2009 soak env 5
2851       - 34  # rls2009 soak env 5
2852     csit-vpp-perf-report-coverage-2009-2n-skx:
2853       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2854       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2855       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2856       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2857       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2858       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2859       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2860       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2861       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2862       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2863       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2864       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2865       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2866       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2867       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2868       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2869       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2870
2871     csit-vpp-perf-verify-2001-2n-clx:
2872       - 39  # MRR
2873     csit-vpp-perf-report-iterative-2005-2n-clx:
2874       - 62  # NDRPDR sel env 4
2875       - 63  # NDRPDR sel env 4
2876       - 64  # NDRPDR sel env 4
2877       - 65  # NDRPDR sel env 4
2878       - 66  # NDRPDR sel env 4
2879       - 68  # NDRPDR sel env 4
2880       - 69  # NDRPDR sel env 4
2881       - 70  # NDRPDR sel env 4
2882       - 103 # NDRPDR sel env 4
2883       - 104 # NDRPDR sel env 4
2884       - 73  # NDRPDR sel 2001.0-4
2885       - 74  # NDRPDR sel 2001.0-4
2886       - 75  # NDRPDR sel 2001.0-4
2887       - 76  # NDRPDR sel 2001.0-4
2888       - 77  # NDRPDR sel 2001.0-4
2889       - 78  # NDRPDR sel 2001.0-4
2890       - 79  # NDRPDR sel 2001.0-4
2891       - 80  # NDRPDR sel 2001.0-4
2892       - 72  # MRR env 4
2893     csit-vpp-perf-report-iterative-2009-2n-clx:
2894       - 77  # rls2005 MRR iter env 5
2895       - 13  # rls2005 NDRPDR iter env 5
2896       - 15  # rls2005 NDRPDR iter env 5
2897       - 17  # rls2005 NDRPDR iter env 5
2898       - 18  # rls2005 NDRPDR iter env 5
2899       - 19  # rls2005 NDRPDR iter env 5
2900       - 20  # rls2005 NDRPDR iter env 5
2901       - 21  # rls2005 NDRPDR iter env 5
2902       - 22  # rls2005 NDRPDR iter env 5
2903       - 23  # rls2005 NDRPDR iter env 5
2904       - 24  # rls2005 NDRPDR iter env 5
2905       - 125 # rls2009 MRR iter env 5
2906       - 36  # rls2009 NDRPDR iter env 5
2907       - 39  # rls2009 NDRPDR iter env 5
2908       - 40  # rls2009 NDRPDR iter env 5
2909       - 65  # rls2009 NDRPDR iter env 5
2910       - 66  # rls2009 NDRPDR iter env 5
2911       - 79  # rls2009 NDRPDR iter env 5
2912       - 82  # rls2009 NDRPDR iter env 5
2913       - 88  # rls2009 NDRPDR iter env 5
2914       - 89  # rls2009 NDRPDR iter env 5
2915       - 90  # rls2009 NDRPDR iter env 5
2916       - 114 # rls2009 NDRPDR iter NAT44 env 5
2917       - 115 # rls2009 NDRPDR iter NAT44 env 5
2918       - 116 # rls2009 NDRPDR iter NAT44 env 5
2919       - 117 # rls2009 NDRPDR iter NAT44 env 5
2920       - 118 # rls2009 NDRPDR iter NAT44 env 5
2921       - 119 # rls2009 NDRPDR iter NAT44 env 5
2922       - 121 # rls2009 NDRPDR iter NAT44 env 5
2923       - 122 # rls2009 NDRPDR iter NAT44 env 5
2924       - 123 # rls2009 NDRPDR iter NAT44 env 5
2925       - 126 # rls2009 NDRPDR iter NAT44 env 5
2926       - 37  # rls2009 nf-density iter env 5
2927       - 43  # rls2009 nf-density iter env 5
2928       - 69  # rls2009 nf-density iter env 5
2929       - 70  # rls2009 nf-density iter env 5
2930       - 71  # rls2009 nf-density iter env 5
2931       - 72  # rls2009 nf-density iter env 5
2932       - 73  # rls2009 nf-density iter env 5
2933       - 74  # rls2009 nf-density iter env 5
2934       - 75  # rls2009 nf-density iter env 5
2935       - 76  # rls2009 nf-density iter env 5
2936       - 45  # rls2009 MRR nf-density iter env 5
2937       - 25  # rls2009 reconf env 5
2938       - 27  # rls2009 reconf env 5
2939       - 28  # rls2009 reconf env 5
2940       - 29  # rls2009 reconf env 5
2941       - 30  # rls2009 reconf env 5
2942       - 30  # rls2009 reconf env 5
2943       - 32  # rls2009 reconf env 5
2944       - 48  # rls2009 reconf env 5
2945       - 53  # rls2009 reconf env 5
2946       - 68  # rls2009 reconf env 5
2947       - 33  # rls2009 soak env 5
2948       - 34  # rls2009 soak env 5
2949     csit-vpp-perf-report-coverage-2009-2n-clx:
2950       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2951       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2952       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2953       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2954       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2955       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2956       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2957       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2958       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2959       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2960       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2961       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2962       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2963       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2964       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2965       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2966       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2967
2968     csit-vpp-perf-report-iterative-2009-2n-zn2:
2969       - 1   # rls2009 MRR turbo iter env 5
2970       - 3   # rls2009 NDRPDR turbo iter env 5
2971       - 4   # rls2009 NDRPDR turbo iter env 5
2972       - 6   # rls2009 NDRPDR turbo iter env 5
2973       - 7   # rls2009 NDRPDR turbo iter env 5
2974       - 8   # rls2009 NDRPDR turbo iter env 5
2975       - 9   # rls2009 NDRPDR turbo iter env 5
2976       - 10  # rls2009 NDRPDR turbo iter env 5
2977       - 11  # rls2009 NDRPDR turbo iter env 5
2978       - 15  # rls2009 MRR iter env 5
2979       - 17  # rls2009 NDRPDR iter env 5
2980       - 18  # rls2009 NDRPDR iter env 5
2981       - 31  # rls2009 NDRPDR iter env 5
2982       - 33  # rls2009 NDRPDR iter env 5
2983
2984     csit-vpp-perf-verify-2001-3n-tsh:
2985       - 9   # MRR sel
2986     csit-vpp-perf-report-iterative-2005-3n-tsh:
2987       - 23  # NDRPDR sel env 4
2988       - 25  # NDRPDR sel env 4
2989       - 33  # NDRPDR sel env 4
2990       - 34  # NDRPDR sel env 4
2991       - 35  # NDRPDR sel env 4
2992       - 36  # NDRPDR sel env 4
2993       - 37  # NDRPDR sel env 4
2994       - 38  # NDRPDR sel env 4
2995       - 39  # NDRPDR sel env 4
2996       - 40  # NDRPDR sel env 4
2997       - 28  # NDRPDR sel 2001.0-4
2998       - 29  # NDRPDR sel 2001.0-4
2999       - 31  # NDRPDR sel 2001.0-4
3000       - 27  # MRR sel env 4
3001     csit-vpp-perf-report-iterative-2009-3n-tsh:
3002       - 8   # rls2005 NDRPDR iter env 5
3003       - 11  # rls2005 NDRPDR iter env 5
3004       - 12  # rls2005 NDRPDR iter env 5
3005       - 24  # rls2005 NDRPDR iter env 5
3006       - 27  # rls2005 NDRPDR iter env 5
3007       - 29  # rls2005 NDRPDR iter env 5
3008       - 31  # rls2005 NDRPDR iter env 5
3009       - 39  # rls2005 NDRPDR iter env 5
3010       - 40  # rls2005 NDRPDR iter env 5
3011       - 42  # rls2005 NDRPDR iter env 5
3012       - 13  # rls2005 MRR iter env 5
3013       - 14  # rls2009 NDRPDR iter env 5
3014       - 20  # rls2009 NDRPDR iter env 5
3015       - 21  # rls2009 NDRPDR iter env 5
3016       - 22  # rls2009 NDRPDR iter env 5
3017       - 23  # rls2009 NDRPDR iter env 5
3018       - 28  # rls2009 NDRPDR iter env 5
3019       - 30  # rls2009 NDRPDR iter env 5
3020       - 33  # rls2009 NDRPDR iter env 5
3021       - 38  # rls2009 NDRPDR iter env 5
3022       - 41  # rls2009 NDRPDR iter env 5
3023       - 15  # rls2009 MRR iter env 5
3024
3025     csit-vpp-perf-verify-2001-3n-dnv:
3026       - 5   # NDRPDR sel
3027       - 6   # NDRPDR sel
3028       - 7   # NDRPDR sel
3029       - 8   # NDRPDR sel
3030       - 9   # NDRPDR sel
3031       - 10  # NDRPDR sel
3032       - 12  # NDRPDR sel
3033       - 16  # NDRPDR sel
3034       - 17  # NDRPDR sel
3035       - 18  # NDRPDR sel
3036       - 11  # MRR sel
3037     csit-vpp-perf-report-iterative-2009-3n-dnv:
3038       - 16  # rls2005 NDRPDR iter env 5
3039       - 23  # rls2005 NDRPDR iter env 5
3040       - 25  # rls2005 NDRPDR iter env 5
3041       - 26  # rls2005 NDRPDR iter env 5
3042       - 27  # rls2005 NDRPDR iter env 5
3043       - 28  # rls2005 NDRPDR iter env 5
3044       - 29  # rls2005 NDRPDR iter env 5
3045       - 30  # rls2005 NDRPDR iter env 5
3046       - 31  # rls2005 NDRPDR iter env 5
3047       - 32  # rls2005 NDRPDR iter env 5
3048       - 19  # rls2005 MRR iter env 5
3049       - 3   # rls2009 NDRPDR iter env 5
3050       - 6   # rls2009 NDRPDR iter env 5
3051       - 7   # rls2009 NDRPDR iter env 5
3052       - 8   # rls2009 NDRPDR iter env 5
3053       - 10  # rls2009 NDRPDR iter env 5
3054       - 11  # rls2009 NDRPDR iter env 5
3055       - 12  # rls2009 NDRPDR iter env 5
3056       - 14  # rls2009 NDRPDR iter env 5
3057       - 15  # rls2009 NDRPDR iter env 5
3058       - 24  # rls2009 NDRPDR iter env 5
3059       - 22  # rls2009 MRR iter env 5
3060     csit-vpp-perf-report-coverage-2009-3n-dnv:
3061       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3062       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3063       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3064       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3065       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3066       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3067       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3068       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3069       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3070
3071     csit-vpp-perf-verify-2001-2n-dnv:
3072       - 4   # NDRPDR sel
3073       - 5   # NDRPDR sel
3074       - 6   # NDRPDR sel
3075       - 7   # NDRPDR sel
3076       - 8   # NDRPDR sel
3077       - 9   # NDRPDR sel
3078       - 10  # NDRPDR sel
3079       - 11  # NDRPDR sel
3080       - 13  # NDRPDR sel
3081       - 16  # NDRPDR sel
3082       - 12  # MRR sel
3083     csit-vpp-perf-report-iterative-2009-2n-dnv:
3084       - 16  # rls2005 NDRPDR iter env 5
3085       - 17  # rls2005 NDRPDR iter env 5
3086       - 18  # rls2005 NDRPDR iter env 5
3087       - 19  # rls2005 NDRPDR iter env 5
3088       - 21  # rls2005 NDRPDR iter env 5
3089       - 24  # rls2005 NDRPDR iter env 5
3090       - 27  # rls2005 NDRPDR iter env 5
3091       - 28  # rls2005 NDRPDR iter env 5
3092       - 29  # rls2005 NDRPDR iter env 5
3093       - 30  # rls2005 NDRPDR iter env 5
3094       - 23  # rls2005 MRR iter env 5
3095       - 3   # rls2009 NDRPDR iter env 5
3096       - 5   # rls2009 NDRPDR iter env 5
3097       - 6   # rls2009 NDRPDR iter env 5
3098       - 7   # rls2009 NDRPDR iter env 5
3099       - 9   # rls2009 NDRPDR iter env 5
3100       - 10  # rls2009 NDRPDR iter env 5
3101       - 11  # rls2009 NDRPDR iter env 5
3102       - 12  # rls2009 NDRPDR iter env 5
3103       - 14  # rls2009 NDRPDR iter env 5
3104       - 15  # rls2009 NDRPDR iter env 5
3105       - 13  # rls2009 MRR iter env 5
3106     csit-vpp-perf-report-coverage-2009-2n-dnv:
3107       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3108       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3109       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3110       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3111       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3112       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3113
3114     csit-dpdk-perf-verify-2001-3n-hsw:
3115       - 4   # NDRPDR sel
3116       - 5   # NDRPDR sel
3117       - 6   # NDRPDR sel
3118       - 7   # NDRPDR sel
3119       - 8   # NDRPDR sel
3120       - 9   # NDRPDR sel
3121       - 10  # NDRPDR sel
3122       - 11  # NDRPDR sel
3123       - 12  # NDRPDR sel
3124       - 13  # NDRPDR sel
3125       - 15  # NDRPDR sel
3126       - 16  # NDRPDR sel
3127       - 17  # NDRPDR sel
3128       - 18  # NDRPDR sel
3129       - 19  # NDRPDR sel
3130       - 20  # NDRPDR sel
3131       - 21  # NDRPDR sel
3132       - 22  # NDRPDR sel
3133       - 23  # NDRPDR sel
3134       - 24  # NDRPDR sel
3135     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3136       - 25  # NDRPDR iter
3137       - 26  # NDRPDR iter
3138       - 27  # NDRPDR iter
3139       - 28  # NDRPDR iter
3140       - 29  # NDRPDR iter
3141       - 30  # NDRPDR iter
3142       - 31  # NDRPDR iter
3143       - 32  # NDRPDR iter
3144       - 33  # NDRPDR iter
3145       - 34  # NDRPDR iter
3146     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3147       - 6   # NDRPDR iter env5
3148       - 7   # NDRPDR iter env5
3149       - 8   # NDRPDR iter env5
3150       - 9   # NDRPDR iter env5
3151       - 10  # NDRPDR iter env5
3152       - 11  # NDRPDR iter env5
3153       - 12  # NDRPDR iter env5
3154       - 13  # NDRPDR iter env5
3155       - 14  # NDRPDR iter env5
3156       - 15  # NDRPDR iter env5
3157
3158     csit-dpdk-perf-verify-2001-3n-skx:
3159       - 29  # NDRPDR sel xxv710
3160       - 33  # NDRPDR sel xxv710
3161       - 34  # NDRPDR sel xxv710
3162       - 35  # NDRPDR sel xxv710
3163       - 36  # NDRPDR sel xxv710
3164       - 37  # NDRPDR sel xxv710
3165       - 41  # NDRPDR sel xxv710
3166       - 42  # NDRPDR sel xxv710
3167       - 43  # NDRPDR sel xxv710
3168       - 45  # NDRPDR sel xxv710
3169       - 30  # NDRPDR sel x710
3170       - 31  # NDRPDR sel x710
3171       - 32  # NDRPDR sel x710
3172       - 38  # NDRPDR sel x710
3173       - 39  # NDRPDR sel x710
3174       - 40  # NDRPDR sel x710
3175       - 44  # NDRPDR sel x710
3176       - 46  # NDRPDR sel x710
3177       - 47  # NDRPDR sel x710
3178       - 48  # NDRPDR sel x710
3179     csit-dpdk-perf-report-iterative-2005-3n-skx:
3180       - 28  # NDRPDR iter
3181       - 29  # NDRPDR iter
3182       - 30  # NDRPDR iter
3183       - 31  # NDRPDR iter
3184       - 32  # NDRPDR iter
3185       - 33  # NDRPDR iter
3186       - 34  # NDRPDR iter
3187       - 35  # NDRPDR iter
3188       - 36  # NDRPDR iter