resources/tools/presentation/specification.yaml

   1 - type: "environment"
   2
   3   paths:
   4     # Top level directories:
   5     ## Working directory
   6     DIR[WORKING]: "_tmp"
   7     ## Build directories
   8     DIR[BUILD,HTML]: "_build"
   9     DIR[BUILD,LATEX]: "_build_latex"
  10
  11     # Static .rst files
  12     DIR[RST]: "../../../docs/report"
  13
  14     # Working directories
  15     ## Input data files (.zip, .xml)
  16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  17     ## Static source files from git
  18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  20
  21     # Static html content
  22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  26
  27     # Detailed test results
  28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
  33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
  34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
  35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
  36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
  37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
  38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
  42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
  43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
  44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
  45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
  46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
  47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
  51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
  52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
  53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
  54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
  55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  56
  57     # Detailed test configurations
  58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
  60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
  64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
  65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
  66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
  67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
  68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
  69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
  73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
  74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
  75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
  76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
  77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  78
  79     # Detailed tests operational data
  80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
  82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
  86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
  87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
  88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
  89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
  90
  91     # Latencies:
  92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  94
  95     # .css patch file to fix tables generated by Sphinx
  96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  98
  99   urls:
 100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
 101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
 102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
 103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
 104     DIR[NEXUS,DOC]: "report/_static/archive"
 105
 106   make-dirs:
 107   # List the directories which are created while preparing the environment.
 108   # All directories MUST be defined in "paths" section.
 109   - "DIR[WORKING,DATA]"
 110   - "DIR[STATIC,VPP]"
 111   - "DIR[STATIC,DPDK]"
 112   - "DIR[STATIC,ARCH]"
 113   - "DIR[BUILD,LATEX]"
 114   - "DIR[WORKING,SRC]"
 115   - "DIR[WORKING,SRC,STATIC]"
 116
 117   remove-dirs:
 118   # List the directories which are deleted while cleaning the environment.
 119   # All directories MUST be defined in "paths" section.
 120   #- "DIR[BUILD,HTML]"
 121   - "DIR[WORKING,DATA]"
 122
 123   build-dirs:
 124   # List the directories where the results (build) is stored.
 125   # All directories MUST be defined in "paths" section.
 126   - "DIR[BUILD,HTML]"
 127   - "DIR[BUILD,LATEX]"
 128
 129 - type: "configuration"
 130
 131   mapping-file: "mapping_report.yaml"
 132
 133   limits:
 134     nic:
 135       x520: 24460000
 136       x553: 29761905
 137       x710: 35800000
 138       xxv710: 35800000
 139       xl710: 35800000
 140       cx556a: 148809523.81
 141
 142     link:
 143       10ge: 14880952.38
 144       25ge: 37202380.95
 145       40ge: 59523809.52
 146       100ge: 148809523.81
 147
 148     pci:
 149       pci-g3-x8: 74404761.90
 150       pci-g3-x16: 148809523.81
 151
 152   data-sets:
 153
 154     ###########################################################################
 155     # Plots:
 156
 157     # 3n-hsw
 158
 159     plot-vpp-throughput-lat-tsa-3n-hsw:
 160       csit-vpp-perf-report-iterative-2009-3n-hsw:
 161         - 21  # rls2009 NDRPDR iter env 5
 162         - 22  # rls2009 NDRPDR iter env 5
 163         - 24  # rls2009 NDRPDR iter env 5
 164         - 25  # rls2009 NDRPDR iter env 5
 165         - 26  # rls2009 NDRPDR iter env 5
 166         - 27  # rls2009 NDRPDR iter env 5
 167         - 28  # rls2009 NDRPDR iter env 5
 168         - 29  # rls2009 NDRPDR iter env 5
 169         - 30  # rls2009 NDRPDR iter env 5
 170         - 31  # rls2009 NDRPDR iter env 5
 171
 172     plot-vpp-hdrh-lat-3n-hsw:
 173       csit-vpp-perf-report-iterative-2009-3n-hsw:
 174         - 22  # rls2009 NDRPDR iter env 5
 175
 176     plot-vpp-hoststack-3n-hsw:
 177       csit-vpp-perf-report-iterative-2009-3n-hsw:
 178         - 32  # rls2009 Hoststack iter env 5
 179         - 33  # rls2009 Hoststack iter env 5
 180         - 34  # rls2009 Hoststack iter env 5
 181         - 35  # rls2009 Hoststack iter env 5
 182         - 36  # rls2009 Hoststack iter env 5
 183         - 37  # rls2009 Hoststack iter env 5
 184         - 38  # rls2009 Hoststack iter env 5
 185         - 39  # rls2009 Hoststack iter env 5
 186         - 40  # rls2009 Hoststack iter env 5
 187         - 41  # rls2009 Hoststack iter env 5
 188
 189     plot-dpdk-throughput-latency-3n-hsw:
 190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 191         - 6   # NDRPDR iter env5
 192         - 7   # NDRPDR iter env5
 193         - 8   # NDRPDR iter env5
 194         - 9   # NDRPDR iter env5
 195         - 10  # NDRPDR iter env5
 196         - 11  # NDRPDR iter env5
 197         - 12  # NDRPDR iter env5
 198         - 13  # NDRPDR iter env5
 199         - 14  # NDRPDR iter env5
 200         - 15  # NDRPDR iter env5
 201
 202     plot-dpdk-hdrh-lat-3n-hsw:
 203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 204         - 6   # NDRPDR iter env5
 205
 206     # 3n-skx
 207
 208     plot-vpp-throughput-lat-tsa-3n-skx:
 209       csit-vpp-perf-report-iterative-2009-3n-skx:
 210         - 26  # rls2009 NDRPDR iter env 5
 211         - 27  # rls2009 NDRPDR iter env 5
 212         - 28  # rls2009 NDRPDR iter env 5
 213         - 29  # rls2009 NDRPDR iter env 5
 214         - 35  # rls2009 NDRPDR iter env 5
 215         - 36  # rls2009 NDRPDR iter env 5
 216         - 37  # rls2009 NDRPDR iter env 5
 217         - 38  # rls2009 NDRPDR iter env 5
 218         - 39  # rls2009 NDRPDR iter env 5
 219         - 40  # rls2009 NDRPDR iter env 5
 220
 221     plot-vpp-hdrh-lat-3n-skx:
 222       csit-vpp-perf-report-iterative-2009-3n-skx:
 223         - 27  # rls2009 NDRPDR iter env 5
 224
 225 #    plot-vpp-nfv-3n-skx-ndrpdr:
 226 #      # No data
 227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 228
 229 #    plot-vpp-nfv-3n-skx-mrr:
 230 #      # No data
 231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 232
 233     plot-dpdk-throughput-latency-3n-skx:
 234       csit-dpdk-perf-report-iterative-2009-3n-skx:
 235         - 4   # NDRPDR sel env5
 236         - 5   # NDRPDR sel env5
 237         - 6   # NDRPDR sel env5
 238         - 7   # NDRPDR sel env5
 239         - 8   # NDRPDR sel env5
 240         - 9   # NDRPDR sel env5
 241         - 14  # NDRPDR sel env5
 242         - 11  # NDRPDR sel env5
 243         - 12  # NDRPDR sel env5
 244         - 13  # NDRPDR sel env5
 245
 246     plot-dpdk-hdrh-lat-3n-skx:
 247       csit-dpdk-perf-report-iterative-2009-3n-skx:
 248         - 4   # NDRPDR sel env5
 249
 250     # 2n-skx
 251
 252     plot-vpp-throughput-lat-tsa-2n-skx:
 253       csit-vpp-perf-report-iterative-2009-2n-skx:
 254         - 35  # rls2009 NDRPDR iter env 5
 255         - 36  # rls2009 NDRPDR iter env 5
 256         - 37  # rls2009 NDRPDR iter env 5
 257         - 39  # rls2009 NDRPDR iter env 5
 258         - 40  # rls2009 NDRPDR iter env 5
 259         - 42  # rls2009 NDRPDR iter env 5
 260         - 43  # rls2009 NDRPDR iter env 5
 261         - 44  # rls2009 NDRPDR iter env 5
 262         - 46  # rls2009 NDRPDR iter env 5
 263         - 48  # rls2009 NDRPDR iter env 5
 264         - 110 # rls2009 NDRPDR iter NAT44 env 5
 265         - 111 # rls2009 NDRPDR iter NAT44 env 5
 266         - 112 # rls2009 NDRPDR iter NAT44 env 5
 267         - 113 # rls2009 NDRPDR iter NAT44 env 5
 268         - 114 # rls2009 NDRPDR iter NAT44 env 5
 269         - 115 # rls2009 NDRPDR iter NAT44 env 5
 270         - 116 # rls2009 NDRPDR iter NAT44 env 5
 271         - 118 # rls2009 NDRPDR iter NAT44 env 5
 272         - 119 # rls2009 NDRPDR iter NAT44 env 5
 273         - 121 # rls2009 NDRPDR iter NAT44 env 5
 274
 275     plot-vpp-hdrh-lat-2n-skx:
 276       csit-vpp-perf-report-iterative-2009-2n-skx:
 277         - 35  # rls2009 NDRPDR iter env 5
 278
 279     plot-vpp-hdrh-lat-2n-skx-nat44:
 280       csit-vpp-perf-report-iterative-2009-2n-skx:
 281         - 110 # rls2009 NDRPDR iter NAT44 env 5
 282
 283     plot-vpp-soak-2n-skx:
 284       csit-vpp-perf-report-iterative-2009-2n-skx:
 285         - 33  # rls2009 soak env 5
 286         - 34  # rls2009 soak env 5
 287
 288     plot-vpp-nfv-2n-skx-ndrpdr:
 289       csit-vpp-perf-report-iterative-2009-2n-skx:
 290         - 38  # rls2009 nf-density iter env 5
 291         - 41  # rls2009 nf-density iter env 5
 292         - 45  # rls2009 nf-density iter env 5
 293         - 47  # rls2009 nf-density iter env 5
 294         - 49  # rls2009 nf-density iter env 5
 295         - 63  # rls2009 nf-density iter env 5
 296         - 65  # rls2009 nf-density iter env 5
 297         - 66  # rls2009 nf-density iter env 5
 298         - 71  # rls2009 nf-density iter env 5
 299         - 72  # rls2009 nf-density iter env 5
 300
 301     plot-vpp-nfv-2n-skx-mrr:
 302       csit-vpp-perf-report-iterative-2009-2n-skx:
 303         - 50  # rls2009 MRR nf-density iter env 5
 304
 305     plot-vpp-nfv-reconf-2n-skx:
 306       csit-vpp-perf-report-iterative-2009-2n-skx:
 307         - 27  # rls2009 reconf env 5
 308         - 28  # rls2009 reconf env 5
 309         - 29  # rls2009 reconf env 5
 310         - 30  # rls2009 reconf env 5
 311         - 31  # rls2009 reconf env 5
 312         - 32  # rls2009 reconf env 5
 313         - 61  # rls2009 reconf env 5
 314         - 62  # rls2009 reconf env 5
 315         - 68  # rls2009 reconf env 5
 316         - 70  # rls2009 reconf env 5
 317
 318     plot-dpdk-throughput-latency-2n-skx:
 319       csit-dpdk-perf-report-iterative-2009-2n-skx:
 320         - 4   # NDRPDR iter env5
 321         - 5   # NDRPDR iter env5
 322         - 6   # NDRPDR iter env5
 323         - 7   # NDRPDR iter env5
 324         - 8   # NDRPDR iter env5
 325         - 9   # NDRPDR iter env5
 326         - 10  # NDRPDR iter env5
 327         - 11  # NDRPDR iter env5
 328         - 12  # NDRPDR iter env5
 329         - 13  # NDRPDR iter env5
 330
 331     plot-dpdk-hdrh-lat-2n-skx:
 332       csit-dpdk-perf-report-iterative-2009-2n-skx:
 333         - 4   # NDRPDR iter env5
 334
 335     # 2n-zn2
 336
 337     plot-vpp-throughput-lat-tsa-2n-zn2-turbo:
 338       csit-vpp-perf-report-iterative-2009-2n-zn2:
 339         - 3   # rls2009 NDRPDR turbo iter env 5
 340         - 4   # rls2009 NDRPDR turbo iter env 5
 341         - 6   # rls2009 NDRPDR turbo iter env 5
 342         - 7   # rls2009 NDRPDR turbo iter env 5
 343         - 8   # rls2009 NDRPDR turbo iter env 5
 344         - 9   # rls2009 NDRPDR turbo iter env 5
 345         - 10  # rls2009 NDRPDR turbo iter env 5
 346         - 11  # rls2009 NDRPDR turbo iter env 5
 347
 348     plot-vpp-hdrh-lat-2n-zn2-turbo:
 349       csit-vpp-perf-report-iterative-2009-2n-zn2:
 350         - 3   # rls2009 NDRPDR turbo iter env 5
 351
 352     plot-dpdk-throughput-latency-2n-zn2-turbo:
 353       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 354         - 1   # NDRPDR turbo iter env5
 355
 356     plot-dpdk-hdrh-lat-2n-zn2-turbo:
 357       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 358         - 1   # NDRPDR turbo iter env5
 359
 360     plot-vpp-throughput-lat-tsa-2n-zn2:
 361       csit-vpp-perf-report-iterative-2009-2n-zn2:
 362         - 17  # rls2009 NDRPDR iter env 5
 363         - 18  # rls2009 NDRPDR iter env 5
 364
 365     plot-vpp-hdrh-lat-2n-zn2:
 366       csit-vpp-perf-report-iterative-2009-2n-zn2:
 367         - 18  # rls2009 NDRPDR iter env 5
 368
 369     plot-dpdk-throughput-latency-2n-zn2:
 370       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 371         - 16  # NDRPDR iter env5
 372         - 21  # NDRPDR iter env5
 373         - 22  # NDRPDR iter env5
 374         - 23  # NDRPDR iter env5
 375         - 24  # NDRPDR iter env5
 376         - 25  # NDRPDR iter env5
 377         - 29  # NDRPDR iter env5
 378
 379     plot-dpdk-hdrh-lat-2n-zn2:
 380       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 381         - 16  # NDRPDR iter env5
 382
 383     # 2n-clx
 384
 385     plot-vpp-throughput-lat-tsa-2n-clx:
 386       csit-vpp-perf-report-iterative-2009-2n-clx:
 387         - 36  # rls2009 NDRPDR iter env 5
 388         - 39  # rls2009 NDRPDR iter env 5
 389         - 40  # rls2009 NDRPDR iter env 5
 390         - 65  # rls2009 NDRPDR iter env 5
 391         - 66  # rls2009 NDRPDR iter env 5
 392         - 79  # rls2009 NDRPDR iter env 5
 393         - 82  # rls2009 NDRPDR iter env 5
 394         - 88  # rls2009 NDRPDR iter env 5
 395         - 89  # rls2009 NDRPDR iter env 5
 396         - 90  # rls2009 NDRPDR iter env 5
 397         - 114 # rls2009 NDRPDR iter NAT44 env 5
 398         - 115 # rls2009 NDRPDR iter NAT44 env 5
 399         - 116 # rls2009 NDRPDR iter NAT44 env 5
 400         - 117 # rls2009 NDRPDR iter NAT44 env 5
 401         - 118 # rls2009 NDRPDR iter NAT44 env 5
 402         - 119 # rls2009 NDRPDR iter NAT44 env 5
 403         - 121 # rls2009 NDRPDR iter NAT44 env 5
 404         - 122 # rls2009 NDRPDR iter NAT44 env 5
 405         - 123 # rls2009 NDRPDR iter NAT44 env 5
 406         - 126 # rls2009 NDRPDR iter NAT44 env 5
 407
 408     plot-vpp-hdrh-lat-2n-clx:
 409       csit-vpp-perf-report-iterative-2009-2n-clx:
 410         - 36  # rls2009 NDRPDR iter env 5
 411
 412     plot-vpp-hdrh-lat-2n-clx-nat44:
 413       csit-vpp-perf-report-iterative-2009-2n-clx:
 414         - 123 # rls2009 NDRPDR iter NAT44 env 5
 415
 416     plot-vpp-nfv-2n-clx-ndrpdr:
 417       csit-vpp-perf-report-iterative-2009-2n-clx:
 418         - 37  # rls2009 nf-density iter env 5
 419         - 43  # rls2009 nf-density iter env 5
 420         - 69  # rls2009 nf-density iter env 5
 421         - 70  # rls2009 nf-density iter env 5
 422         - 71  # rls2009 nf-density iter env 5
 423         - 72  # rls2009 nf-density iter env 5
 424         - 73  # rls2009 nf-density iter env 5
 425         - 74  # rls2009 nf-density iter env 5
 426         - 75  # rls2009 nf-density iter env 5
 427         - 76  # rls2009 nf-density iter env 5
 428
 429     plot-vpp-nfv-2n-clx-mrr:
 430       csit-vpp-perf-report-iterative-2009-2n-clx:
 431         - 45  # rls2009 MRR nf-density iter env 5
 432
 433     plot-vpp-nfv-reconf-2n-clx:
 434       csit-vpp-perf-report-iterative-2009-2n-clx:
 435         - 25  # rls2009 reconf env 5
 436         - 27  # rls2009 reconf env 5
 437         - 28  # rls2009 reconf env 5
 438         - 29  # rls2009 reconf env 5
 439         - 30  # rls2009 reconf env 5
 440         - 30  # rls2009 reconf env 5
 441         - 32  # rls2009 reconf env 5
 442         - 48  # rls2009 reconf env 5
 443         - 53  # rls2009 reconf env 5
 444         - 68  # rls2009 reconf env 5
 445
 446     plot-vpp-soak-2n-clx:
 447       csit-vpp-perf-report-iterative-2009-2n-clx:
 448         - 33  # rls2009 soak env 5
 449         - 34  # rls2009 soak env 5
 450
 451     plot-dpdk-throughput-latency-2n-clx:
 452       csit-dpdk-perf-report-iterative-2009-2n-clx:
 453         - 4   # NDRPDR iter env5
 454         - 5   # NDRPDR iter env5
 455         - 6   # NDRPDR iter env5
 456         - 7   # NDRPDR iter env5
 457         - 8   # NDRPDR iter env5
 458         - 9   # NDRPDR iter env5
 459         - 10  # NDRPDR iter env5
 460         - 11  # NDRPDR iter env5
 461         - 12  # NDRPDR iter env5
 462         - 13  # NDRPDR iter env5
 463
 464     plot-dpdk-hdrh-lat-2n-clx:
 465       csit-dpdk-perf-report-iterative-2009-2n-clx:
 466         - 4   # NDRPDR iter env5
 467
 468     # 3n-tsh
 469
 470     plot-vpp-throughput-lat-tsa-3n-tsh:
 471       csit-vpp-perf-report-iterative-2009-3n-tsh:
 472         - 14  # rls2009 NDRPDR iter env 5
 473         - 20  # rls2009 NDRPDR iter env 5
 474         - 21  # rls2009 NDRPDR iter env 5
 475         - 22  # rls2009 NDRPDR iter env 5
 476         - 23  # rls2009 NDRPDR iter env 5
 477         - 28  # rls2009 NDRPDR iter env 5
 478         - 30  # rls2009 NDRPDR iter env 5
 479         - 33  # rls2009 NDRPDR iter env 5
 480         - 38  # rls2009 NDRPDR iter env 5
 481         - 41  # rls2009 NDRPDR iter env 5
 482
 483     plot-vpp-hdrh-lat-3n-tsh:
 484       csit-vpp-perf-report-iterative-2009-3n-tsh:
 485         - 14  # rls2009 NDRPDR iter env 5
 486
 487     plot-dpdk-throughput-latency-3n-tsh:
 488       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 489         - 1   # NDRPDR iter env5
 490         - 2   # NDRPDR iter env5
 491         - 3   # NDRPDR iter env5
 492         - 4   # NDRPDR iter env5
 493         - 5   # NDRPDR iter env5
 494         - 6   # NDRPDR iter env5
 495         - 7   # NDRPDR iter env5
 496         - 9   # NDRPDR iter env5
 497         - 10  # NDRPDR iter env5
 498         - 11  # NDRPDR iter env5
 499
 500     plot-dpdk-hdrh-lat-3n-tsh:
 501       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 502         - 1   # NDRPDR iter env5
 503
 504     # 3n-dnv
 505
 506     plot-vpp-throughput-lat-tsa-3n-dnv:
 507       csit-vpp-perf-report-iterative-2009-3n-dnv:
 508         - 3   # rls2009 NDRPDR iter env 5
 509         - 6   # rls2009 NDRPDR iter env 5
 510         - 7   # rls2009 NDRPDR iter env 5
 511         - 8   # rls2009 NDRPDR iter env 5
 512         - 10  # rls2009 NDRPDR iter env 5
 513         - 11  # rls2009 NDRPDR iter env 5
 514         - 12  # rls2009 NDRPDR iter env 5
 515         - 14  # rls2009 NDRPDR iter env 5
 516         - 15  # rls2009 NDRPDR iter env 5
 517         - 24  # rls2009 NDRPDR iter env 5
 518
 519 #    plot-dpdk-throughput-latency-3n-dnv:
 520 #      # No data
 521 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 522
 523     # 2n-dnv
 524
 525     plot-vpp-throughput-lat-tsa-2n-dnv:
 526       csit-vpp-perf-report-iterative-2009-2n-dnv:
 527         - 3   # rls2009 NDRPDR iter env 5
 528         - 5   # rls2009 NDRPDR iter env 5
 529         - 6   # rls2009 NDRPDR iter env 5
 530         - 7   # rls2009 NDRPDR iter env 5
 531         - 9   # rls2009 NDRPDR iter env 5
 532         - 10  # rls2009 NDRPDR iter env 5
 533         - 11  # rls2009 NDRPDR iter env 5
 534         - 12  # rls2009 NDRPDR iter env 5
 535         - 14  # rls2009 NDRPDR iter env 5
 536         - 15  # rls2009 NDRPDR iter env 5
 537
 538 #    plot-dpdk-throughput-latency-2n-dnv:
 539 #      # No data
 540 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 541
 542     ###########################################################################
 543     # Simple tables (only one data set):
 544
 545     # NIC Comparisons
 546
 547     vpp-nic-comparison-3n-skx:
 548       csit-vpp-perf-report-iterative-2009-3n-skx:
 549         - 26  # rls2009 NDRPDR iter env 5
 550         - 27  # rls2009 NDRPDR iter env 5
 551         - 28  # rls2009 NDRPDR iter env 5
 552         - 29  # rls2009 NDRPDR iter env 5
 553         - 35  # rls2009 NDRPDR iter env 5
 554         - 36  # rls2009 NDRPDR iter env 5
 555         - 37  # rls2009 NDRPDR iter env 5
 556         - 38  # rls2009 NDRPDR iter env 5
 557         - 39  # rls2009 NDRPDR iter env 5
 558         - 40  # rls2009 NDRPDR iter env 5
 559
 560     vpp-nic-comparison-2n-skx:
 561       csit-vpp-perf-report-iterative-2009-2n-skx:
 562         - 35  # rls2009 NDRPDR iter env 5
 563         - 36  # rls2009 NDRPDR iter env 5
 564         - 37  # rls2009 NDRPDR iter env 5
 565         - 39  # rls2009 NDRPDR iter env 5
 566         - 40  # rls2009 NDRPDR iter env 5
 567         - 42  # rls2009 NDRPDR iter env 5
 568         - 43  # rls2009 NDRPDR iter env 5
 569         - 44  # rls2009 NDRPDR iter env 5
 570         - 46  # rls2009 NDRPDR iter env 5
 571         - 48  # rls2009 NDRPDR iter env 5
 572         - 110 # rls2009 NDRPDR iter NAT44 env 5
 573         - 111 # rls2009 NDRPDR iter NAT44 env 5
 574         - 112 # rls2009 NDRPDR iter NAT44 env 5
 575         - 113 # rls2009 NDRPDR iter NAT44 env 5
 576         - 114 # rls2009 NDRPDR iter NAT44 env 5
 577         - 115 # rls2009 NDRPDR iter NAT44 env 5
 578         - 116 # rls2009 NDRPDR iter NAT44 env 5
 579         - 118 # rls2009 NDRPDR iter NAT44 env 5
 580         - 119 # rls2009 NDRPDR iter NAT44 env 5
 581         - 121 # rls2009 NDRPDR iter NAT44 env 5
 582
 583     vpp-nic-comparison-3n-skx-mrr:
 584       csit-vpp-perf-report-iterative-2009-3n-skx:
 585         - 24  # rls2009 MRR iter env 5
 586
 587     vpp-nic-comparison-2n-skx-mrr:
 588       csit-vpp-perf-report-iterative-2009-2n-skx:
 589         - 120 # rls2009 MRR iter env 5
 590
 591     # Results
 592
 593     vpp-perf-results-3n-hsw:
 594       csit-vpp-perf-report-coverage-2009-3n-hsw:
 595         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
 596         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
 597         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
 598         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
 599         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
 600         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
 601         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
 602         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
 603         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
 604         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
 605         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
 606         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
 607         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
 608         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
 609         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
 610         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
 611         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
 612         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
 613         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
 614         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
 615         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
 616         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
 617         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
 618         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
 619         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
 620         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
 621         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
 622         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
 623         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
 624         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
 625         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
 626         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
 627         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
 628         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
 629         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
 630
 631     vpp-perf-results-3n-skx:
 632       csit-vpp-perf-report-coverage-2009-3n-skx:
 633         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
 634         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
 635         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
 636         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
 637         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
 638         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
 639         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
 640         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
 641         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
 642         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
 643         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
 644         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
 645         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
 646         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
 647         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
 648         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
 649         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
 650         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
 651         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
 652         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
 653         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
 654         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
 655         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
 656         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
 657         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
 658         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
 659         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
 660         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
 661         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
 662         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
 663         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
 664         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
 665         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
 666         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
 667         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
 668         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
 669
 670     vpp-perf-results-2n-skx:
 671       csit-vpp-perf-report-coverage-2009-2n-skx:
 672         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
 673         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
 674         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
 675         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
 676         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
 677         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
 678         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
 679         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
 680         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
 681         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
 682         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
 683         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
 684         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
 685         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
 686         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
 687         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
 688         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
 689
 690     vpp-perf-results-2n-zn2:
 691       csit-vpp-perf-report-iterative-2009-2n-zn2:
 692         - 18  # rls2009 NDRPDR iter env 5
 693
 694     vpp-perf-results-2n-clx:
 695       csit-vpp-perf-report-coverage-2009-2n-clx:
 696         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
 697         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
 698         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
 699         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
 700         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
 701         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
 702         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
 703         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
 704         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
 705         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
 706         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
 707         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
 708         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
 709         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
 710         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
 711         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
 712         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
 713
 714     vpp-perf-results-3n-tsh:
 715       csit-vpp-perf-report-iterative-2009-3n-tsh:
 716         - 14  # rls2009 NDRPDR iter env 5
 717
 718     vpp-perf-results-3n-dnv:
 719       csit-vpp-perf-report-coverage-2009-3n-dnv:
 720         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
 721         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
 722         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
 723         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
 724         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
 725         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
 726         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
 727         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
 728         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
 729
 730     vpp-perf-results-2n-dnv:
 731       csit-vpp-perf-report-coverage-2009-2n-dnv:
 732         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
 733         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
 734         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
 735         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
 736         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
 737         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
 738
 739     vpp-mrr-results-3n-hsw:
 740       csit-vpp-perf-report-iterative-2009-3n-hsw:
 741         - 23  # rls2009 MRR iter env 5
 742
 743     vpp-mrr-results-3n-skx:
 744       csit-vpp-perf-report-iterative-2009-3n-skx:
 745         - 24  # rls2009 MRR iter env 5
 746
 747     vpp-mrr-results-2n-skx:
 748       csit-vpp-perf-report-iterative-2009-2n-skx:
 749         - 120 # rls2009 MRR iter env 5
 750
 751     vpp-mrr-results-2n-zn2:
 752       csit-vpp-perf-report-iterative-2009-2n-zn2:
 753         - 15  # rls2009 MRR iter env 5
 754
 755     vpp-mrr-results-2n-clx:
 756       csit-vpp-perf-report-iterative-2009-2n-clx:
 757         - 125 # rls2009 MRR iter env 5
 758
 759     vpp-mrr-results-3n-tsh:
 760       csit-vpp-perf-report-iterative-2009-3n-tsh:
 761         - 15  # rls2009 MRR iter env 5
 762
 763     vpp-mrr-results-3n-dnv:
 764       csit-vpp-perf-report-iterative-2009-3n-dnv:
 765         - 22  # rls2009 MRR iter env 5
 766
 767     vpp-mrr-results-2n-dnv:
 768       csit-vpp-perf-report-iterative-2009-2n-dnv:
 769         - 13  # rls2009 MRR iter env 5
 770
 771     vpp-device-results-ubuntu:
 772       csit-vpp-device-2009-ubuntu1804-1n-skx:
 773         - 131 # rls2009 env 5
 774
 775     dpdk-perf-results-3n-hsw:
 776       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 777         - 6   # NDRPDR iter env5
 778
 779     dpdk-perf-results-3n-skx:
 780       csit-dpdk-perf-report-iterative-2009-3n-skx:
 781         - 4   # NDRPDR sel env5
 782
 783     dpdk-perf-results-2n-skx:
 784       csit-dpdk-perf-report-iterative-2009-2n-skx:
 785         - 4   # NDRPDR iter env5
 786
 787     dpdk-perf-results-2n-zn2:
 788       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 789         - 16  # NDRPDR iter env5
 790
 791     dpdk-perf-results-2n-clx:
 792       csit-dpdk-perf-report-iterative-2009-2n-clx:
 793         - 4   # NDRPDR iter env5
 794
 795 #    dpdk-perf-results-2n-dnv:
 796 #      # No data
 797 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 798
 799 #    dpdk-perf-results-3n-dnv:
 800 #      # No data
 801 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 802
 803     dpdk-perf-results-3n-tsh:
 804       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 805         - 1   # NDRPDR iter env5
 806
 807 ###########################################################################
 808     # Tables (more than one data set)
 809
 810     # Performance changes
 811
 812     vpp-performance-changes-3n-hsw-h1:
 813       csit-vpp-perf-report-iterative-2005-3n-hsw:
 814         - 31  # NDRPDR sel 2001.0-4
 815         - 32  # NDRPDR sel 2001.0-4
 816         - 33  # NDRPDR sel 2001.0-4
 817         - 34  # NDRPDR sel 2001.0-4
 818         - 35  # NDRPDR sel 2001.0-4
 819         - 36  # NDRPDR sel 2001.0-4
 820         - 38  # NDRPDR sel 2001.0-4
 821     vpp-performance-changes-3n-hsw-ref-env4:
 822       csit-vpp-perf-report-iterative-2005-3n-hsw:
 823         - 20  # NDRPDR sel env 4
 824         - 21  # NDRPDR sel env 4
 825         - 22  # NDRPDR sel env 4
 826         - 23  # NDRPDR sel env 4
 827         - 24  # NDRPDR sel env 4
 828         - 25  # NDRPDR sel env 4
 829         - 26  # NDRPDR sel env 4
 830         - 27  # NDRPDR sel env 4
 831         - 28  # NDRPDR sel env 4
 832         - 29  # NDRPDR sel env 4
 833     vpp-performance-changes-3n-hsw-ref-env5:
 834       csit-vpp-perf-report-iterative-2009-3n-hsw:
 835         - 9   # rls2005 NDRPDR iter env 5
 836         - 10  # rls2005 NDRPDR iter env 5
 837         - 11  # rls2005 NDRPDR iter env 5
 838         - 12  # rls2005 NDRPDR iter env 5
 839         - 13  # rls2005 NDRPDR iter env 5
 840         - 14  # rls2005 NDRPDR iter env 5
 841         - 15  # rls2005 NDRPDR iter env 5
 842         - 16  # rls2005 NDRPDR iter env 5
 843         - 17  # rls2005 NDRPDR iter env 5
 844         - 19  # rls2005 NDRPDR iter env 5
 845     vpp-performance-changes-3n-hsw-cmp:
 846       csit-vpp-perf-report-iterative-2009-3n-hsw:
 847         - 21  # rls2009 NDRPDR iter env 5
 848         - 22  # rls2009 NDRPDR iter env 5
 849         - 24  # rls2009 NDRPDR iter env 5
 850         - 25  # rls2009 NDRPDR iter env 5
 851         - 26  # rls2009 NDRPDR iter env 5
 852         - 27  # rls2009 NDRPDR iter env 5
 853         - 28  # rls2009 NDRPDR iter env 5
 854         - 29  # rls2009 NDRPDR iter env 5
 855         - 30  # rls2009 NDRPDR iter env 5
 856         - 31  # rls2009 NDRPDR iter env 5
 857
 858     vpp-performance-changes-3n-skx-h1:
 859       csit-vpp-perf-report-iterative-2005-3n-skx:
 860         - 50  # NDRPDR sel 2001.0-4
 861         - 51  # NDRPDR sel 2001.0-4
 862         - 52  # NDRPDR sel 2001.0-4
 863         - 53  # NDRPDR sel 2001.0-4
 864         - 54  # NDRPDR sel 2001.0-4
 865     vpp-performance-changes-3n-skx-ref-env4:
 866       csit-vpp-perf-report-iterative-2005-3n-skx:
 867         - 42  # NDRPDR sel env 4
 868         - 43  # NDRPDR sel env 4
 869         - 44  # NDRPDR sel env 4
 870         - 45  # NDRPDR sel env 4
 871         - 47  # NDRPDR sel env 4
 872         - 55  # NDRPDR sel env 4
 873         - 56  # NDRPDR sel env 4
 874         - 57  # NDRPDR sel env 4
 875         - 61  # NDRPDR sel env 4
 876         - 62  # NDRPDR sel env 4
 877     vpp-performance-changes-3n-skx-ref-env5:
 878       csit-vpp-perf-report-iterative-2009-3n-skx:
 879         - 13  # rls2005 NDRPDR iter env 5
 880         - 18  # rls2005 NDRPDR iter env 5
 881         - 19  # rls2005 NDRPDR iter env 5
 882         - 41  # rls2005 NDRPDR iter env 5
 883         - 43  # rls2005 NDRPDR iter env 5
 884         - 44  # rls2005 NDRPDR iter env 5
 885         - 45  # rls2005 NDRPDR iter env 5
 886         - 46  # rls2005 NDRPDR iter env 5
 887         - 48  # rls2005 NDRPDR iter env 5
 888         - 49  # rls2005 NDRPDR iter env 5
 889     vpp-performance-changes-3n-skx-cmp:
 890       csit-vpp-perf-report-iterative-2009-3n-skx:
 891         - 26  # rls2009 NDRPDR iter env 5
 892         - 27  # rls2009 NDRPDR iter env 5
 893         - 28  # rls2009 NDRPDR iter env 5
 894         - 29  # rls2009 NDRPDR iter env 5
 895         - 35  # rls2009 NDRPDR iter env 5
 896         - 36  # rls2009 NDRPDR iter env 5
 897         - 37  # rls2009 NDRPDR iter env 5
 898         - 38  # rls2009 NDRPDR iter env 5
 899         - 39  # rls2009 NDRPDR iter env 5
 900         - 40  # rls2009 NDRPDR iter env 5
 901
 902     vpp-performance-changes-2n-skx-h1:
 903       csit-vpp-perf-report-iterative-2005-2n-skx:
 904         - 100 # NDRPDR sel 2001.0-4
 905         - 101 # NDRPDR sel 2001.0-4
 906         - 102 # NDRPDR sel 2001.0-4
 907         - 103 # NDRPDR sel 2001.0-4
 908         - 104 # NDRPDR sel 2001.0-4
 909         - 105 # NDRPDR sel 2001.0-4
 910     vpp-performance-changes-2n-skx-ref-env4:
 911       csit-vpp-perf-report-iterative-2005-2n-skx:
 912         - 88  # NDRPDR sel env 4
 913         - 89  # NDRPDR sel env 4
 914         - 90  # NDRPDR sel env 4
 915         - 91  # NDRPDR sel env 4
 916         - 92  # NDRPDR sel env 4
 917         - 93  # NDRPDR sel env 4
 918         - 94  # NDRPDR sel env 4
 919         - 125 # NDRPDR sel env 4
 920         - 126 # NDRPDR sel env 4
 921         - 127 # NDRPDR sel env 4
 922     vpp-performance-changes-2n-skx-ref-env5:
 923       csit-vpp-perf-report-iterative-2009-2n-skx:
 924         - 13  # rls2005 NDRPDR iter env 5
 925         - 16  # rls2005 NDRPDR iter env 5
 926         - 17  # rls2005 NDRPDR iter env 5
 927         - 18  # rls2005 NDRPDR iter env 5
 928         - 19  # rls2005 NDRPDR iter env 5
 929         - 21  # rls2005 NDRPDR iter env 5
 930         - 22  # rls2005 NDRPDR iter env 5
 931         - 23  # rls2005 NDRPDR iter env 5
 932         - 24  # rls2005 NDRPDR iter env 5
 933         - 25  # rls2005 NDRPDR iter env 5
 934     vpp-performance-changes-2n-skx-cmp:
 935       csit-vpp-perf-report-iterative-2009-2n-skx:
 936         - 35  # rls2009 NDRPDR iter env 5
 937         - 36  # rls2009 NDRPDR iter env 5
 938         - 37  # rls2009 NDRPDR iter env 5
 939         - 39  # rls2009 NDRPDR iter env 5
 940         - 40  # rls2009 NDRPDR iter env 5
 941         - 42  # rls2009 NDRPDR iter env 5
 942         - 43  # rls2009 NDRPDR iter env 5
 943         - 44  # rls2009 NDRPDR iter env 5
 944         - 46  # rls2009 NDRPDR iter env 5
 945         - 48  # rls2009 NDRPDR iter env 5
 946         - 110 # rls2009 NDRPDR iter NAT44 env 5
 947         - 111 # rls2009 NDRPDR iter NAT44 env 5
 948         - 112 # rls2009 NDRPDR iter NAT44 env 5
 949         - 113 # rls2009 NDRPDR iter NAT44 env 5
 950         - 114 # rls2009 NDRPDR iter NAT44 env 5
 951         - 115 # rls2009 NDRPDR iter NAT44 env 5
 952         - 116 # rls2009 NDRPDR iter NAT44 env 5
 953         - 118 # rls2009 NDRPDR iter NAT44 env 5
 954         - 119 # rls2009 NDRPDR iter NAT44 env 5
 955         - 121 # rls2009 NDRPDR iter NAT44 env 5
 956
 957     vpp-performance-changes-2n-clx-h1:
 958       csit-vpp-perf-report-iterative-2005-2n-clx:
 959         - 73  # NDRPDR sel 2001.0-4
 960         - 74  # NDRPDR sel 2001.0-4
 961         - 75  # NDRPDR sel 2001.0-4
 962         - 76  # NDRPDR sel 2001.0-4
 963         - 77  # NDRPDR sel 2001.0-4
 964         - 78  # NDRPDR sel 2001.0-4
 965         - 79  # NDRPDR sel 2001.0-4
 966         - 80  # NDRPDR sel 2001.0-4
 967     vpp-performance-changes-2n-clx-ref-env4:
 968       csit-vpp-perf-report-iterative-2005-2n-clx:
 969         - 62  # NDRPDR sel env 4
 970         - 63  # NDRPDR sel env 4
 971         - 64  # NDRPDR sel env 4
 972         - 65  # NDRPDR sel env 4
 973         - 66  # NDRPDR sel env 4
 974         - 68  # NDRPDR sel env 4
 975         - 69  # NDRPDR sel env 4
 976         - 70  # NDRPDR sel env 4
 977         - 103 # NDRPDR sel env 4
 978         - 104 # NDRPDR sel env 4
 979     vpp-performance-changes-2n-clx-ref-env5:
 980       csit-vpp-perf-report-iterative-2009-2n-clx:
 981         - 13  # rls2005 NDRPDR iter env 5
 982         - 15  # rls2005 NDRPDR iter env 5
 983         - 17  # rls2005 NDRPDR iter env 5
 984         - 18  # rls2005 NDRPDR iter env 5
 985         - 19  # rls2005 NDRPDR iter env 5
 986         - 20  # rls2005 NDRPDR iter env 5
 987         - 21  # rls2005 NDRPDR iter env 5
 988         - 22  # rls2005 NDRPDR iter env 5
 989         - 23  # rls2005 NDRPDR iter env 5
 990         - 24  # rls2005 NDRPDR iter env 5
 991     vpp-performance-changes-2n-clx-cmp:
 992       csit-vpp-perf-report-iterative-2009-2n-clx:
 993         - 36  # rls2009 NDRPDR iter env 5
 994         - 39  # rls2009 NDRPDR iter env 5
 995         - 40  # rls2009 NDRPDR iter env 5
 996         - 65  # rls2009 NDRPDR iter env 5
 997         - 66  # rls2009 NDRPDR iter env 5
 998         - 79  # rls2009 NDRPDR iter env 5
 999         - 82  # rls2009 NDRPDR iter env 5
1000         - 88  # rls2009 NDRPDR iter env 5
1001         - 89  # rls2009 NDRPDR iter env 5
1002         - 90  # rls2009 NDRPDR iter env 5
1003         - 114 # rls2009 NDRPDR iter NAT44 env 5
1004         - 115 # rls2009 NDRPDR iter NAT44 env 5
1005         - 116 # rls2009 NDRPDR iter NAT44 env 5
1006         - 117 # rls2009 NDRPDR iter NAT44 env 5
1007         - 118 # rls2009 NDRPDR iter NAT44 env 5
1008         - 119 # rls2009 NDRPDR iter NAT44 env 5
1009         - 121 # rls2009 NDRPDR iter NAT44 env 5
1010         - 122 # rls2009 NDRPDR iter NAT44 env 5
1011         - 123 # rls2009 NDRPDR iter NAT44 env 5
1012         - 126 # rls2009 NDRPDR iter NAT44 env 5
1013
1014     vpp-performance-changes-2n-dnv-h1:
1015       csit-vpp-perf-verify-2001-2n-dnv:
1016         - 4   # NDRPDR sel
1017         - 5   # NDRPDR sel
1018         - 6   # NDRPDR sel
1019         - 7   # NDRPDR sel
1020         - 8   # NDRPDR sel
1021         - 9   # NDRPDR sel
1022         - 10  # NDRPDR sel
1023         - 11  # NDRPDR sel
1024         - 13  # NDRPDR sel
1025         - 16  # NDRPDR sel
1026     vpp-performance-changes-2n-dnv-ref:
1027       csit-vpp-perf-report-iterative-2009-2n-dnv:
1028         - 16  # rls2005 NDRPDR iter env 5
1029         - 17  # rls2005 NDRPDR iter env 5
1030         - 18  # rls2005 NDRPDR iter env 5
1031         - 19  # rls2005 NDRPDR iter env 5
1032         - 21  # rls2005 NDRPDR iter env 5
1033         - 24  # rls2005 NDRPDR iter env 5
1034         - 27  # rls2005 NDRPDR iter env 5
1035         - 28  # rls2005 NDRPDR iter env 5
1036         - 29  # rls2005 NDRPDR iter env 5
1037         - 30  # rls2005 NDRPDR iter env 5
1038     vpp-performance-changes-2n-dnv-cmp:
1039       csit-vpp-perf-report-iterative-2009-2n-dnv:
1040         - 3   # rls2009 NDRPDR iter env 5
1041         - 5   # rls2009 NDRPDR iter env 5
1042         - 6   # rls2009 NDRPDR iter env 5
1043         - 7   # rls2009 NDRPDR iter env 5
1044         - 9   # rls2009 NDRPDR iter env 5
1045         - 10  # rls2009 NDRPDR iter env 5
1046         - 11  # rls2009 NDRPDR iter env 5
1047         - 12  # rls2009 NDRPDR iter env 5
1048         - 14  # rls2009 NDRPDR iter env 5
1049         - 15  # rls2009 NDRPDR iter env 5
1050
1051     vpp-performance-changes-3n-dnv-h1:
1052       csit-vpp-perf-verify-2001-3n-dnv:
1053         - 5   # NDRPDR sel
1054         - 6   # NDRPDR sel
1055         - 7   # NDRPDR sel
1056         - 8   # NDRPDR sel
1057         - 9   # NDRPDR sel
1058         - 10  # NDRPDR sel
1059         - 12  # NDRPDR sel
1060         - 16  # NDRPDR sel
1061         - 17  # NDRPDR sel
1062         - 18  # NDRPDR sel
1063     vpp-performance-changes-3n-dnv-ref:
1064       csit-vpp-perf-report-iterative-2009-3n-dnv:
1065         - 16  # rls2005 NDRPDR iter env 5
1066         - 23  # rls2005 NDRPDR iter env 5
1067         - 25  # rls2005 NDRPDR iter env 5
1068         - 26  # rls2005 NDRPDR iter env 5
1069         - 27  # rls2005 NDRPDR iter env 5
1070         - 28  # rls2005 NDRPDR iter env 5
1071         - 29  # rls2005 NDRPDR iter env 5
1072         - 30  # rls2005 NDRPDR iter env 5
1073         - 31  # rls2005 NDRPDR iter env 5
1074         - 32  # rls2005 NDRPDR iter env 5
1075     vpp-performance-changes-3n-dnv-cmp:
1076       csit-vpp-perf-report-iterative-2009-3n-dnv:
1077         - 3   # rls2009 NDRPDR iter env 5
1078         - 6   # rls2009 NDRPDR iter env 5
1079         - 7   # rls2009 NDRPDR iter env 5
1080         - 8   # rls2009 NDRPDR iter env 5
1081         - 10  # rls2009 NDRPDR iter env 5
1082         - 11  # rls2009 NDRPDR iter env 5
1083         - 12  # rls2009 NDRPDR iter env 5
1084         - 14  # rls2009 NDRPDR iter env 5
1085         - 15  # rls2009 NDRPDR iter env 5
1086         - 24  # rls2009 NDRPDR iter env 5
1087
1088     vpp-performance-changes-3n-tsh-h1:
1089       csit-vpp-perf-report-iterative-2005-3n-tsh:
1090         - 28  # NDRPDR sel 2001.0-4
1091         - 29  # NDRPDR sel 2001.0-4
1092         - 31  # NDRPDR sel 2001.0-4
1093     vpp-performance-changes-3n-tsh-ref-env4:
1094       csit-vpp-perf-report-iterative-2005-3n-tsh:
1095         - 23  # NDRPDR sel env 4
1096         - 25  # NDRPDR sel env 4
1097         - 33  # NDRPDR sel env 4
1098         - 34  # NDRPDR sel env 4
1099         - 35  # NDRPDR sel env 4
1100         - 36  # NDRPDR sel env 4
1101         - 37  # NDRPDR sel env 4
1102         - 38  # NDRPDR sel env 4
1103         - 39  # NDRPDR sel env 4
1104         - 40  # NDRPDR sel env 4
1105     vpp-performance-changes-3n-tsh-ref-env5:
1106       csit-vpp-perf-report-iterative-2009-3n-tsh:
1107         - 8   # rls2005 NDRPDR iter env 5
1108         - 11  # rls2005 NDRPDR iter env 5
1109         - 12  # rls2005 NDRPDR iter env 5
1110         - 24  # rls2005 NDRPDR iter env 5
1111         - 27  # rls2005 NDRPDR iter env 5
1112         - 29  # rls2005 NDRPDR iter env 5
1113         - 31  # rls2005 NDRPDR iter env 5
1114         - 39  # rls2005 NDRPDR iter env 5
1115         - 40  # rls2005 NDRPDR iter env 5
1116         - 42  # rls2005 NDRPDR iter env 5
1117     vpp-performance-changes-3n-tsh-cmp:
1118       csit-vpp-perf-report-iterative-2009-3n-tsh:
1119         - 14  # rls2009 NDRPDR iter env 5
1120         - 20  # rls2009 NDRPDR iter env 5
1121         - 21  # rls2009 NDRPDR iter env 5
1122         - 22  # rls2009 NDRPDR iter env 5
1123         - 23  # rls2009 NDRPDR iter env 5
1124         - 28  # rls2009 NDRPDR iter env 5
1125         - 30  # rls2009 NDRPDR iter env 5
1126         - 33  # rls2009 NDRPDR iter env 5
1127         - 38  # rls2009 NDRPDR iter env 5
1128         - 41  # rls2009 NDRPDR iter env 5
1129
1130     vpp-soak-vs-ndr-2n-skx-ref:
1131       csit-vpp-perf-report-iterative-2009-2n-skx:
1132         - 35  # rls2009 NDRPDR iter env 5
1133         - 36  # rls2009 NDRPDR iter env 5
1134         - 37  # rls2009 NDRPDR iter env 5
1135         - 39  # rls2009 NDRPDR iter env 5
1136         - 40  # rls2009 NDRPDR iter env 5
1137         - 42  # rls2009 NDRPDR iter env 5
1138         - 43  # rls2009 NDRPDR iter env 5
1139         - 44  # rls2009 NDRPDR iter env 5
1140         - 46  # rls2009 NDRPDR iter env 5
1141         - 48  # rls2009 NDRPDR iter env 5
1142     vpp-soak-vs-ndr-2n-skx-cmp:
1143       csit-vpp-perf-report-iterative-2009-2n-skx:
1144         - 33  # rls2009 soak env 5
1145         - 34  # rls2009 soak env 5
1146     vpp-soak-vs-ndr-2n-skx:
1147       csit-vpp-perf-report-iterative-2009-2n-skx:
1148         - 35  # rls2009 NDRPDR iter env 5
1149         - 36  # rls2009 NDRPDR iter env 5
1150         - 37  # rls2009 NDRPDR iter env 5
1151         - 39  # rls2009 NDRPDR iter env 5
1152         - 40  # rls2009 NDRPDR iter env 5
1153         - 42  # rls2009 NDRPDR iter env 5
1154         - 43  # rls2009 NDRPDR iter env 5
1155         - 44  # rls2009 NDRPDR iter env 5
1156         - 46  # rls2009 NDRPDR iter env 5
1157         - 48  # rls2009 NDRPDR iter env 5
1158         - 33  # rls2009 soak env 5
1159         - 34  # rls2009 soak env 5
1160
1161     vpp-soak-vs-ndr-2n-clx-ref:
1162       csit-vpp-perf-report-iterative-2009-2n-clx:
1163         - 36  # rls2009 NDRPDR iter env 5
1164         - 39  # rls2009 NDRPDR iter env 5
1165         - 40  # rls2009 NDRPDR iter env 5
1166         - 65  # rls2009 NDRPDR iter env 5
1167         - 66  # rls2009 NDRPDR iter env 5
1168         - 79  # rls2009 NDRPDR iter env 5
1169         - 82  # rls2009 NDRPDR iter env 5
1170         - 88  # rls2009 NDRPDR iter env 5
1171         - 89  # rls2009 NDRPDR iter env 5
1172         - 90  # rls2009 NDRPDR iter env 5
1173     vpp-soak-vs-ndr-2n-clx-cmp:
1174       csit-vpp-perf-report-iterative-2009-2n-clx:
1175         - 33  # rls2009 soak env 5
1176         - 34  # rls2009 soak env 5
1177     vpp-soak-vs-ndr-2n-clx:
1178       csit-vpp-perf-report-iterative-2009-2n-clx:
1179         - 36  # rls2009 NDRPDR iter env 5
1180         - 39  # rls2009 NDRPDR iter env 5
1181         - 40  # rls2009 NDRPDR iter env 5
1182         - 65  # rls2009 NDRPDR iter env 5
1183         - 66  # rls2009 NDRPDR iter env 5
1184         - 79  # rls2009 NDRPDR iter env 5
1185         - 82  # rls2009 NDRPDR iter env 5
1186         - 88  # rls2009 NDRPDR iter env 5
1187         - 89  # rls2009 NDRPDR iter env 5
1188         - 90  # rls2009 NDRPDR iter env 5
1189         - 33  # rls2009 soak env 5
1190         - 34  # rls2009 soak env 5
1191
1192     vpp-performance-changes-3n-hsw-mrr-h1:
1193       csit-vpp-perf-verify-2001-3n-hsw:
1194         - 17  # MRR sel
1195     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1196       csit-vpp-perf-report-iterative-2005-3n-hsw:
1197         - 30  # MRR env 4
1198     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1199       csit-vpp-perf-report-iterative-2009-3n-hsw:
1200         - 18  # rls2005 MRR iter env 5
1201     vpp-performance-changes-3n-hsw-mrr-cmp:
1202       csit-vpp-perf-report-iterative-2009-3n-hsw:
1203         - 23  # rls2009 MRR iter env 5
1204
1205     vpp-performance-changes-3n-skx-mrr-h1:
1206       csit-vpp-perf-verify-2001-3n-skx:
1207         - 50  # MRR sel
1208         - 53  # MRR sel addition
1209     vpp-performance-changes-3n-skx-mrr-ref-env4:
1210       csit-vpp-perf-report-iterative-2005-3n-skx:
1211         - 49  # MRR sel env 4
1212     vpp-performance-changes-3n-skx-mrr-ref-env5:
1213       csit-vpp-perf-report-iterative-2009-3n-skx:
1214         - 17  # rls2005 MRR iter env 5
1215     vpp-performance-changes-3n-skx-mrr-cmp:
1216       csit-vpp-perf-report-iterative-2009-3n-skx:
1217         - 24  # rls2009 MRR iter env 5
1218
1219     vpp-performance-changes-2n-skx-mrr-h1:
1220       csit-vpp-perf-verify-2001-2n-skx:
1221         - 101 # MRR sel
1222         - 128 # MRR sel addition
1223     vpp-performance-changes-2n-skx-mrr-ref-env4:
1224       csit-vpp-perf-report-iterative-2005-2n-skx:
1225         - 99  # MRR sel env 4
1226     vpp-performance-changes-2n-skx-mrr-ref-env5:
1227       csit-vpp-perf-report-iterative-2009-2n-skx:
1228         - 20  # rls2005 MRR iter env 5
1229     vpp-performance-changes-2n-skx-mrr-cmp:
1230       csit-vpp-perf-report-iterative-2009-2n-skx:
1231         - 120 # rls2009 MRR iter env 5
1232
1233     vpp-performance-changes-2n-clx-mrr-h1:
1234       csit-vpp-perf-verify-2001-2n-clx:
1235         - 39  # MRR
1236     vpp-performance-changes-2n-clx-mrr-ref-env4:
1237       csit-vpp-perf-report-iterative-2005-2n-clx:
1238         - 72   # MRR sel env 4
1239     vpp-performance-changes-2n-clx-mrr-ref-env5:
1240       csit-vpp-perf-report-iterative-2009-2n-clx:
1241         - 77  # rls2005 MRR iter env 5
1242     vpp-performance-changes-2n-clx-mrr-cmp:
1243       csit-vpp-perf-report-iterative-2009-2n-clx:
1244         - 125 # rls2009 MRR iter env 5
1245
1246     vpp-performance-changes-2n-dnv-mrr-h1:
1247       csit-vpp-perf-verify-2001-2n-dnv:
1248         - 12  # MRR sel
1249     vpp-performance-changes-2n-dnv-mrr-ref:
1250       csit-vpp-perf-report-iterative-2009-2n-dnv:
1251         - 23  # rls2005 MRR iter env 5
1252     vpp-performance-changes-2n-dnv-mrr-cmp:
1253       csit-vpp-perf-report-iterative-2009-2n-dnv:
1254         - 13  # rls2009 MRR iter env 5
1255
1256     vpp-performance-changes-3n-dnv-mrr-h1:
1257       csit-vpp-perf-verify-2001-3n-dnv:
1258         - 11  # MRR sel
1259     vpp-performance-changes-3n-dnv-mrr-ref:
1260       csit-vpp-perf-report-iterative-2009-3n-dnv:
1261         - 19  # rls2005 MRR iter env 5
1262     vpp-performance-changes-3n-dnv-mrr-cmp:
1263       csit-vpp-perf-report-iterative-2009-3n-dnv:
1264         - 22  # rls2009 MRR iter env 5
1265
1266     vpp-performance-changes-3n-tsh-mrr-h1:
1267       csit-vpp-perf-verify-2001-3n-tsh:
1268         - 9   # MRR sel
1269     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1270       csit-vpp-perf-report-iterative-2005-3n-tsh:
1271         - 27  # MRR sel env 4
1272     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1273       csit-vpp-perf-report-iterative-2009-3n-tsh:
1274         - 13  # rls2005 MRR iter env 5
1275     vpp-performance-changes-3n-tsh-mrr-cmp:
1276       csit-vpp-perf-report-iterative-2009-3n-tsh:
1277         - 15  # rls2009 MRR iter env 5
1278
1279     dpdk-performance-changes-3n-hsw-h1:
1280       csit-dpdk-perf-verify-2001-3n-hsw:
1281         - 4   # NDRPDR sel
1282         - 5   # NDRPDR sel
1283         - 6   # NDRPDR sel
1284         - 7   # NDRPDR sel
1285         - 8   # NDRPDR sel
1286         - 9   # NDRPDR sel
1287         - 10  # NDRPDR sel
1288         - 11  # NDRPDR sel
1289         - 12  # NDRPDR sel
1290         - 13  # NDRPDR sel
1291         - 15  # NDRPDR sel
1292         - 16  # NDRPDR sel
1293         - 17  # NDRPDR sel
1294         - 18  # NDRPDR sel
1295         - 19  # NDRPDR sel
1296         - 20  # NDRPDR sel
1297         - 21  # NDRPDR sel
1298         - 22  # NDRPDR sel
1299         - 23  # NDRPDR sel
1300         - 24  # NDRPDR sel
1301     dpdk-performance-changes-3n-hsw-ref:
1302       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1303         - 25  # NDRPDR iter
1304         - 26  # NDRPDR iter
1305         - 27  # NDRPDR iter
1306         - 28  # NDRPDR iter
1307         - 29  # NDRPDR iter
1308         - 30  # NDRPDR iter
1309         - 31  # NDRPDR iter
1310         - 32  # NDRPDR iter
1311         - 33  # NDRPDR iter
1312         - 34  # NDRPDR iter
1313     dpdk-performance-changes-3n-hsw-cmp:
1314       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1315         - 6   # NDRPDR iter env5
1316         - 7   # NDRPDR iter env5
1317         - 8   # NDRPDR iter env5
1318         - 9   # NDRPDR iter env5
1319         - 10  # NDRPDR iter env5
1320         - 11  # NDRPDR iter env5
1321         - 12  # NDRPDR iter env5
1322         - 13  # NDRPDR iter env5
1323         - 14  # NDRPDR iter env5
1324         - 15  # NDRPDR iter env5
1325
1326     dpdk-performance-changes-3n-skx-h1:
1327       csit-dpdk-perf-verify-2001-3n-skx:
1328         - 29  # NDRPDR sel xxv710
1329         - 33  # NDRPDR sel xxv710
1330         - 34  # NDRPDR sel xxv710
1331         - 35  # NDRPDR sel xxv710
1332         - 36  # NDRPDR sel xxv710
1333         - 37  # NDRPDR sel xxv710
1334         - 41  # NDRPDR sel xxv710
1335         - 42  # NDRPDR sel xxv710
1336         - 43  # NDRPDR sel xxv710
1337         - 45  # NDRPDR sel xxv710
1338         - 30  # NDRPDR sel x710
1339         - 31  # NDRPDR sel x710
1340         - 32  # NDRPDR sel x710
1341         - 38  # NDRPDR sel x710
1342         - 39  # NDRPDR sel x710
1343         - 40  # NDRPDR sel x710
1344         - 44  # NDRPDR sel x710
1345         - 46  # NDRPDR sel x710
1346         - 47  # NDRPDR sel x710
1347         - 48  # NDRPDR sel x710
1348     dpdk-performance-changes-3n-skx-ref:
1349       csit-dpdk-perf-report-iterative-2005-3n-skx:
1350         - 28  # NDRPDR iter
1351         - 29  # NDRPDR iter
1352         - 30  # NDRPDR iter
1353         - 31  # NDRPDR iter
1354         - 32  # NDRPDR iter
1355         - 33  # NDRPDR iter
1356         - 34  # NDRPDR iter
1357         - 35  # NDRPDR iter
1358         - 36  # NDRPDR iter
1359         - 37  # NDRPDR iter
1360     dpdk-performance-changes-3n-skx-cmp:
1361       csit-dpdk-perf-report-iterative-2009-3n-skx:
1362         - 4   # NDRPDR sel env5
1363         - 5   # NDRPDR sel env5
1364         - 6   # NDRPDR sel env5
1365         - 7   # NDRPDR sel env5
1366         - 8   # NDRPDR sel env5
1367         - 9   # NDRPDR sel env5
1368         - 14  # NDRPDR sel env5
1369         - 11  # NDRPDR sel env5
1370         - 12  # NDRPDR sel env5
1371         - 13  # NDRPDR sel env5
1372
1373     dpdk-performance-changes-2n-skx-h1:
1374       csit-dpdk-perf-verify-2001-2n-skx:
1375         - 35  # NDRPDR sel xxv710
1376         - 36  # NDRPDR sel xxv710
1377         - 37  # NDRPDR sel xxv710
1378         - 41  # NDRPDR sel xxv710
1379         - 42  # NDRPDR sel xxv710
1380         - 43  # NDRPDR sel xxv710
1381         - 46  # NDRPDR sel xxv710
1382         - 47  # NDRPDR sel xxv710
1383         - 52  # NDRPDR sel xxv710
1384         - 53  # NDRPDR sel xxv710
1385         - 38  # NDRPDR sel x710
1386         - 39  # NDRPDR sel x710
1387         - 40  # NDRPDR sel x710
1388         - 44  # NDRPDR sel x710
1389         - 45  # NDRPDR sel x710
1390         - 48  # NDRPDR sel x710
1391         - 49  # NDRPDR sel x710
1392         - 50  # NDRPDR sel x710
1393         - 51  # NDRPDR sel x710
1394         - 54  # NDRPDR sel x710
1395     dpdk-performance-changes-2n-skx-ref:
1396       csit-dpdk-perf-report-iterative-2005-2n-skx:
1397         - 20  # NDRPDR iter
1398         - 21  # NDRPDR iter
1399         - 22  # NDRPDR iter
1400         - 23  # NDRPDR iter
1401         - 24  # NDRPDR iter
1402         - 25  # NDRPDR iter
1403         - 26  # NDRPDR iter
1404         - 27  # NDRPDR iter
1405         - 28  # NDRPDR iter
1406         - 29  # NDRPDR iter
1407     dpdk-performance-changes-2n-skx-cmp:
1408       csit-dpdk-perf-report-iterative-2009-2n-skx:
1409         - 4   # NDRPDR iter env5
1410         - 5   # NDRPDR iter env5
1411         - 6   # NDRPDR iter env5
1412         - 7   # NDRPDR iter env5
1413         - 8   # NDRPDR iter env5
1414         - 9   # NDRPDR iter env5
1415         - 10  # NDRPDR iter env5
1416         - 11  # NDRPDR iter env5
1417         - 12  # NDRPDR iter env5
1418         - 13  # NDRPDR iter env5
1419
1420     dpdk-performance-changes-2n-clx-h1:
1421       csit-dpdk-perf-verify-2001-2n-clx:
1422         - 15  # NDRPDR sel
1423         - 16  # NDRPDR sel
1424         - 17  # NDRPDR sel
1425         - 18  # NDRPDR sel
1426         - 19  # NDRPDR sel
1427         - 20  # NDRPDR sel
1428         - 21  # NDRPDR sel
1429         - 22  # NDRPDR sel
1430         - 23  # NDRPDR sel
1431         - 24  # NDRPDR sel
1432         - 25  # NDRPDR sel
1433         - 26  # NDRPDR sel
1434         - 27  # NDRPDR sel
1435         - 28  # NDRPDR sel
1436         - 29  # NDRPDR sel
1437         - 30  # NDRPDR sel
1438         - 31  # NDRPDR sel
1439         - 32  # NDRPDR sel
1440         - 33  # NDRPDR sel
1441         - 34  # NDRPDR sel
1442     dpdk-performance-changes-2n-clx-ref:
1443       csit-dpdk-perf-report-iterative-2005-2n-clx:
1444         - 20  # NDRPDR iter
1445         - 21  # NDRPDR iter
1446         - 22  # NDRPDR iter
1447         - 23  # NDRPDR iter
1448         - 24  # NDRPDR iter
1449         - 25  # NDRPDR iter
1450         - 26  # NDRPDR iter
1451         - 27  # NDRPDR iter
1452         - 28  # NDRPDR iter
1453         - 29  # NDRPDR iter
1454     dpdk-performance-changes-2n-clx-cmp:
1455       csit-dpdk-perf-report-iterative-2009-2n-clx:
1456         - 4   # NDRPDR iter env5
1457         - 5   # NDRPDR iter env5
1458         - 6   # NDRPDR iter env5
1459         - 7   # NDRPDR iter env5
1460         - 8   # NDRPDR iter env5
1461         - 9   # NDRPDR iter env5
1462         - 10  # NDRPDR iter env5
1463         - 11  # NDRPDR iter env5
1464         - 12  # NDRPDR iter env5
1465         - 13  # NDRPDR iter env5
1466
1467 #    dpdk-performance-changes-2n-dnv-h1:
1468 #      csit-dpdk-perf-verify-2001-2n-dnv:
1469 #        - 9   # NDRPDR sel
1470 #        - 10  # NDRPDR sel
1471 #        - 11  # NDRPDR sel
1472 #        - 12  # NDRPDR sel
1473 #        - 13  # NDRPDR sel
1474 #        - 14  # NDRPDR sel
1475 #        - 15  # NDRPDR sel
1476 #        - 16  # NDRPDR sel
1477 #        - 17  # NDRPDR sel
1478 #        - 18  # NDRPDR sel
1479 #    dpdk-performance-changes-2n-dnv-ref:
1480 #      # No data
1481 #    dpdk-performance-changes-2n-dnv-cmp:
1482 #      # No data
1483 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1484
1485 #    dpdk-performance-changes-3n-dnv-h1:
1486 #      csit-dpdk-perf-verify-2001-3n-dnv:
1487 #        - 12  # NDRPDR sel
1488 #        - 13  # NDRPDR sel
1489 #        - 14  # NDRPDR sel
1490 #        - 15  # NDRPDR sel
1491 #        - 16  # NDRPDR sel
1492 #        - 17  # NDRPDR sel
1493 #        - 18  # NDRPDR sel
1494 #        - 19  # NDRPDR sel
1495 #        - 20  # NDRPDR sel
1496 #        - 22  # NDRPDR sel
1497 #    dpdk-performance-changes-3n-dnv-ref:
1498 #      # No data
1499 #    dpdk-performance-changes-3n-dnv-cmp:
1500 #      # No data
1501 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1502
1503     dpdk-performance-changes-3n-tsh-h1:
1504       csit-dpdk-perf-verify-2001-3n-tsh:
1505         - 3   # NDRPDR sel
1506         - 4   # NDRPDR sel
1507         - 5   # NDRPDR sel
1508         - 9   # NDRPDR sel
1509         - 10  # NDRPDR sel
1510         - 11  # NDRPDR sel
1511         - 12  # NDRPDR sel
1512         - 14  # NDRPDR sel
1513         - 15  # NDRPDR sel
1514         - 18  # NDRPDR sel
1515     dpdk-performance-changes-3n-tsh-ref:
1516       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1517         - 5   # NDRPDR sel
1518     dpdk-performance-changes-3n-tsh-cmp:
1519       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1520         - 1   # NDRPDR iter env5
1521         - 2   # NDRPDR iter env5
1522         - 3   # NDRPDR iter env5
1523         - 4   # NDRPDR iter env5
1524         - 5   # NDRPDR iter env5
1525         - 6   # NDRPDR iter env5
1526         - 7   # NDRPDR iter env5
1527         - 9   # NDRPDR iter env5
1528         - 10  # NDRPDR iter env5
1529         - 11  # NDRPDR iter env5
1530
1531     # Compare testbeds
1532
1533     vpp-compare-testbeds-ref:
1534       csit-vpp-perf-report-iterative-2009-3n-hsw:
1535         - 21  # rls2009 NDRPDR iter env 5
1536         - 22  # rls2009 NDRPDR iter env 5
1537         - 24  # rls2009 NDRPDR iter env 5
1538         - 25  # rls2009 NDRPDR iter env 5
1539         - 26  # rls2009 NDRPDR iter env 5
1540         - 27  # rls2009 NDRPDR iter env 5
1541         - 28  # rls2009 NDRPDR iter env 5
1542         - 29  # rls2009 NDRPDR iter env 5
1543         - 30  # rls2009 NDRPDR iter env 5
1544         - 31  # rls2009 NDRPDR iter env 5
1545     vpp-compare-testbeds-cmp:
1546       csit-vpp-perf-report-iterative-2009-3n-skx:
1547         - 26  # rls2009 NDRPDR iter env 5
1548         - 27  # rls2009 NDRPDR iter env 5
1549         - 28  # rls2009 NDRPDR iter env 5
1550         - 29  # rls2009 NDRPDR iter env 5
1551         - 35  # rls2009 NDRPDR iter env 5
1552         - 36  # rls2009 NDRPDR iter env 5
1553         - 37  # rls2009 NDRPDR iter env 5
1554         - 38  # rls2009 NDRPDR iter env 5
1555         - 39  # rls2009 NDRPDR iter env 5
1556         - 40  # rls2009 NDRPDR iter env 5
1557
1558     vpp-compare-testbeds-skx-clx-ref:
1559       csit-vpp-perf-report-iterative-2009-2n-skx:
1560         - 35  # rls2009 NDRPDR iter env 5
1561         - 36  # rls2009 NDRPDR iter env 5
1562         - 37  # rls2009 NDRPDR iter env 5
1563         - 39  # rls2009 NDRPDR iter env 5
1564         - 40  # rls2009 NDRPDR iter env 5
1565         - 42  # rls2009 NDRPDR iter env 5
1566         - 43  # rls2009 NDRPDR iter env 5
1567         - 44  # rls2009 NDRPDR iter env 5
1568         - 46  # rls2009 NDRPDR iter env 5
1569         - 48  # rls2009 NDRPDR iter env 5
1570         - 110 # rls2009 NDRPDR iter NAT44 env 5
1571         - 111 # rls2009 NDRPDR iter NAT44 env 5
1572         - 112 # rls2009 NDRPDR iter NAT44 env 5
1573         - 113 # rls2009 NDRPDR iter NAT44 env 5
1574         - 114 # rls2009 NDRPDR iter NAT44 env 5
1575         - 115 # rls2009 NDRPDR iter NAT44 env 5
1576         - 116 # rls2009 NDRPDR iter NAT44 env 5
1577         - 118 # rls2009 NDRPDR iter NAT44 env 5
1578         - 119 # rls2009 NDRPDR iter NAT44 env 5
1579         - 121 # rls2009 NDRPDR iter NAT44 env 5
1580     vpp-compare-testbeds-skx-clx-cmp:
1581       csit-vpp-perf-report-iterative-2009-2n-clx:
1582         - 36  # rls2009 NDRPDR iter env 5
1583         - 39  # rls2009 NDRPDR iter env 5
1584         - 40  # rls2009 NDRPDR iter env 5
1585         - 65  # rls2009 NDRPDR iter env 5
1586         - 66  # rls2009 NDRPDR iter env 5
1587         - 79  # rls2009 NDRPDR iter env 5
1588         - 82  # rls2009 NDRPDR iter env 5
1589         - 88  # rls2009 NDRPDR iter env 5
1590         - 89  # rls2009 NDRPDR iter env 5
1591         - 90  # rls2009 NDRPDR iter env 5
1592         - 114 # rls2009 NDRPDR iter NAT44 env 5
1593         - 115 # rls2009 NDRPDR iter NAT44 env 5
1594         - 116 # rls2009 NDRPDR iter NAT44 env 5
1595         - 117 # rls2009 NDRPDR iter NAT44 env 5
1596         - 118 # rls2009 NDRPDR iter NAT44 env 5
1597         - 119 # rls2009 NDRPDR iter NAT44 env 5
1598         - 121 # rls2009 NDRPDR iter NAT44 env 5
1599         - 122 # rls2009 NDRPDR iter NAT44 env 5
1600         - 123 # rls2009 NDRPDR iter NAT44 env 5
1601         - 126 # rls2009 NDRPDR iter NAT44 env 5
1602
1603     vpp-compare-testbeds-hsw-clx-ref:
1604       csit-vpp-perf-report-iterative-2009-3n-hsw:
1605         - 21  # rls2009 NDRPDR iter env 5
1606         - 22  # rls2009 NDRPDR iter env 5
1607         - 24  # rls2009 NDRPDR iter env 5
1608         - 25  # rls2009 NDRPDR iter env 5
1609         - 26  # rls2009 NDRPDR iter env 5
1610         - 27  # rls2009 NDRPDR iter env 5
1611         - 28  # rls2009 NDRPDR iter env 5
1612         - 29  # rls2009 NDRPDR iter env 5
1613         - 30  # rls2009 NDRPDR iter env 5
1614         - 31  # rls2009 NDRPDR iter env 5
1615     vpp-compare-testbeds-hsw-clx-cmp:
1616       csit-vpp-perf-report-iterative-2009-2n-clx:
1617         - 36  # rls2009 NDRPDR iter env 5
1618         - 39  # rls2009 NDRPDR iter env 5
1619         - 40  # rls2009 NDRPDR iter env 5
1620         - 65  # rls2009 NDRPDR iter env 5
1621         - 66  # rls2009 NDRPDR iter env 5
1622         - 79  # rls2009 NDRPDR iter env 5
1623         - 82  # rls2009 NDRPDR iter env 5
1624         - 88  # rls2009 NDRPDR iter env 5
1625         - 89  # rls2009 NDRPDR iter env 5
1626         - 90  # rls2009 NDRPDR iter env 5
1627
1628     vpp-compare-testbeds-mrr-ref:
1629       csit-vpp-perf-report-iterative-2009-3n-hsw:
1630         - 23  # rls2009 MRR iter env 5
1631     vpp-compare-testbeds-mrr-cmp:
1632       csit-vpp-perf-report-iterative-2009-3n-skx:
1633         - 24  # rls2009 MRR iter env 5
1634
1635     vpp-compare-testbeds-mrr-skx-clx-ref:
1636       csit-vpp-perf-report-iterative-2009-2n-skx:
1637         - 120 # rls2009 MRR iter env 5
1638     vpp-compare-testbeds-mrr-skx-clx-cmp:
1639       csit-vpp-perf-report-iterative-2009-2n-clx:
1640         - 125 # rls2009 MRR iter env 5
1641
1642     vpp-compare-testbeds-mrr-hsw-clx-ref:
1643       csit-vpp-perf-report-iterative-2009-3n-hsw:
1644         - 23  # rls2009 MRR iter env 5
1645     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1646       csit-vpp-perf-report-iterative-2009-2n-clx:
1647         - 125 # rls2009 MRR iter env 5
1648
1649     dpdk-compare-testbeds-ref:
1650       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1651         - 6   # NDRPDR iter env5
1652         - 7   # NDRPDR iter env5
1653         - 8   # NDRPDR iter env5
1654         - 9   # NDRPDR iter env5
1655         - 10  # NDRPDR iter env5
1656         - 11  # NDRPDR iter env5
1657         - 12  # NDRPDR iter env5
1658         - 13  # NDRPDR iter env5
1659         - 14  # NDRPDR iter env5
1660         - 15  # NDRPDR iter env5
1661     dpdk-compare-testbeds-cmp:
1662       csit-dpdk-perf-report-iterative-2009-3n-skx:
1663         - 4   # NDRPDR sel env5
1664         - 5   # NDRPDR sel env5
1665         - 6   # NDRPDR sel env5
1666         - 7   # NDRPDR sel env5
1667         - 8   # NDRPDR sel env5
1668         - 9   # NDRPDR sel env5
1669         - 14  # NDRPDR sel env5
1670         - 11  # NDRPDR sel env5
1671         - 12  # NDRPDR sel env5
1672         - 13  # NDRPDR sel env5
1673
1674     dpdk-compare-testbeds-skx-clx-ref:
1675       csit-dpdk-perf-report-iterative-2009-2n-skx:
1676         - 4   # NDRPDR iter env5
1677         - 5   # NDRPDR iter env5
1678         - 6   # NDRPDR iter env5
1679         - 7   # NDRPDR iter env5
1680         - 8   # NDRPDR iter env5
1681         - 9   # NDRPDR iter env5
1682         - 10  # NDRPDR iter env5
1683         - 11  # NDRPDR iter env5
1684         - 12  # NDRPDR iter env5
1685         - 13  # NDRPDR iter env5
1686     dpdk-compare-testbeds-skx-clx-cmp:
1687       csit-dpdk-perf-report-iterative-2009-2n-clx:
1688         - 4   # NDRPDR iter env5
1689         - 5   # NDRPDR iter env5
1690         - 6   # NDRPDR iter env5
1691         - 7   # NDRPDR iter env5
1692         - 8   # NDRPDR iter env5
1693         - 9   # NDRPDR iter env5
1694         - 10  # NDRPDR iter env5
1695         - 11  # NDRPDR iter env5
1696         - 12  # NDRPDR iter env5
1697         - 13  # NDRPDR iter env5
1698
1699     # Compare topologies
1700
1701     vpp-compare-topologies-ref:
1702       csit-vpp-perf-report-iterative-2009-3n-skx:
1703         - 26  # rls2009 NDRPDR iter env 5
1704         - 27  # rls2009 NDRPDR iter env 5
1705         - 28  # rls2009 NDRPDR iter env 5
1706         - 29  # rls2009 NDRPDR iter env 5
1707         - 35  # rls2009 NDRPDR iter env 5
1708         - 36  # rls2009 NDRPDR iter env 5
1709         - 37  # rls2009 NDRPDR iter env 5
1710         - 38  # rls2009 NDRPDR iter env 5
1711         - 39  # rls2009 NDRPDR iter env 5
1712         - 40  # rls2009 NDRPDR iter env 5
1713     vpp-compare-topologies-cmp:
1714       csit-vpp-perf-report-iterative-2009-2n-skx:
1715         - 35  # rls2009 NDRPDR iter env 5
1716         - 36  # rls2009 NDRPDR iter env 5
1717         - 37  # rls2009 NDRPDR iter env 5
1718         - 39  # rls2009 NDRPDR iter env 5
1719         - 40  # rls2009 NDRPDR iter env 5
1720         - 42  # rls2009 NDRPDR iter env 5
1721         - 43  # rls2009 NDRPDR iter env 5
1722         - 44  # rls2009 NDRPDR iter env 5
1723         - 46  # rls2009 NDRPDR iter env 5
1724         - 48  # rls2009 NDRPDR iter env 5
1725
1726     vpp-compare-topologies-mrr-ref:
1727       csit-vpp-perf-report-iterative-2009-3n-skx:
1728         - 24  # rls2009 MRR iter env 5
1729     vpp-compare-topologies-mrr-cmp:
1730       csit-vpp-perf-report-iterative-2009-2n-skx:
1731         - 120 # rls2009 MRR iter env 5
1732
1733     dpdk-compare-topologies-ref:
1734       csit-dpdk-perf-report-iterative-2009-3n-skx:
1735         - 4   # NDRPDR sel env5
1736         - 5   # NDRPDR sel env5
1737         - 6   # NDRPDR sel env5
1738         - 7   # NDRPDR sel env5
1739         - 8   # NDRPDR sel env5
1740         - 9   # NDRPDR sel env5
1741         - 14  # NDRPDR sel env5
1742         - 11  # NDRPDR sel env5
1743         - 12  # NDRPDR sel env5
1744         - 13  # NDRPDR sel env5
1745     dpdk-compare-topologies-cmp:
1746       csit-dpdk-perf-report-iterative-2009-2n-skx:
1747         - 4   # NDRPDR iter env5
1748         - 5   # NDRPDR iter env5
1749         - 6   # NDRPDR iter env5
1750         - 7   # NDRPDR iter env5
1751         - 8   # NDRPDR iter env5
1752         - 9   # NDRPDR iter env5
1753         - 10  # NDRPDR iter env5
1754         - 11  # NDRPDR iter env5
1755         - 12  # NDRPDR iter env5
1756         - 13  # NDRPDR iter env5
1757
1758   plot-layouts:
1759
1760     plot-soak-throughput:
1761       titlefont:
1762         size: 16
1763       xaxis:
1764         title: "<b>Test Cases [Index]</b>"
1765         titlefont:
1766           size: 14
1767         autorange: True
1768         fixedrange: False
1769         gridcolor: "rgb(230, 230, 230)"
1770         linecolor: "rgb(220, 220, 220)"
1771         linewidth: 1
1772         showgrid: True
1773         showline: True
1774         showticklabels: True
1775         tickcolor: "rgb(220, 220, 220)"
1776         tickmode: "linear"
1777         tickfont:
1778           size: 14
1779         zeroline: False
1780       yaxis:
1781         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1782         titlefont:
1783           size: 14
1784         gridcolor: "rgb(230, 230, 230)"
1785         hoverformat: ".4r"
1786         tickformat: ".3r"
1787         linecolor: "rgb(220, 220, 220)"
1788         linewidth: 1
1789         showgrid: True
1790         showline: True
1791         showticklabels: True
1792         tickcolor: "rgb(220, 220, 220)"
1793         tickfont:
1794           size: 14
1795         zeroline: False
1796         range: [0,50]
1797       autosize: False
1798       margin:
1799         t: 50
1800         b: 0
1801         l: 80
1802         r: 20
1803       showlegend: True
1804       legend:
1805         orientation: "h"
1806         font:
1807           size: 14
1808       width: 700
1809       height: 900
1810       paper_bgcolor: "#fff"
1811       plot_bgcolor: "#fff"
1812       hoverlabel:
1813         namelength: -1
1814
1815     plot-service-density:
1816       titlefont:
1817         size: 16
1818       xaxis:
1819         side: "top"
1820         autorange: True
1821         fixedrange: False
1822         showgrid: False
1823         showline: False
1824         showticklabels: False
1825         ticks: ""
1826         ticklen: 0
1827         tickwidth: 0
1828         zeroline: False
1829       yaxis:
1830         autorange: "reversed"
1831         showgrid: False
1832         showline: False
1833         showticklabels: False
1834         ticks: ""
1835         ticklen: 0
1836         tickwidth: 0
1837         zeroline: False
1838       showlegend: False
1839       paper_bgcolor: "#fff"
1840       plot_bgcolor: "#fff"
1841       width: 700
1842       height: 700
1843       hoverlabel:
1844         namelength: -1
1845
1846     plot-hoststack:
1847       titlefont:
1848         size: 16
1849       xaxis:
1850         title: "<b>Test Cases [Index]</b>"
1851         titlefont:
1852           size: 14
1853         autorange: True
1854         fixedrange: False
1855         gridcolor: "rgb(230, 230, 230)"
1856         linecolor: "rgb(220, 220, 220)"
1857         linewidth: 1
1858         showgrid: True
1859         showline: True
1860         showticklabels: True
1861         tickcolor: "rgb(220, 220, 220)"
1862         tickmode: "linear"
1863         tickfont:
1864           size: 14
1865         zeroline: False
1866       yaxis:
1867         title: "<b>Bandwidth [Gbps]</b>"
1868         titlefont:
1869           size: 14
1870         gridcolor: "rgb(230, 230, 230)"
1871         hoverformat: ".4s"
1872         linecolor: "rgb(220, 220, 220)"
1873         linewidth: 1
1874         rangemode: "tozero"
1875         showgrid: True
1876         showline: True
1877         showticklabels: True
1878         tickcolor: "rgb(230, 230, 230)"
1879         tickformat: ".3s"
1880         tickfont:
1881           size: 14
1882         zeroline: False
1883       autosize: False
1884       margin:
1885         t: 50
1886         b: 20
1887         l: 80
1888         r: 20
1889       showlegend: True
1890       legend:
1891         orientation: "h"
1892         font:
1893           size: 14
1894       width: 700
1895       height: 800
1896       paper_bgcolor: "#fff"
1897       plot_bgcolor: "#fff"
1898       hoverlabel:
1899         namelength: -1
1900
1901     plot-throughput:
1902       titlefont:
1903         size: 16
1904       xaxis:
1905         title: "<b>Test Cases [Index]</b>"
1906         titlefont:
1907           size: 14
1908         autorange: True
1909         fixedrange: False
1910         gridcolor: "rgb(230, 230, 230)"
1911         linecolor: "rgb(220, 220, 220)"
1912         linewidth: 1
1913         showgrid: True
1914         showline: True
1915         showticklabels: True
1916         tickcolor: "rgb(220, 220, 220)"
1917         tickmode: "linear"
1918         tickfont:
1919           size: 14
1920         zeroline: False
1921       yaxis:
1922         title: "<b>Packet Throughput [Mpps]</b>"
1923         titlefont:
1924           size: 14
1925         gridcolor: "rgb(230, 230, 230)"
1926         hoverformat: ".4r"
1927         tickformat: ".3r"
1928         linecolor: "rgb(220, 220, 220)"
1929         linewidth: 1
1930         showgrid: True
1931         showline: True
1932         showticklabels: True
1933         tickcolor: "rgb(220, 220, 220)"
1934         tickfont:
1935           size: 14
1936         zeroline: False
1937         range: [0,50]
1938       autosize: False
1939       margin:
1940         t: 50
1941         b: 0
1942         l: 80
1943         r: 20
1944       showlegend: True
1945       legend:
1946         orientation: "h"
1947         font:
1948           size: 14
1949       width: 700
1950       height: 900
1951       paper_bgcolor: "#fff"
1952       plot_bgcolor: "#fff"
1953       hoverlabel:
1954         namelength: -1
1955
1956     plot-throughput-gbps:
1957       titlefont:
1958         size: 16
1959       xaxis:
1960         title: "<b>Test Cases [Index]</b>"
1961         titlefont:
1962           size: 14
1963         autorange: True
1964         fixedrange: False
1965         gridcolor: "rgb(230, 230, 230)"
1966         linecolor: "rgb(220, 220, 220)"
1967         linewidth: 1
1968         showgrid: True
1969         showline: True
1970         showticklabels: True
1971         tickcolor: "rgb(220, 220, 220)"
1972         tickmode: "linear"
1973         tickfont:
1974           size: 14
1975         zeroline: False
1976       yaxis:
1977         title: "<b>Packet Throughput [Gbps]</b>"
1978         titlefont:
1979           size: 14
1980         gridcolor: "rgb(230, 230, 230)"
1981         hoverformat: ".4r"
1982         tickformat: ".3r"
1983         linecolor: "rgb(220, 220, 220)"
1984         linewidth: 1
1985         showgrid: True
1986         showline: True
1987         showticklabels: True
1988         tickcolor: "rgb(220, 220, 220)"
1989         tickfont:
1990           size: 14
1991         zeroline: False
1992         range: [0,10]
1993       autosize: False
1994       margin:
1995         t: 50
1996         b: 0
1997         l: 80
1998         r: 20
1999       showlegend: True
2000       legend:
2001         orientation: "h"
2002         font:
2003           size: 14
2004       width: 700
2005       height: 900
2006       paper_bgcolor: "#fff"
2007       plot_bgcolor: "#fff"
2008       hoverlabel:
2009         namelength: -1
2010
2011     plot-cps:
2012       titlefont:
2013         size: 16
2014       xaxis:
2015         title: "<b>Test Cases [Index]</b>"
2016         titlefont:
2017           size: 14
2018         autorange: True
2019         fixedrange: False
2020         gridcolor: "rgb(230, 230, 230)"
2021         linecolor: "rgb(220, 220, 220)"
2022         linewidth: 1
2023         showgrid: True
2024         showline: True
2025         showticklabels: True
2026         tickcolor: "rgb(220, 220, 220)"
2027         tickmode: "linear"
2028         tickfont:
2029           size: 14
2030         zeroline: False
2031       yaxis:
2032         title: "<b>Connection Rate [Mcps]</b>"
2033         titlefont:
2034           size: 14
2035         gridcolor: "rgb(230, 230, 230)"
2036         hoverformat: ".4r"
2037         tickformat: ".3s"
2038         linecolor: "rgb(220, 220, 220)"
2039         linewidth: 1
2040         showgrid: True
2041         showline: True
2042         showticklabels: True
2043         tickcolor: "rgb(220, 220, 220)"
2044         tickfont:
2045           size: 14
2046         zeroline: False
2047         range: [0,10]
2048       autosize: False
2049       margin:
2050         t: 50
2051         b: 0
2052         l: 80
2053         r: 20
2054       showlegend: True
2055       legend:
2056         orientation: "h"
2057         font:
2058           size: 14
2059       width: 700
2060       height: 900
2061       paper_bgcolor: "#fff"
2062       plot_bgcolor: "#fff"
2063       hoverlabel:
2064         namelength: -1
2065
2066     plot-throughput-speedup-analysis:
2067       titlefont:
2068         size: 16
2069       xaxis:
2070         title: "<b>Number of Cores [Qty]</b>"
2071         titlefont:
2072           size: 14
2073         autorange: True
2074         fixedrange: False
2075         gridcolor: "rgb(230, 230, 230)"
2076         linecolor: "rgb(220, 220, 220)"
2077         linewidth: 1
2078         showgrid: True
2079         showline: True
2080         showticklabels: True
2081         tickcolor: "rgb(238, 238, 238)"
2082         tickmode: "linear"
2083         tickfont:
2084           size: 14
2085         zeroline: False
2086       yaxis:
2087         title: "<b>Packet Throughput [Mpps]</b>"
2088         titlefont:
2089           size: 14
2090         type: "linear"
2091         gridcolor: "rgb(230, 230, 230)"
2092         hoverformat: ".4s"
2093         linecolor: "rgb(220, 220, 220)"
2094         linewidth: 1
2095         showgrid: True
2096         showline: True
2097         showticklabels: True
2098         tickcolor: "rgb(220, 220, 220)"
2099         tickformat: ".4s"
2100         tickfont:
2101           size: 14
2102         zeroline: True
2103         rangemode: "tozero"
2104         range: [0,100]
2105       legend:
2106         orientation: "h"
2107         font:
2108           size: 14
2109         xanchor: "left"
2110         yanchor: "top"
2111         x: 0
2112         y: -0.2
2113         bgcolor: "rgba(255, 255, 255, 0)"
2114         bordercolor: "rgba(255, 255, 255, 0)"
2115         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2116       autosize: False
2117       margin:
2118           't': 50
2119           'b': 150
2120           'l': 85
2121           'r': 10
2122       showlegend: True
2123       width: 700
2124       height: 700
2125       paper_bgcolor: "#fff"
2126       plot_bgcolor: "#fff"
2127       hoverlabel:
2128         namelength: -1
2129       annotations: [
2130         {
2131           text: "_ _          __          ...",
2132           align: "left",
2133           showarrow: False,
2134           xref: "paper",
2135           yref: "paper",
2136           xanchor: "left",
2137           yanchor: "top",
2138           x: 0,
2139           y: -0.14,
2140           font: {
2141             family: "Consolas, Courier New",
2142             size: 13
2143           },
2144         },
2145         {
2146           text: "    Perfect     Measured     Limit",
2147           align: "left",
2148           showarrow: False,
2149           xref: "paper",
2150           yref: "paper",
2151           xanchor: "left",
2152           yanchor: "top",
2153           x: 0,
2154           y: -0.15,
2155           font: {
2156             family: "Consolas, Courier New",
2157             size: 13
2158           },
2159         },
2160       ]
2161
2162     plot-throughput-speedup-analysis-gbps:
2163       titlefont:
2164         size: 16
2165       xaxis:
2166         title: "<b>Number of Cores [Qty]</b>"
2167         titlefont:
2168           size: 14
2169         autorange: True
2170         fixedrange: False
2171         gridcolor: "rgb(230, 230, 230)"
2172         linecolor: "rgb(220, 220, 220)"
2173         linewidth: 1
2174         showgrid: True
2175         showline: True
2176         showticklabels: True
2177         tickcolor: "rgb(238, 238, 238)"
2178         tickmode: "linear"
2179         tickfont:
2180           size: 14
2181         zeroline: False
2182       yaxis:
2183         title: "<b>Packet Throughput [Gbps]</b>"
2184         titlefont:
2185           size: 14
2186         type: "linear"
2187         gridcolor: "rgb(230, 230, 230)"
2188         hoverformat: ".4s"
2189         linecolor: "rgb(220, 220, 220)"
2190         linewidth: 1
2191         showgrid: True
2192         showline: True
2193         showticklabels: True
2194         tickcolor: "rgb(220, 220, 220)"
2195         tickformat: ".4s"
2196         tickfont:
2197           size: 14
2198         zeroline: True
2199         rangemode: "tozero"
2200         range: [0,100]
2201       legend:
2202         orientation: "h"
2203         font:
2204           size: 14
2205         xanchor: "left"
2206         yanchor: "top"
2207         x: 0
2208         y: -0.2
2209         bgcolor: "rgba(255, 255, 255, 0)"
2210         bordercolor: "rgba(255, 255, 255, 0)"
2211         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2212       autosize: False
2213       margin:
2214           't': 50
2215           'b': 150
2216           'l': 85
2217           'r': 10
2218       showlegend: True
2219       width: 700
2220       height: 700
2221       paper_bgcolor: "#fff"
2222       plot_bgcolor: "#fff"
2223       hoverlabel:
2224         namelength: -1
2225       annotations: [
2226         {
2227           text: "_ _          __",
2228           align: "left",
2229           showarrow: False,
2230           xref: "paper",
2231           yref: "paper",
2232           xanchor: "left",
2233           yanchor: "top",
2234           x: 0,
2235           y: -0.13,
2236           font: {
2237             family: "Consolas, Courier New",
2238             size: 13
2239           },
2240         },
2241         {
2242           text: "    Perfect     Measured",
2243           align: "left",
2244           showarrow: False,
2245           xref: "paper",
2246           yref: "paper",
2247           xanchor: "left",
2248           yanchor: "top",
2249           x: 0,
2250           y: -0.15,
2251           font: {
2252             family: "Consolas, Courier New",
2253             size: 13
2254           },
2255         },
2256       ]
2257
2258     plot-throughput-speedup-analysis-cps:
2259       titlefont:
2260         size: 16
2261       xaxis:
2262         title: "<b>Number of Cores [Qty]</b>"
2263         titlefont:
2264           size: 14
2265         autorange: True
2266         fixedrange: False
2267         gridcolor: "rgb(230, 230, 230)"
2268         linecolor: "rgb(220, 220, 220)"
2269         linewidth: 1
2270         showgrid: True
2271         showline: True
2272         showticklabels: True
2273         tickcolor: "rgb(238, 238, 238)"
2274         tickmode: "linear"
2275         tickfont:
2276           size: 14
2277         zeroline: False
2278       yaxis:
2279         title: "<b>Connection Rate [Mcps]</b>"
2280         titlefont:
2281           size: 14
2282         type: "linear"
2283         gridcolor: "rgb(230, 230, 230)"
2284         hoverformat: ".4s"
2285         linecolor: "rgb(220, 220, 220)"
2286         linewidth: 1
2287         showgrid: True
2288         showline: True
2289         showticklabels: True
2290         tickcolor: "rgb(220, 220, 220)"
2291         tickformat: ".4s"
2292         tickfont:
2293           size: 14
2294         zeroline: True
2295         rangemode: "tozero"
2296         range: [0,100]
2297       legend:
2298         orientation: "h"
2299         font:
2300           size: 14
2301         xanchor: "left"
2302         yanchor: "top"
2303         x: 0
2304         y: -0.2
2305         bgcolor: "rgba(255, 255, 255, 0)"
2306         bordercolor: "rgba(255, 255, 255, 0)"
2307         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2308       autosize: False
2309       margin:
2310           't': 50
2311           'b': 150
2312           'l': 85
2313           'r': 10
2314       showlegend: True
2315       width: 700
2316       height: 700
2317       paper_bgcolor: "#fff"
2318       plot_bgcolor: "#fff"
2319       hoverlabel:
2320         namelength: -1
2321       annotations: [
2322         {
2323           text: "_ _          __",
2324           align: "left",
2325           showarrow: False,
2326           xref: "paper",
2327           yref: "paper",
2328           xanchor: "left",
2329           yanchor: "top",
2330           x: 0,
2331           y: -0.13,
2332           font: {
2333             family: "Consolas, Courier New",
2334             size: 13
2335           },
2336         },
2337         {
2338           text: "    Perfect     Measured",
2339           align: "left",
2340           showarrow: False,
2341           xref: "paper",
2342           yref: "paper",
2343           xanchor: "left",
2344           yanchor: "top",
2345           x: 0,
2346           y: -0.15,
2347           font: {
2348             family: "Consolas, Courier New",
2349             size: 13
2350           },
2351         },
2352       ]
2353
2354     plot-latency:
2355       titlefont:
2356         size: 16
2357       xaxis:
2358         title: "<b>Direction</b>"
2359         titlefont:
2360           size: 14
2361         autorange: True
2362         fixedrange: False
2363         gridcolor: "rgb(230, 230, 230)"
2364         linecolor: "rgb(220, 220, 220)"
2365         linewidth: 1
2366         showgrid: True
2367         showline: True
2368         showticklabels: False
2369         tickcolor: "rgb(220, 220, 220)"
2370         tickmode: "linear"
2371         tickfont:
2372           size: 14
2373         zeroline: False
2374       yaxis:
2375         title: "<b>Packet Latency [uSec]</b>"
2376         titlefont:
2377           size: 14
2378         type: "linear"
2379         gridcolor: "rgb(230, 230, 230)"
2380         hoverformat: ".4s"
2381         linecolor: "rgb(220, 220, 220)"
2382         linewidth: 1
2383         showgrid: True
2384         showline: True
2385         showticklabels: True
2386         tickcolor: "rgb(220, 220, 220)"
2387         tickformat: ".4s"
2388         tickfont:
2389           size: 14
2390         zeroline: True
2391         rangemode: "tozero"
2392       legend:
2393         orientation: "h"
2394         font:
2395           size: 14
2396         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2397       autosize: False
2398       margin:
2399           't': 50
2400           'b': 150
2401           'l': 80
2402           'r': 10
2403       showlegend: True
2404       width: 700
2405       height: 700
2406       paper_bgcolor: "#fff"
2407       plot_bgcolor: "#fff"
2408       hoverlabel:
2409         namelength: -1
2410
2411     plot-hdrh-latency:
2412       title:
2413         text: ""
2414         xanchor: "center"
2415         x: 0.5
2416         font:
2417           size: 16
2418       width: 700
2419       plot_bgcolor: "white"
2420       annotations:
2421         - font:
2422             size: 14
2423           showarrow: False
2424           text: "<b>Packet Latency [uSec]</b>"
2425           x: 1
2426           xanchor: "right"
2427           xref: "paper"
2428           y: -0.045
2429           yanchor: "top"
2430           yref: "paper"
2431         - font:
2432             size: 14
2433           showarrow: False
2434           text: "<b>Probability [%]</b>"
2435           textangle: 270
2436           x: -0.06
2437           xanchor: "center"
2438           xref: "paper"
2439           y: 0.5
2440           yanchor: "middle"
2441           yref: "paper"
2442         - font:
2443             size: 14
2444           showarrow: False
2445           text: "<b>Direction: E-W</b>"
2446           x: 0.24
2447           xanchor: "center"
2448           xref: "paper"
2449           y: 1.05
2450           yanchor: "bottom"
2451           yref: "paper"
2452         - font:
2453             size: 14
2454           showarrow: False
2455           text: "<b>Direction: W-E</b>"
2456           x: 0.74
2457           xanchor: "center"
2458           xref: "paper"
2459           y: 1.05
2460           yanchor: "bottom"
2461           yref: "paper"
2462
2463     plot-hdrh-latency-percentile:
2464       title:
2465         text: ""
2466         xanchor: "center"
2467         x: 0.5
2468         font:
2469           size: 16
2470       xaxis:
2471         type: "log"
2472         title: "<b>Percentile [%]</b>"
2473         titlefont:
2474           size: 14
2475         autorange: True
2476         fixedrange: False
2477         gridcolor: "rgb(230, 230, 230)"
2478         linecolor: "rgb(220, 220, 220)"
2479         linewidth: 1
2480         showgrid: True
2481         showline: True
2482         showticklabels: True
2483         tickcolor: "rgb(220, 220, 220)"
2484         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2485         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2486         tickfont:
2487           size: 14
2488       yaxis:
2489         title: "<b>Packet Latency [uSec]</b>"
2490         titlefont:
2491           size: 14
2492         gridcolor: "rgb(230, 230, 230)"
2493         linecolor: "rgb(220, 220, 220)"
2494         linewidth: 1
2495         showgrid: True
2496         showline: True
2497         showticklabels: True
2498         tickcolor: "rgb(220, 220, 220)"
2499         tickfont:
2500           size: 14
2501       autosize: False
2502       showlegend: True
2503       legend:
2504         traceorder: "normal"
2505         orientation: "h"
2506         font:
2507           size: 14
2508         xanchor: "left"
2509         yanchor: "top"
2510         x: 0
2511         y: -0.15
2512         bgcolor: "rgba(255, 255, 255, 0)"
2513         bordercolor: "rgba(255, 255, 255, 0)"
2514       width: 700
2515       height: 700
2516       paper_bgcolor: "white"
2517       plot_bgcolor: "white"
2518
2519     plot-hdrh-latency-by-percentile:
2520       title:
2521         text: "<b>Latency by Percentile Distribution</b>"
2522         xanchor: "center"
2523         x: 0.5
2524         font:
2525           size: 18
2526       showlegend: True
2527       legend:
2528         traceorder: "normal"
2529         orientation: "h"
2530         font:
2531           size: 16
2532         xanchor: "left"
2533         yanchor: "top"
2534         x: 0
2535         y: -0.2
2536         bgcolor: "rgba(255, 255, 255, 0)"
2537         bordercolor: "rgba(255, 255, 255, 0)"
2538       xaxis:
2539         type: "linear"
2540         title: "<b>Percentile [%]</b>"
2541         titlefont:
2542           size: 14
2543         autorange: False
2544         fixedrange: False
2545         range: [0, 100]
2546         gridcolor: "rgb(230, 230, 230)"
2547         linecolor: "rgb(220, 220, 220)"
2548         linewidth: 1
2549         showgrid: True
2550         showline: True
2551         showticklabels: True
2552         tickcolor: "rgb(220, 220, 220)"
2553         tickvals: [0, 25, 50, 75, 100]
2554         ticktext: [0, 25, 50, 75, 100]
2555         tickfont:
2556           size: 14
2557       yaxis:
2558         title: "<b>One-Way Latency per Direction [uSec]</b>"
2559         titlefont:
2560           size: 14
2561         gridcolor: "rgb(230, 230, 230)"
2562         linecolor: "rgb(220, 220, 220)"
2563         linewidth: 1
2564         showgrid: True
2565         showline: True
2566         showticklabels: True
2567         tickcolor: "rgb(220, 220, 220)"
2568         tickfont:
2569           size: 14
2570       width: 700
2571       height: 700
2572       paper_bgcolor: "white"
2573       plot_bgcolor: "white"
2574
2575 - type: "static"
2576   src-path: "{DIR[RST]}"
2577   dst-path: "{DIR[WORKING,SRC]}"
2578
2579 - type: "input"
2580   general:
2581     file-name: "output_info.xml.gz"
2582     file-format: ".gz"
2583     arch-file-format:
2584       - ".gz"
2585       - ".zip"
2586     download-path: "{job}/{build}/archives/{filename}"
2587     extract: "output.xml"
2588
2589     zip-file-name: "robot-plugin.zip"
2590     zip-file-format: ".zip"
2591     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2592     zip-extract: "robot-plugin/output.xml"
2593
2594   builds:
2595
2596     csit-vpp-perf-verify-2001-3n-hsw:
2597       - 17  # MRR sel
2598     csit-vpp-perf-report-iterative-2005-3n-hsw:
2599       - 20  # NDRPDR sel env 4
2600       - 21  # NDRPDR sel env 4
2601       - 22  # NDRPDR sel env 4
2602       - 23  # NDRPDR sel env 4
2603       - 24  # NDRPDR sel env 4
2604       - 25  # NDRPDR sel env 4
2605       - 26  # NDRPDR sel env 4
2606       - 27  # NDRPDR sel env 4
2607       - 28  # NDRPDR sel env 4
2608       - 29  # NDRPDR sel env 4
2609       - 30  # MRR env 4
2610       - 31  # NDRPDR sel 2001.0-4
2611       - 32  # NDRPDR sel 2001.0-4
2612       - 33  # NDRPDR sel 2001.0-4
2613       - 34  # NDRPDR sel 2001.0-4
2614       - 35  # NDRPDR sel 2001.0-4
2615       - 36  # NDRPDR sel 2001.0-4
2616       - 38  # NDRPDR sel 2001.0-4
2617     csit-vpp-perf-report-iterative-2009-3n-hsw:
2618       - 18  # rls2005 MRR iter env 5
2619       - 9   # rls2005 NDRPDR iter env 5
2620       - 10  # rls2005 NDRPDR iter env 5
2621       - 11  # rls2005 NDRPDR iter env 5
2622       - 12  # rls2005 NDRPDR iter env 5
2623       - 13  # rls2005 NDRPDR iter env 5
2624       - 14  # rls2005 NDRPDR iter env 5
2625       - 15  # rls2005 NDRPDR iter env 5
2626       - 16  # rls2005 NDRPDR iter env 5
2627       - 17  # rls2005 NDRPDR iter env 5
2628       - 19  # rls2005 NDRPDR iter env 5
2629       - 23  # rls2009 MRR iter env 5
2630       - 21  # rls2009 NDRPDR iter env 5
2631       - 22  # rls2009 NDRPDR iter env 5
2632       - 24  # rls2009 NDRPDR iter env 5
2633       - 25  # rls2009 NDRPDR iter env 5
2634       - 26  # rls2009 NDRPDR iter env 5
2635       - 27  # rls2009 NDRPDR iter env 5
2636       - 28  # rls2009 NDRPDR iter env 5
2637       - 29  # rls2009 NDRPDR iter env 5
2638       - 30  # rls2009 NDRPDR iter env 5
2639       - 31  # rls2009 NDRPDR iter env 5
2640       - 32  # rls2009 Hoststack iter env 5
2641       - 33  # rls2009 Hoststack iter env 5
2642       - 34  # rls2009 Hoststack iter env 5
2643       - 35  # rls2009 Hoststack iter env 5
2644       - 36  # rls2009 Hoststack iter env 5
2645       - 37  # rls2009 Hoststack iter env 5
2646       - 38  # rls2009 Hoststack iter env 5
2647       - 39  # rls2009 Hoststack iter env 5
2648       - 40  # rls2009 Hoststack iter env 5
2649       - 41  # rls2009 Hoststack iter env 5
2650     csit-vpp-perf-report-coverage-2009-3n-hsw:
2651       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2652       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2653       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2654       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2655       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2656       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2657       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2658       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2659       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2660       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2661       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2662       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2663       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2664       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2665       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2666       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2667       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2668       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2669       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2670       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2671       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2672       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2673       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2674       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2675       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2676       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2677       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2678       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2679       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2680       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2681       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2682       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2683       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2684       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2685       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2686
2687     csit-vpp-perf-verify-2001-3n-skx:
2688       - 50  # MRR sel
2689       - 53  # MRR sel addition
2690     csit-vpp-perf-report-iterative-2005-3n-skx:
2691       - 4   # NDRPDR sel
2692       - 5   # NDRPDR sel ??? all x710 failed
2693       - 33  # NDRPDR sel
2694       - 28  # NDRPDR sel
2695       - 34  # NDRPDR sel
2696       - 42  # NDRPDR sel env 4
2697       - 43  # NDRPDR sel env 4
2698       - 44  # NDRPDR sel env 4
2699       - 45  # NDRPDR sel env 4
2700       - 47  # NDRPDR sel env 4
2701       - 55  # NDRPDR sel env 4
2702       - 56  # NDRPDR sel env 4
2703       - 57  # NDRPDR sel env 4
2704       - 61  # NDRPDR sel env 4
2705       - 62  # NDRPDR sel env 4
2706       - 50  # NDRPDR sel 2001.0-4
2707       - 51  # NDRPDR sel 2001.0-4
2708       - 52  # NDRPDR sel 2001.0-4
2709       - 53  # NDRPDR sel 2001.0-4
2710       - 54  # NDRPDR sel 2001.0-4
2711       - 49  # MRR sel env 4
2712     csit-vpp-perf-report-iterative-2009-3n-skx:
2713       - 17  # rls2005 MRR iter env 5
2714       - 13  # rls2005 NDRPDR iter env 5
2715       - 18  # rls2005 NDRPDR iter env 5
2716       - 19  # rls2005 NDRPDR iter env 5
2717       - 41  # rls2005 NDRPDR iter env 5
2718       - 43  # rls2005 NDRPDR iter env 5
2719       - 44  # rls2005 NDRPDR iter env 5
2720       - 45  # rls2005 NDRPDR iter env 5
2721       - 46  # rls2005 NDRPDR iter env 5
2722       - 48  # rls2005 NDRPDR iter env 5
2723       - 49  # rls2005 NDRPDR iter env 5
2724       - 24  # rls2009 MRR iter env 5
2725       - 26  # rls2009 NDRPDR iter env 5
2726       - 27  # rls2009 NDRPDR iter env 5
2727       - 28  # rls2009 NDRPDR iter env 5
2728       - 29  # rls2009 NDRPDR iter env 5
2729       - 35  # rls2009 NDRPDR iter env 5
2730       - 36  # rls2009 NDRPDR iter env 5
2731       - 37  # rls2009 NDRPDR iter env 5
2732       - 38  # rls2009 NDRPDR iter env 5
2733       - 39  # rls2009 NDRPDR iter env 5
2734       - 40  # rls2009 NDRPDR iter env 5
2735     csit-vpp-perf-report-coverage-2009-3n-skx:
2736       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2737       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2738       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2739       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2740       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2741       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2742       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2743       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2744       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2745       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2746       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2747       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2748       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2749       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2750       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2751       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2752       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2753       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2754       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2755       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2756       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2757       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2758       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2759       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2760       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2761       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2762       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2763       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2764       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2765       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2766       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2767       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2768       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2769       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2770       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2771       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2772
2773     csit-vpp-perf-verify-2001-2n-skx:
2774       - 101  # MRR sel - old
2775       - 128  # MRR sel addition - old
2776     csit-vpp-perf-report-iterative-2005-2n-skx:
2777       - 88  # NDRPDR sel env 4
2778       - 89  # NDRPDR sel env 4
2779       - 90  # NDRPDR sel env 4
2780       - 91  # NDRPDR sel env 4
2781       - 92  # NDRPDR sel env 4
2782       - 93  # NDRPDR sel env 4
2783       - 94  # NDRPDR sel env 4
2784       - 125 # NDRPDR sel env 4
2785       - 126 # NDRPDR sel env 4
2786       - 127 # NDRPDR sel env 4
2787       - 100 # NDRPDR sel 2001.0-4
2788       - 101 # NDRPDR sel 2001.0-4
2789       - 102 # NDRPDR sel 2001.0-4
2790       - 103 # NDRPDR sel 2001.0-4
2791       - 104 # NDRPDR sel 2001.0-4
2792       - 105 # NDRPDR sel 2001.0-4
2793       - 99  # MRR sel env 4
2794     csit-vpp-perf-report-iterative-2009-2n-skx:
2795       - 20  # rls2005 MRR iter env 5
2796       - 13  # rls2005 NDRPDR iter env 5
2797       - 16  # rls2005 NDRPDR iter env 5
2798       - 17  # rls2005 NDRPDR iter env 5
2799       - 18  # rls2005 NDRPDR iter env 5
2800       - 19  # rls2005 NDRPDR iter env 5
2801       - 21  # rls2005 NDRPDR iter env 5
2802       - 22  # rls2005 NDRPDR iter env 5
2803       - 23  # rls2005 NDRPDR iter env 5
2804       - 24  # rls2005 NDRPDR iter env 5
2805       - 25  # rls2005 NDRPDR iter env 5
2806       - 120 # rls2009 MRR iter env 5
2807       - 35  # rls2009 NDRPDR iter env 5
2808       - 36  # rls2009 NDRPDR iter env 5
2809       - 37  # rls2009 NDRPDR iter env 5
2810       - 39  # rls2009 NDRPDR iter env 5
2811       - 40  # rls2009 NDRPDR iter env 5
2812       - 42  # rls2009 NDRPDR iter env 5
2813       - 43  # rls2009 NDRPDR iter env 5
2814       - 44  # rls2009 NDRPDR iter env 5
2815       - 46  # rls2009 NDRPDR iter env 5
2816       - 48  # rls2009 NDRPDR iter env 5
2817       - 110 # rls2009 NDRPDR iter NAT44 env 5
2818       - 111 # rls2009 NDRPDR iter NAT44 env 5
2819       - 112 # rls2009 NDRPDR iter NAT44 env 5
2820       - 113 # rls2009 NDRPDR iter NAT44 env 5
2821       - 114 # rls2009 NDRPDR iter NAT44 env 5
2822       - 115 # rls2009 NDRPDR iter NAT44 env 5
2823       - 116 # rls2009 NDRPDR iter NAT44 env 5
2824       - 118 # rls2009 NDRPDR iter NAT44 env 5
2825       - 119 # rls2009 NDRPDR iter NAT44 env 5
2826       - 121 # rls2009 NDRPDR iter NAT44 env 5
2827       - 38  # rls2009 nf-density iter env 5
2828       - 41  # rls2009 nf-density iter env 5
2829       - 45  # rls2009 nf-density iter env 5
2830       - 47  # rls2009 nf-density iter env 5
2831       - 49  # rls2009 nf-density iter env 5
2832       - 63  # rls2009 nf-density iter env 5
2833       - 65  # rls2009 nf-density iter env 5
2834       - 66  # rls2009 nf-density iter env 5
2835       - 71  # rls2009 nf-density iter env 5
2836       - 72  # rls2009 nf-density iter env 5
2837       - 50  # rls2009 MRR nf-density iter env 5
2838       - 27  # rls2009 reconf env 5
2839       - 28  # rls2009 reconf env 5
2840       - 29  # rls2009 reconf env 5
2841       - 30  # rls2009 reconf env 5
2842       - 31  # rls2009 reconf env 5
2843       - 32  # rls2009 reconf env 5
2844       - 61  # rls2009 reconf env 5
2845       - 62  # rls2009 reconf env 5
2846       - 68  # rls2009 reconf env 5
2847       - 70  # rls2009 reconf env 5
2848       - 33  # rls2009 soak env 5
2849       - 34  # rls2009 soak env 5
2850     csit-vpp-perf-report-coverage-2009-2n-skx:
2851       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2852       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2853       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2854       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2855       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2856       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2857       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2858       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2859       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2860       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2861       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2862       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2863       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2864       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2865       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2866       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2867       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2868
2869     csit-vpp-perf-verify-2001-2n-clx:
2870       - 39  # MRR
2871     csit-vpp-perf-report-iterative-2005-2n-clx:
2872       - 62  # NDRPDR sel env 4
2873       - 63  # NDRPDR sel env 4
2874       - 64  # NDRPDR sel env 4
2875       - 65  # NDRPDR sel env 4
2876       - 66  # NDRPDR sel env 4
2877       - 68  # NDRPDR sel env 4
2878       - 69  # NDRPDR sel env 4
2879       - 70  # NDRPDR sel env 4
2880       - 103 # NDRPDR sel env 4
2881       - 104 # NDRPDR sel env 4
2882       - 73  # NDRPDR sel 2001.0-4
2883       - 74  # NDRPDR sel 2001.0-4
2884       - 75  # NDRPDR sel 2001.0-4
2885       - 76  # NDRPDR sel 2001.0-4
2886       - 77  # NDRPDR sel 2001.0-4
2887       - 78  # NDRPDR sel 2001.0-4
2888       - 79  # NDRPDR sel 2001.0-4
2889       - 80  # NDRPDR sel 2001.0-4
2890       - 72  # MRR env 4
2891     csit-vpp-perf-report-iterative-2009-2n-clx:
2892       - 77  # rls2005 MRR iter env 5
2893       - 13  # rls2005 NDRPDR iter env 5
2894       - 15  # rls2005 NDRPDR iter env 5
2895       - 17  # rls2005 NDRPDR iter env 5
2896       - 18  # rls2005 NDRPDR iter env 5
2897       - 19  # rls2005 NDRPDR iter env 5
2898       - 20  # rls2005 NDRPDR iter env 5
2899       - 21  # rls2005 NDRPDR iter env 5
2900       - 22  # rls2005 NDRPDR iter env 5
2901       - 23  # rls2005 NDRPDR iter env 5
2902       - 24  # rls2005 NDRPDR iter env 5
2903       - 125 # rls2009 MRR iter env 5
2904       - 36  # rls2009 NDRPDR iter env 5
2905       - 39  # rls2009 NDRPDR iter env 5
2906       - 40  # rls2009 NDRPDR iter env 5
2907       - 65  # rls2009 NDRPDR iter env 5
2908       - 66  # rls2009 NDRPDR iter env 5
2909       - 79  # rls2009 NDRPDR iter env 5
2910       - 82  # rls2009 NDRPDR iter env 5
2911       - 88  # rls2009 NDRPDR iter env 5
2912       - 89  # rls2009 NDRPDR iter env 5
2913       - 90  # rls2009 NDRPDR iter env 5
2914       - 114 # rls2009 NDRPDR iter NAT44 env 5
2915       - 115 # rls2009 NDRPDR iter NAT44 env 5
2916       - 116 # rls2009 NDRPDR iter NAT44 env 5
2917       - 117 # rls2009 NDRPDR iter NAT44 env 5
2918       - 118 # rls2009 NDRPDR iter NAT44 env 5
2919       - 119 # rls2009 NDRPDR iter NAT44 env 5
2920       - 121 # rls2009 NDRPDR iter NAT44 env 5
2921       - 122 # rls2009 NDRPDR iter NAT44 env 5
2922       - 123 # rls2009 NDRPDR iter NAT44 env 5
2923       - 126 # rls2009 NDRPDR iter NAT44 env 5
2924       - 37  # rls2009 nf-density iter env 5
2925       - 43  # rls2009 nf-density iter env 5
2926       - 69  # rls2009 nf-density iter env 5
2927       - 70  # rls2009 nf-density iter env 5
2928       - 71  # rls2009 nf-density iter env 5
2929       - 72  # rls2009 nf-density iter env 5
2930       - 73  # rls2009 nf-density iter env 5
2931       - 74  # rls2009 nf-density iter env 5
2932       - 75  # rls2009 nf-density iter env 5
2933       - 76  # rls2009 nf-density iter env 5
2934       - 45  # rls2009 MRR nf-density iter env 5
2935       - 25  # rls2009 reconf env 5
2936       - 27  # rls2009 reconf env 5
2937       - 28  # rls2009 reconf env 5
2938       - 29  # rls2009 reconf env 5
2939       - 30  # rls2009 reconf env 5
2940       - 30  # rls2009 reconf env 5
2941       - 32  # rls2009 reconf env 5
2942       - 48  # rls2009 reconf env 5
2943       - 53  # rls2009 reconf env 5
2944       - 68  # rls2009 reconf env 5
2945       - 33  # rls2009 soak env 5
2946       - 34  # rls2009 soak env 5
2947     csit-vpp-perf-report-coverage-2009-2n-clx:
2948       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2949       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2950       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2951       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2952       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2953       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2954       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2955       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2956       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2957       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2958       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2959       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2960       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2961       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2962       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2963       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2964       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2965
2966     csit-vpp-perf-report-iterative-2009-2n-zn2:
2967       - 1   # rls2009 MRR turbo iter env 5
2968       - 3   # rls2009 NDRPDR turbo iter env 5
2969       - 4   # rls2009 NDRPDR turbo iter env 5
2970       - 6   # rls2009 NDRPDR turbo iter env 5
2971       - 7   # rls2009 NDRPDR turbo iter env 5
2972       - 8   # rls2009 NDRPDR turbo iter env 5
2973       - 9   # rls2009 NDRPDR turbo iter env 5
2974       - 10  # rls2009 NDRPDR turbo iter env 5
2975       - 11  # rls2009 NDRPDR turbo iter env 5
2976       - 15  # rls2009 MRR iter env 5
2977       - 17  # rls2009 NDRPDR iter env 5
2978       - 18  # rls2009 NDRPDR iter env 5
2979
2980     csit-vpp-perf-verify-2001-3n-tsh:
2981       - 9   # MRR sel
2982     csit-vpp-perf-report-iterative-2005-3n-tsh:
2983       - 23  # NDRPDR sel env 4
2984       - 25  # NDRPDR sel env 4
2985       - 33  # NDRPDR sel env 4
2986       - 34  # NDRPDR sel env 4
2987       - 35  # NDRPDR sel env 4
2988       - 36  # NDRPDR sel env 4
2989       - 37  # NDRPDR sel env 4
2990       - 38  # NDRPDR sel env 4
2991       - 39  # NDRPDR sel env 4
2992       - 40  # NDRPDR sel env 4
2993       - 28  # NDRPDR sel 2001.0-4
2994       - 29  # NDRPDR sel 2001.0-4
2995       - 31  # NDRPDR sel 2001.0-4
2996       - 27  # MRR sel env 4
2997     csit-vpp-perf-report-iterative-2009-3n-tsh:
2998       - 8   # rls2005 NDRPDR iter env 5
2999       - 11  # rls2005 NDRPDR iter env 5
3000       - 12  # rls2005 NDRPDR iter env 5
3001       - 24  # rls2005 NDRPDR iter env 5
3002       - 27  # rls2005 NDRPDR iter env 5
3003       - 29  # rls2005 NDRPDR iter env 5
3004       - 31  # rls2005 NDRPDR iter env 5
3005       - 39  # rls2005 NDRPDR iter env 5
3006       - 40  # rls2005 NDRPDR iter env 5
3007       - 42  # rls2005 NDRPDR iter env 5
3008       - 13  # rls2005 MRR iter env 5
3009       - 14  # rls2009 NDRPDR iter env 5
3010       - 20  # rls2009 NDRPDR iter env 5
3011       - 21  # rls2009 NDRPDR iter env 5
3012       - 22  # rls2009 NDRPDR iter env 5
3013       - 23  # rls2009 NDRPDR iter env 5
3014       - 28  # rls2009 NDRPDR iter env 5
3015       - 30  # rls2009 NDRPDR iter env 5
3016       - 33  # rls2009 NDRPDR iter env 5
3017       - 38  # rls2009 NDRPDR iter env 5
3018       - 41  # rls2009 NDRPDR iter env 5
3019       - 15  # rls2009 MRR iter env 5
3020
3021     csit-vpp-perf-verify-2001-3n-dnv:
3022       - 5   # NDRPDR sel
3023       - 6   # NDRPDR sel
3024       - 7   # NDRPDR sel
3025       - 8   # NDRPDR sel
3026       - 9   # NDRPDR sel
3027       - 10  # NDRPDR sel
3028       - 12  # NDRPDR sel
3029       - 16  # NDRPDR sel
3030       - 17  # NDRPDR sel
3031       - 18  # NDRPDR sel
3032       - 11  # MRR sel
3033     csit-vpp-perf-report-iterative-2009-3n-dnv:
3034       - 16  # rls2005 NDRPDR iter env 5
3035       - 23  # rls2005 NDRPDR iter env 5
3036       - 25  # rls2005 NDRPDR iter env 5
3037       - 26  # rls2005 NDRPDR iter env 5
3038       - 27  # rls2005 NDRPDR iter env 5
3039       - 28  # rls2005 NDRPDR iter env 5
3040       - 29  # rls2005 NDRPDR iter env 5
3041       - 30  # rls2005 NDRPDR iter env 5
3042       - 31  # rls2005 NDRPDR iter env 5
3043       - 32  # rls2005 NDRPDR iter env 5
3044       - 19  # rls2005 MRR iter env 5
3045       - 3   # rls2009 NDRPDR iter env 5
3046       - 6   # rls2009 NDRPDR iter env 5
3047       - 7   # rls2009 NDRPDR iter env 5
3048       - 8   # rls2009 NDRPDR iter env 5
3049       - 10  # rls2009 NDRPDR iter env 5
3050       - 11  # rls2009 NDRPDR iter env 5
3051       - 12  # rls2009 NDRPDR iter env 5
3052       - 14  # rls2009 NDRPDR iter env 5
3053       - 15  # rls2009 NDRPDR iter env 5
3054       - 24  # rls2009 NDRPDR iter env 5
3055       - 22  # rls2009 MRR iter env 5
3056     csit-vpp-perf-report-coverage-2009-3n-dnv:
3057       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3058       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3059       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3060       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3061       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3062       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3063       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3064       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3065       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3066
3067     csit-vpp-perf-verify-2001-2n-dnv:
3068       - 4   # NDRPDR sel
3069       - 5   # NDRPDR sel
3070       - 6   # NDRPDR sel
3071       - 7   # NDRPDR sel
3072       - 8   # NDRPDR sel
3073       - 9   # NDRPDR sel
3074       - 10  # NDRPDR sel
3075       - 11  # NDRPDR sel
3076       - 13  # NDRPDR sel
3077       - 16  # NDRPDR sel
3078       - 12  # MRR sel
3079     csit-vpp-perf-report-iterative-2009-2n-dnv:
3080       - 16  # rls2005 NDRPDR iter env 5
3081       - 17  # rls2005 NDRPDR iter env 5
3082       - 18  # rls2005 NDRPDR iter env 5
3083       - 19  # rls2005 NDRPDR iter env 5
3084       - 21  # rls2005 NDRPDR iter env 5
3085       - 24  # rls2005 NDRPDR iter env 5
3086       - 27  # rls2005 NDRPDR iter env 5
3087       - 28  # rls2005 NDRPDR iter env 5
3088       - 29  # rls2005 NDRPDR iter env 5
3089       - 30  # rls2005 NDRPDR iter env 5
3090       - 23  # rls2005 MRR iter env 5
3091       - 3   # rls2009 NDRPDR iter env 5
3092       - 5   # rls2009 NDRPDR iter env 5
3093       - 6   # rls2009 NDRPDR iter env 5
3094       - 7   # rls2009 NDRPDR iter env 5
3095       - 9   # rls2009 NDRPDR iter env 5
3096       - 10  # rls2009 NDRPDR iter env 5
3097       - 11  # rls2009 NDRPDR iter env 5
3098       - 12  # rls2009 NDRPDR iter env 5
3099       - 14  # rls2009 NDRPDR iter env 5
3100       - 15  # rls2009 NDRPDR iter env 5
3101       - 13  # rls2009 MRR iter env 5
3102     csit-vpp-perf-report-coverage-2009-2n-dnv:
3103       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3104       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3105       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3106       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3107       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3108       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3109
3110     csit-dpdk-perf-verify-2001-3n-hsw:
3111       - 4   # NDRPDR sel
3112       - 5   # NDRPDR sel
3113       - 6   # NDRPDR sel
3114       - 7   # NDRPDR sel
3115       - 8   # NDRPDR sel
3116       - 9   # NDRPDR sel
3117       - 10  # NDRPDR sel
3118       - 11  # NDRPDR sel
3119       - 12  # NDRPDR sel
3120       - 13  # NDRPDR sel
3121       - 15  # NDRPDR sel
3122       - 16  # NDRPDR sel
3123       - 17  # NDRPDR sel
3124       - 18  # NDRPDR sel
3125       - 19  # NDRPDR sel
3126       - 20  # NDRPDR sel
3127       - 21  # NDRPDR sel
3128       - 22  # NDRPDR sel
3129       - 23  # NDRPDR sel
3130       - 24  # NDRPDR sel
3131     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3132       - 25  # NDRPDR iter
3133       - 26  # NDRPDR iter
3134       - 27  # NDRPDR iter
3135       - 28  # NDRPDR iter
3136       - 29  # NDRPDR iter
3137       - 30  # NDRPDR iter
3138       - 31  # NDRPDR iter
3139       - 32  # NDRPDR iter
3140       - 33  # NDRPDR iter
3141       - 34  # NDRPDR iter
3142     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3143       - 6   # NDRPDR iter env5
3144       - 7   # NDRPDR iter env5
3145       - 8   # NDRPDR iter env5
3146       - 9   # NDRPDR iter env5
3147       - 10  # NDRPDR iter env5
3148       - 11  # NDRPDR iter env5
3149       - 12  # NDRPDR iter env5
3150       - 13  # NDRPDR iter env5
3151       - 14  # NDRPDR iter env5
3152       - 15  # NDRPDR iter env5
3153
3154     csit-dpdk-perf-verify-2001-3n-skx:
3155       - 29  # NDRPDR sel xxv710
3156       - 33  # NDRPDR sel xxv710
3157       - 34  # NDRPDR sel xxv710
3158       - 35  # NDRPDR sel xxv710
3159       - 36  # NDRPDR sel xxv710
3160       - 37  # NDRPDR sel xxv710
3161       - 41  # NDRPDR sel xxv710
3162       - 42  # NDRPDR sel xxv710
3163       - 43  # NDRPDR sel xxv710
3164       - 45  # NDRPDR sel xxv710
3165       - 30  # NDRPDR sel x710
3166       - 31  # NDRPDR sel x710
3167       - 32  # NDRPDR sel x710
3168       - 38  # NDRPDR sel x710
3169       - 39  # NDRPDR sel x710
3170       - 40  # NDRPDR sel x710
3171       - 44  # NDRPDR sel x710
3172       - 46  # NDRPDR sel x710
3173       - 47  # NDRPDR sel x710
3174       - 48  # NDRPDR sel x710
3175     csit-dpdk-perf-report-iterative-2005-3n-skx:
3176       - 28  # NDRPDR iter
3177       - 29  # NDRPDR iter
3178       - 30  # NDRPDR iter
3179       - 31  # NDRPDR iter
3180       - 32  # NDRPDR iter
3181       - 33  # NDRPDR iter
3182       - 34  # NDRPDR iter
3183       - 35  # NDRPDR iter
3184       - 36  # NDRPDR iter
3185       - 37  # NDRPDR iter
3186     csit-dpdk-perf-report-iterative-2009-3n-skx:
3187       - 4   # NDRPDR sel env5
3188       - 5   # NDRPDR sel env5
3189