resources/tools/presentation/specification.yaml

   1 - type: "environment"
   2
   3   paths:
   4     # Top level directories:
   5     ## Working directory
   6     DIR[WORKING]: "_tmp"
   7     ## Build directories
   8     DIR[BUILD,HTML]: "_build"
   9     DIR[BUILD,LATEX]: "_build_latex"
  10
  11     # Static .rst files
  12     DIR[RST]: "../../../docs/report"
  13
  14     # Working directories
  15     ## Input data files (.zip, .xml)
  16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  17     ## Static source files from git
  18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  20
  21     # Static html content
  22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  26
  27     # Detailed test results
  28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
  33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
  34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
  35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
  36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
  37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
  38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
  42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
  43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
  44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
  45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
  46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
  47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
  51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
  52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
  53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
  54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
  55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  56
  57     # Detailed test configurations
  58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
  60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
  64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
  65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
  66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
  67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
  68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
  69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
  73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
  74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
  75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
  76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
  77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  78
  79     # Detailed tests operational data
  80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
  82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
  86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
  87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
  88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
  89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
  90
  91     # Latencies:
  92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  94
  95     # .css patch file to fix tables generated by Sphinx
  96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  98
  99   urls:
 100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
 101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
 102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
 103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
 104     DIR[NEXUS,DOC]: "report/_static/archive"
 105
 106   make-dirs:
 107   # List the directories which are created while preparing the environment.
 108   # All directories MUST be defined in "paths" section.
 109   - "DIR[WORKING,DATA]"
 110   - "DIR[STATIC,VPP]"
 111   - "DIR[STATIC,DPDK]"
 112   - "DIR[STATIC,ARCH]"
 113   - "DIR[BUILD,LATEX]"
 114   - "DIR[WORKING,SRC]"
 115   - "DIR[WORKING,SRC,STATIC]"
 116
 117   remove-dirs:
 118   # List the directories which are deleted while cleaning the environment.
 119   # All directories MUST be defined in "paths" section.
 120   #- "DIR[BUILD,HTML]"
 121   - "DIR[WORKING,DATA]"
 122
 123   build-dirs:
 124   # List the directories where the results (build) is stored.
 125   # All directories MUST be defined in "paths" section.
 126   - "DIR[BUILD,HTML]"
 127   - "DIR[BUILD,LATEX]"
 128
 129 - type: "configuration"
 130
 131   mapping-file: "mapping_report.yaml"
 132
 133   limits:
 134     nic:
 135       x520: 24460000
 136       x553: 29761905
 137       x710: 35800000
 138       xxv710: 35800000
 139       xl710: 35800000
 140       cx556a: 148809523.81
 141
 142     link:
 143       10ge: 14880952.38
 144       25ge: 37202380.95
 145       40ge: 59523809.52
 146       100ge: 148809523.81
 147
 148     pci:
 149       pci-g3-x8: 74404761.90
 150       pci-g3-x16: 148809523.81
 151
 152   data-sets:
 153
 154     ###########################################################################
 155     # Plots:
 156
 157     # 3n-hsw
 158
 159     plot-vpp-throughput-lat-tsa-3n-hsw:
 160       csit-vpp-perf-report-iterative-2009-3n-hsw:
 161         - 21  # rls2009 NDRPDR iter env 5
 162         - 22  # rls2009 NDRPDR iter env 5
 163         - 24  # rls2009 NDRPDR iter env 5
 164         - 25  # rls2009 NDRPDR iter env 5
 165         - 26  # rls2009 NDRPDR iter env 5
 166         - 27  # rls2009 NDRPDR iter env 5
 167         - 28  # rls2009 NDRPDR iter env 5
 168         - 29  # rls2009 NDRPDR iter env 5
 169         - 30  # rls2009 NDRPDR iter env 5
 170         - 31  # rls2009 NDRPDR iter env 5
 171
 172     plot-vpp-hdrh-lat-3n-hsw:
 173       csit-vpp-perf-report-iterative-2009-3n-hsw:
 174         - 22  # rls2009 NDRPDR iter env 5
 175
 176     plot-vpp-hoststack-3n-hsw:
 177       csit-vpp-perf-report-iterative-2009-3n-hsw:
 178         - 32  # rls2009 Hoststack iter env 5
 179         - 33  # rls2009 Hoststack iter env 5
 180         - 34  # rls2009 Hoststack iter env 5
 181         - 35  # rls2009 Hoststack iter env 5
 182         - 36  # rls2009 Hoststack iter env 5
 183         - 37  # rls2009 Hoststack iter env 5
 184         - 38  # rls2009 Hoststack iter env 5
 185         - 39  # rls2009 Hoststack iter env 5
 186         - 40  # rls2009 Hoststack iter env 5
 187         - 41  # rls2009 Hoststack iter env 5
 188
 189     plot-dpdk-throughput-latency-3n-hsw:
 190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 191         - 6   # NDRPDR iter env5
 192         - 7   # NDRPDR iter env5
 193         - 8   # NDRPDR iter env5
 194         - 9   # NDRPDR iter env5
 195         - 10  # NDRPDR iter env5
 196         - 11  # NDRPDR iter env5
 197         - 12  # NDRPDR iter env5
 198         - 13  # NDRPDR iter env5
 199         - 14  # NDRPDR iter env5
 200         - 15  # NDRPDR iter env5
 201
 202     plot-dpdk-hdrh-lat-3n-hsw:
 203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 204         - 6   # NDRPDR iter env5
 205
 206     # 3n-skx
 207
 208     plot-vpp-throughput-lat-tsa-3n-skx:
 209       csit-vpp-perf-report-iterative-2009-3n-skx:
 210         - 26  # rls2009 NDRPDR iter env 5
 211         - 27  # rls2009 NDRPDR iter env 5
 212         - 28  # rls2009 NDRPDR iter env 5
 213         - 29  # rls2009 NDRPDR iter env 5
 214         - 35  # rls2009 NDRPDR iter env 5
 215         - 36  # rls2009 NDRPDR iter env 5
 216         - 37  # rls2009 NDRPDR iter env 5
 217         - 38  # rls2009 NDRPDR iter env 5
 218         - 39  # rls2009 NDRPDR iter env 5
 219         - 40  # rls2009 NDRPDR iter env 5
 220
 221     plot-vpp-hdrh-lat-3n-skx:
 222       csit-vpp-perf-report-iterative-2009-3n-skx:
 223         - 27  # rls2009 NDRPDR iter env 5
 224
 225 #    plot-vpp-nfv-3n-skx-ndrpdr:
 226 #      # No data
 227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 228
 229 #    plot-vpp-nfv-3n-skx-mrr:
 230 #      # No data
 231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 232
 233     plot-dpdk-throughput-latency-3n-skx:
 234       csit-dpdk-perf-report-iterative-2009-3n-skx:
 235         - 4   # NDRPDR sel env5
 236         - 5   # NDRPDR sel env5
 237         - 6   # NDRPDR sel env5
 238         - 7   # NDRPDR sel env5
 239         - 8   # NDRPDR sel env5
 240         - 9   # NDRPDR sel env5
 241         - 14  # NDRPDR sel env5
 242         - 11  # NDRPDR sel env5
 243         - 12  # NDRPDR sel env5
 244         - 13  # NDRPDR sel env5
 245
 246     plot-dpdk-hdrh-lat-3n-skx:
 247       csit-dpdk-perf-report-iterative-2009-3n-skx:
 248         - 4   # NDRPDR sel env5
 249
 250     # 2n-skx
 251
 252     plot-vpp-throughput-lat-tsa-2n-skx:
 253       csit-vpp-perf-report-iterative-2009-2n-skx:
 254         - 35  # rls2009 NDRPDR iter env 5
 255         - 36  # rls2009 NDRPDR iter env 5
 256         - 37  # rls2009 NDRPDR iter env 5
 257         - 39  # rls2009 NDRPDR iter env 5
 258         - 40  # rls2009 NDRPDR iter env 5
 259         - 42  # rls2009 NDRPDR iter env 5
 260         - 43  # rls2009 NDRPDR iter env 5
 261         - 44  # rls2009 NDRPDR iter env 5
 262         - 46  # rls2009 NDRPDR iter env 5
 263         - 48  # rls2009 NDRPDR iter env 5
 264         - 110 # rls2009 NDRPDR iter NAT44 env 5
 265         - 111 # rls2009 NDRPDR iter NAT44 env 5
 266         - 112 # rls2009 NDRPDR iter NAT44 env 5
 267         - 113 # rls2009 NDRPDR iter NAT44 env 5
 268         - 114 # rls2009 NDRPDR iter NAT44 env 5
 269         - 115 # rls2009 NDRPDR iter NAT44 env 5
 270         - 116 # rls2009 NDRPDR iter NAT44 env 5
 271         - 118 # rls2009 NDRPDR iter NAT44 env 5
 272         - 119 # rls2009 NDRPDR iter NAT44 env 5
 273         - 121 # rls2009 NDRPDR iter NAT44 env 5
 274
 275     plot-vpp-hdrh-lat-2n-skx:
 276       csit-vpp-perf-report-iterative-2009-2n-skx:
 277         - 35  # rls2009 NDRPDR iter env 5
 278
 279     plot-vpp-hdrh-lat-2n-skx-nat44:
 280       csit-vpp-perf-report-iterative-2009-2n-skx:
 281         - 110 # rls2009 NDRPDR iter NAT44 env 5
 282
 283     plot-vpp-soak-2n-skx:
 284       csit-vpp-perf-report-iterative-2009-2n-skx:
 285         - 33  # rls2009 soak env 5
 286         - 34  # rls2009 soak env 5
 287
 288     plot-vpp-nfv-2n-skx-ndrpdr:
 289       csit-vpp-perf-report-iterative-2009-2n-skx:
 290         - 38  # rls2009 nf-density iter env 5
 291         - 41  # rls2009 nf-density iter env 5
 292         - 45  # rls2009 nf-density iter env 5
 293         - 47  # rls2009 nf-density iter env 5
 294         - 49  # rls2009 nf-density iter env 5
 295         - 63  # rls2009 nf-density iter env 5
 296         - 65  # rls2009 nf-density iter env 5
 297         - 66  # rls2009 nf-density iter env 5
 298         - 71  # rls2009 nf-density iter env 5
 299         - 72  # rls2009 nf-density iter env 5
 300
 301     plot-vpp-nfv-2n-skx-mrr:
 302       csit-vpp-perf-report-iterative-2009-2n-skx:
 303         - 50  # rls2009 MRR nf-density iter env 5
 304
 305     plot-vpp-nfv-reconf-2n-skx:
 306       csit-vpp-perf-report-iterative-2009-2n-skx:
 307         - 27  # rls2009 reconf env 5
 308         - 28  # rls2009 reconf env 5
 309         - 29  # rls2009 reconf env 5
 310         - 30  # rls2009 reconf env 5
 311         - 31  # rls2009 reconf env 5
 312         - 32  # rls2009 reconf env 5
 313         - 61  # rls2009 reconf env 5
 314         - 62  # rls2009 reconf env 5
 315         - 68  # rls2009 reconf env 5
 316         - 70  # rls2009 reconf env 5
 317
 318     plot-dpdk-throughput-latency-2n-skx:
 319       csit-dpdk-perf-report-iterative-2009-2n-skx:
 320         - 4   # NDRPDR iter env5
 321         - 5   # NDRPDR iter env5
 322         - 6   # NDRPDR iter env5
 323         - 7   # NDRPDR iter env5
 324         - 8   # NDRPDR iter env5
 325         - 9   # NDRPDR iter env5
 326         - 10  # NDRPDR iter env5
 327         - 11  # NDRPDR iter env5
 328         - 12  # NDRPDR iter env5
 329         - 13  # NDRPDR iter env5
 330
 331     plot-dpdk-hdrh-lat-2n-skx:
 332       csit-dpdk-perf-report-iterative-2009-2n-skx:
 333         - 4   # NDRPDR iter env5
 334
 335     # 2n-zn2
 336
 337     plot-vpp-throughput-lat-tsa-2n-zn2-turbo:
 338       csit-vpp-perf-report-iterative-2009-2n-zn2:
 339         - 3   # rls2009 NDRPDR turbo iter env 5
 340         - 4   # rls2009 NDRPDR turbo iter env 5
 341         - 6   # rls2009 NDRPDR turbo iter env 5
 342         - 7   # rls2009 NDRPDR turbo iter env 5
 343         - 8   # rls2009 NDRPDR turbo iter env 5
 344         - 9   # rls2009 NDRPDR turbo iter env 5
 345         - 10  # rls2009 NDRPDR turbo iter env 5
 346         - 11  # rls2009 NDRPDR turbo iter env 5
 347
 348     plot-vpp-hdrh-lat-2n-zn2-turbo:
 349       csit-vpp-perf-report-iterative-2009-2n-zn2:
 350         - 3   # rls2009 NDRPDR turbo iter env 5
 351
 352     plot-dpdk-throughput-latency-2n-zn2-turbo:
 353       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 354         - 1   # NDRPDR turbo iter env5
 355
 356     plot-dpdk-hdrh-lat-2n-zn2-turbo:
 357       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 358         - 1   # NDRPDR turbo iter env5
 359
 360     plot-vpp-throughput-lat-tsa-2n-zn2:
 361       csit-vpp-perf-report-iterative-2009-2n-zn2:
 362         - 17  # rls2009 NDRPDR iter env 5
 363         - 18  # rls2009 NDRPDR iter env 5
 364
 365     plot-vpp-hdrh-lat-2n-zn2:
 366       csit-vpp-perf-report-iterative-2009-2n-zn2:
 367         - 18  # rls2009 NDRPDR iter env 5
 368
 369     plot-dpdk-throughput-latency-2n-zn2:
 370       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 371         - 1   # NDRPDR iter env5
 372
 373     plot-dpdk-hdrh-lat-2n-zn2:
 374       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 375         - 1   # NDRPDR iter env5
 376
 377     # 2n-clx
 378
 379     plot-vpp-throughput-lat-tsa-2n-clx:
 380       csit-vpp-perf-report-iterative-2009-2n-clx:
 381         - 36  # rls2009 NDRPDR iter env 5
 382         - 39  # rls2009 NDRPDR iter env 5
 383         - 40  # rls2009 NDRPDR iter env 5
 384         - 65  # rls2009 NDRPDR iter env 5
 385         - 66  # rls2009 NDRPDR iter env 5
 386         - 79  # rls2009 NDRPDR iter env 5
 387         - 82  # rls2009 NDRPDR iter env 5
 388         - 88  # rls2009 NDRPDR iter env 5
 389         - 89  # rls2009 NDRPDR iter env 5
 390         - 90  # rls2009 NDRPDR iter env 5
 391         - 114 # rls2009 NDRPDR iter NAT44 env 5
 392         - 115 # rls2009 NDRPDR iter NAT44 env 5
 393         - 116 # rls2009 NDRPDR iter NAT44 env 5
 394         - 117 # rls2009 NDRPDR iter NAT44 env 5
 395         - 118 # rls2009 NDRPDR iter NAT44 env 5
 396         - 119 # rls2009 NDRPDR iter NAT44 env 5
 397         - 121 # rls2009 NDRPDR iter NAT44 env 5
 398         - 122 # rls2009 NDRPDR iter NAT44 env 5
 399         - 123 # rls2009 NDRPDR iter NAT44 env 5
 400         - 126 # rls2009 NDRPDR iter NAT44 env 5
 401
 402     plot-vpp-hdrh-lat-2n-clx:
 403       csit-vpp-perf-report-iterative-2009-2n-clx:
 404         - 36  # rls2009 NDRPDR iter env 5
 405
 406     plot-vpp-hdrh-lat-2n-clx-nat44:
 407       csit-vpp-perf-report-iterative-2009-2n-clx:
 408         - 123 # rls2009 NDRPDR iter NAT44 env 5
 409
 410     plot-vpp-nfv-2n-clx-ndrpdr:
 411       csit-vpp-perf-report-iterative-2009-2n-clx:
 412         - 37  # rls2009 nf-density iter env 5
 413         - 43  # rls2009 nf-density iter env 5
 414         - 69  # rls2009 nf-density iter env 5
 415         - 70  # rls2009 nf-density iter env 5
 416         - 71  # rls2009 nf-density iter env 5
 417         - 72  # rls2009 nf-density iter env 5
 418         - 73  # rls2009 nf-density iter env 5
 419         - 74  # rls2009 nf-density iter env 5
 420         - 75  # rls2009 nf-density iter env 5
 421         - 76  # rls2009 nf-density iter env 5
 422
 423     plot-vpp-nfv-2n-clx-mrr:
 424       csit-vpp-perf-report-iterative-2009-2n-clx:
 425         - 45  # rls2009 MRR nf-density iter env 5
 426
 427     plot-vpp-nfv-reconf-2n-clx:
 428       csit-vpp-perf-report-iterative-2009-2n-clx:
 429         - 25  # rls2009 reconf env 5
 430         - 27  # rls2009 reconf env 5
 431         - 28  # rls2009 reconf env 5
 432         - 29  # rls2009 reconf env 5
 433         - 30  # rls2009 reconf env 5
 434         - 30  # rls2009 reconf env 5
 435         - 32  # rls2009 reconf env 5
 436         - 48  # rls2009 reconf env 5
 437         - 53  # rls2009 reconf env 5
 438         - 68  # rls2009 reconf env 5
 439
 440     plot-vpp-soak-2n-clx:
 441       csit-vpp-perf-report-iterative-2009-2n-clx:
 442         - 33  # rls2009 soak env 5
 443         - 34  # rls2009 soak env 5
 444
 445     plot-dpdk-throughput-latency-2n-clx:
 446       csit-dpdk-perf-report-iterative-2009-2n-clx:
 447         - 4   # NDRPDR iter env5
 448         - 5   # NDRPDR iter env5
 449         - 6   # NDRPDR iter env5
 450         - 7   # NDRPDR iter env5
 451         - 8   # NDRPDR iter env5
 452         - 9   # NDRPDR iter env5
 453         - 10  # NDRPDR iter env5
 454         - 11  # NDRPDR iter env5
 455         - 12  # NDRPDR iter env5
 456         - 13  # NDRPDR iter env5
 457
 458     plot-dpdk-hdrh-lat-2n-clx:
 459       csit-dpdk-perf-report-iterative-2009-2n-clx:
 460         - 4   # NDRPDR iter env5
 461
 462     # 3n-tsh
 463
 464     plot-vpp-throughput-lat-tsa-3n-tsh:
 465       csit-vpp-perf-report-iterative-2009-3n-tsh:
 466         - 14  # rls2009 NDRPDR iter env 5
 467         - 20  # rls2009 NDRPDR iter env 5
 468         - 21  # rls2009 NDRPDR iter env 5
 469         - 22  # rls2009 NDRPDR iter env 5
 470         - 23  # rls2009 NDRPDR iter env 5
 471         - 28  # rls2009 NDRPDR iter env 5
 472         - 30  # rls2009 NDRPDR iter env 5
 473         - 33  # rls2009 NDRPDR iter env 5
 474         - 38  # rls2009 NDRPDR iter env 5
 475         - 41  # rls2009 NDRPDR iter env 5
 476
 477     plot-vpp-hdrh-lat-3n-tsh:
 478       csit-vpp-perf-report-iterative-2009-3n-tsh:
 479         - 14  # rls2009 NDRPDR iter env 5
 480
 481     plot-dpdk-throughput-latency-3n-tsh:
 482       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 483         - 1   # NDRPDR iter env5
 484         - 2   # NDRPDR iter env5
 485         - 3   # NDRPDR iter env5
 486         - 4   # NDRPDR iter env5
 487         - 5   # NDRPDR iter env5
 488         - 6   # NDRPDR iter env5
 489         - 7   # NDRPDR iter env5
 490         - 9   # NDRPDR iter env5
 491         - 10  # NDRPDR iter env5
 492         - 11  # NDRPDR iter env5
 493
 494     plot-dpdk-hdrh-lat-3n-tsh:
 495       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 496         - 1   # NDRPDR iter env5
 497
 498     # 3n-dnv
 499
 500     plot-vpp-throughput-lat-tsa-3n-dnv:
 501       csit-vpp-perf-report-iterative-2009-3n-dnv:
 502         - 3   # rls2009 NDRPDR iter env 5
 503         - 6   # rls2009 NDRPDR iter env 5
 504         - 7   # rls2009 NDRPDR iter env 5
 505         - 8   # rls2009 NDRPDR iter env 5
 506         - 10  # rls2009 NDRPDR iter env 5
 507         - 11  # rls2009 NDRPDR iter env 5
 508         - 12  # rls2009 NDRPDR iter env 5
 509         - 14  # rls2009 NDRPDR iter env 5
 510         - 15  # rls2009 NDRPDR iter env 5
 511         - 24  # rls2009 NDRPDR iter env 5
 512
 513 #    plot-dpdk-throughput-latency-3n-dnv:
 514 #      # No data
 515 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 516
 517     # 2n-dnv
 518
 519     plot-vpp-throughput-lat-tsa-2n-dnv:
 520       csit-vpp-perf-report-iterative-2009-2n-dnv:
 521         - 3   # rls2009 NDRPDR iter env 5
 522         - 5   # rls2009 NDRPDR iter env 5
 523         - 6   # rls2009 NDRPDR iter env 5
 524         - 7   # rls2009 NDRPDR iter env 5
 525         - 9   # rls2009 NDRPDR iter env 5
 526         - 10  # rls2009 NDRPDR iter env 5
 527         - 11  # rls2009 NDRPDR iter env 5
 528         - 12  # rls2009 NDRPDR iter env 5
 529         - 14  # rls2009 NDRPDR iter env 5
 530         - 15  # rls2009 NDRPDR iter env 5
 531
 532 #    plot-dpdk-throughput-latency-2n-dnv:
 533 #      # No data
 534 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 535
 536     ###########################################################################
 537     # Simple tables (only one data set):
 538
 539     # NIC Comparisons
 540
 541     vpp-nic-comparison-3n-skx:
 542       csit-vpp-perf-report-iterative-2009-3n-skx:
 543         - 26  # rls2009 NDRPDR iter env 5
 544         - 27  # rls2009 NDRPDR iter env 5
 545         - 28  # rls2009 NDRPDR iter env 5
 546         - 29  # rls2009 NDRPDR iter env 5
 547         - 35  # rls2009 NDRPDR iter env 5
 548         - 36  # rls2009 NDRPDR iter env 5
 549         - 37  # rls2009 NDRPDR iter env 5
 550         - 38  # rls2009 NDRPDR iter env 5
 551         - 39  # rls2009 NDRPDR iter env 5
 552         - 40  # rls2009 NDRPDR iter env 5
 553
 554     vpp-nic-comparison-2n-skx:
 555       csit-vpp-perf-report-iterative-2009-2n-skx:
 556         - 35  # rls2009 NDRPDR iter env 5
 557         - 36  # rls2009 NDRPDR iter env 5
 558         - 37  # rls2009 NDRPDR iter env 5
 559         - 39  # rls2009 NDRPDR iter env 5
 560         - 40  # rls2009 NDRPDR iter env 5
 561         - 42  # rls2009 NDRPDR iter env 5
 562         - 43  # rls2009 NDRPDR iter env 5
 563         - 44  # rls2009 NDRPDR iter env 5
 564         - 46  # rls2009 NDRPDR iter env 5
 565         - 48  # rls2009 NDRPDR iter env 5
 566         - 110 # rls2009 NDRPDR iter NAT44 env 5
 567         - 111 # rls2009 NDRPDR iter NAT44 env 5
 568         - 112 # rls2009 NDRPDR iter NAT44 env 5
 569         - 113 # rls2009 NDRPDR iter NAT44 env 5
 570         - 114 # rls2009 NDRPDR iter NAT44 env 5
 571         - 115 # rls2009 NDRPDR iter NAT44 env 5
 572         - 116 # rls2009 NDRPDR iter NAT44 env 5
 573         - 118 # rls2009 NDRPDR iter NAT44 env 5
 574         - 119 # rls2009 NDRPDR iter NAT44 env 5
 575         - 121 # rls2009 NDRPDR iter NAT44 env 5
 576
 577     vpp-nic-comparison-3n-skx-mrr:
 578       csit-vpp-perf-report-iterative-2009-3n-skx:
 579         - 24  # rls2009 MRR iter env 5
 580
 581     vpp-nic-comparison-2n-skx-mrr:
 582       csit-vpp-perf-report-iterative-2009-2n-skx:
 583         - 120 # rls2009 MRR iter env 5
 584
 585     # Results
 586
 587     vpp-perf-results-3n-hsw:
 588       csit-vpp-perf-report-coverage-2009-3n-hsw:
 589         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
 590         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
 591         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
 592         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
 593         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
 594         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
 595         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
 596         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
 597         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
 598         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
 599         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
 600         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
 601         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
 602         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
 603         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
 604         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
 605         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
 606         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
 607         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
 608         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
 609         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
 610         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
 611         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
 612         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
 613         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
 614         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
 615         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
 616         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
 617         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
 618         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
 619         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
 620         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
 621         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
 622         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
 623         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
 624
 625     vpp-perf-results-3n-skx:
 626       csit-vpp-perf-report-coverage-2009-3n-skx:
 627         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
 628         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
 629         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
 630         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
 631         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
 632         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
 633         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
 634         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
 635         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
 636         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
 637         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
 638         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
 639         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
 640         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
 641         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
 642         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
 643         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
 644         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
 645         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
 646         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
 647         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
 648         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
 649         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
 650         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
 651         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
 652         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
 653         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
 654         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
 655         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
 656         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
 657         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
 658         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
 659         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
 660         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
 661         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
 662         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
 663
 664     vpp-perf-results-2n-skx:
 665       csit-vpp-perf-report-coverage-2009-2n-skx:
 666         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
 667         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
 668         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
 669         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
 670         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
 671         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
 672         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
 673         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
 674         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
 675         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
 676         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
 677         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
 678         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
 679         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
 680         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
 681         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
 682         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
 683
 684     vpp-perf-results-2n-zn2:
 685       csit-vpp-perf-report-iterative-2009-2n-zn2:
 686         - 18  # rls2009 NDRPDR iter env 5
 687
 688     vpp-perf-results-2n-clx:
 689       csit-vpp-perf-report-coverage-2009-2n-clx:
 690         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
 691         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
 692         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
 693         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
 694         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
 695         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
 696         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
 697         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
 698         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
 699         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
 700         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
 701         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
 702         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
 703         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
 704         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
 705         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
 706         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
 707
 708     vpp-perf-results-3n-tsh:
 709       csit-vpp-perf-report-iterative-2009-3n-tsh:
 710         - 14  # rls2009 NDRPDR iter env 5
 711
 712     vpp-perf-results-3n-dnv:
 713       csit-vpp-perf-report-coverage-2009-3n-dnv:
 714         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
 715         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
 716         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
 717         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
 718         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
 719         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
 720         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
 721         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
 722         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
 723
 724     vpp-perf-results-2n-dnv:
 725       csit-vpp-perf-report-coverage-2009-2n-dnv:
 726         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
 727         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
 728         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
 729         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
 730         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
 731         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
 732
 733     vpp-mrr-results-3n-hsw:
 734       csit-vpp-perf-report-iterative-2009-3n-hsw:
 735         - 23  # rls2009 MRR iter env 5
 736
 737     vpp-mrr-results-3n-skx:
 738       csit-vpp-perf-report-iterative-2009-3n-skx:
 739         - 24  # rls2009 MRR iter env 5
 740
 741     vpp-mrr-results-2n-skx:
 742       csit-vpp-perf-report-iterative-2009-2n-skx:
 743         - 120 # rls2009 MRR iter env 5
 744
 745     vpp-mrr-results-2n-zn2:
 746       csit-vpp-perf-report-iterative-2009-2n-zn2:
 747         - 15  # rls2009 MRR iter env 5
 748
 749     vpp-mrr-results-2n-clx:
 750       csit-vpp-perf-report-iterative-2009-2n-clx:
 751         - 125 # rls2009 MRR iter env 5
 752
 753     vpp-mrr-results-3n-tsh:
 754       csit-vpp-perf-report-iterative-2009-3n-tsh:
 755         - 15  # rls2009 MRR iter env 5
 756
 757     vpp-mrr-results-3n-dnv:
 758       csit-vpp-perf-report-iterative-2009-3n-dnv:
 759         - 22  # rls2009 MRR iter env 5
 760
 761     vpp-mrr-results-2n-dnv:
 762       csit-vpp-perf-report-iterative-2009-2n-dnv:
 763         - 13  # rls2009 MRR iter env 5
 764
 765     vpp-device-results-ubuntu:
 766       csit-vpp-device-2009-ubuntu1804-1n-skx:
 767         - 131 # rls2009 env 5
 768
 769     dpdk-perf-results-3n-hsw:
 770       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 771         - 6   # NDRPDR iter env5
 772
 773     dpdk-perf-results-3n-skx:
 774       csit-dpdk-perf-report-iterative-2009-3n-skx:
 775         - 4   # NDRPDR sel env5
 776
 777     dpdk-perf-results-2n-skx:
 778       csit-dpdk-perf-report-iterative-2009-2n-skx:
 779         - 4   # NDRPDR iter env5
 780
 781     dpdk-perf-results-2n-zn2:
 782       csit-dpdk-perf-report-iterative-2009-2n-zn2:
 783         - 1   # NDRPDR turbo iter env5
 784
 785     dpdk-perf-results-2n-clx:
 786       csit-dpdk-perf-report-iterative-2009-2n-clx:
 787         - 4   # NDRPDR iter env5
 788
 789 #    dpdk-perf-results-2n-dnv:
 790 #      # No data
 791 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 792
 793 #    dpdk-perf-results-3n-dnv:
 794 #      # No data
 795 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 796
 797     dpdk-perf-results-3n-tsh:
 798       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 799         - 1   # NDRPDR iter env5
 800
 801 ###########################################################################
 802     # Tables (more than one data set)
 803
 804     # Performance changes
 805
 806     vpp-performance-changes-3n-hsw-h1:
 807       csit-vpp-perf-report-iterative-2005-3n-hsw:
 808         - 31  # NDRPDR sel 2001.0-4
 809         - 32  # NDRPDR sel 2001.0-4
 810         - 33  # NDRPDR sel 2001.0-4
 811         - 34  # NDRPDR sel 2001.0-4
 812         - 35  # NDRPDR sel 2001.0-4
 813         - 36  # NDRPDR sel 2001.0-4
 814         - 38  # NDRPDR sel 2001.0-4
 815     vpp-performance-changes-3n-hsw-ref-env4:
 816       csit-vpp-perf-report-iterative-2005-3n-hsw:
 817         - 20  # NDRPDR sel env 4
 818         - 21  # NDRPDR sel env 4
 819         - 22  # NDRPDR sel env 4
 820         - 23  # NDRPDR sel env 4
 821         - 24  # NDRPDR sel env 4
 822         - 25  # NDRPDR sel env 4
 823         - 26  # NDRPDR sel env 4
 824         - 27  # NDRPDR sel env 4
 825         - 28  # NDRPDR sel env 4
 826         - 29  # NDRPDR sel env 4
 827     vpp-performance-changes-3n-hsw-ref-env5:
 828       csit-vpp-perf-report-iterative-2009-3n-hsw:
 829         - 9   # rls2005 NDRPDR iter env 5
 830         - 10  # rls2005 NDRPDR iter env 5
 831         - 11  # rls2005 NDRPDR iter env 5
 832         - 12  # rls2005 NDRPDR iter env 5
 833         - 13  # rls2005 NDRPDR iter env 5
 834         - 14  # rls2005 NDRPDR iter env 5
 835         - 15  # rls2005 NDRPDR iter env 5
 836         - 16  # rls2005 NDRPDR iter env 5
 837         - 17  # rls2005 NDRPDR iter env 5
 838         - 19  # rls2005 NDRPDR iter env 5
 839     vpp-performance-changes-3n-hsw-cmp:
 840       csit-vpp-perf-report-iterative-2009-3n-hsw:
 841         - 21  # rls2009 NDRPDR iter env 5
 842         - 22  # rls2009 NDRPDR iter env 5
 843         - 24  # rls2009 NDRPDR iter env 5
 844         - 25  # rls2009 NDRPDR iter env 5
 845         - 26  # rls2009 NDRPDR iter env 5
 846         - 27  # rls2009 NDRPDR iter env 5
 847         - 28  # rls2009 NDRPDR iter env 5
 848         - 29  # rls2009 NDRPDR iter env 5
 849         - 30  # rls2009 NDRPDR iter env 5
 850         - 31  # rls2009 NDRPDR iter env 5
 851
 852     vpp-performance-changes-3n-skx-h1:
 853       csit-vpp-perf-report-iterative-2005-3n-skx:
 854         - 50  # NDRPDR sel 2001.0-4
 855         - 51  # NDRPDR sel 2001.0-4
 856         - 52  # NDRPDR sel 2001.0-4
 857         - 53  # NDRPDR sel 2001.0-4
 858         - 54  # NDRPDR sel 2001.0-4
 859     vpp-performance-changes-3n-skx-ref-env4:
 860       csit-vpp-perf-report-iterative-2005-3n-skx:
 861         - 42  # NDRPDR sel env 4
 862         - 43  # NDRPDR sel env 4
 863         - 44  # NDRPDR sel env 4
 864         - 45  # NDRPDR sel env 4
 865         - 47  # NDRPDR sel env 4
 866         - 55  # NDRPDR sel env 4
 867         - 56  # NDRPDR sel env 4
 868         - 57  # NDRPDR sel env 4
 869         - 61  # NDRPDR sel env 4
 870         - 62  # NDRPDR sel env 4
 871     vpp-performance-changes-3n-skx-ref-env5:
 872       csit-vpp-perf-report-iterative-2009-3n-skx:
 873         - 13  # rls2005 NDRPDR iter env 5
 874         - 18  # rls2005 NDRPDR iter env 5
 875         - 19  # rls2005 NDRPDR iter env 5
 876         - 41  # rls2005 NDRPDR iter env 5
 877         - 43  # rls2005 NDRPDR iter env 5
 878         - 44  # rls2005 NDRPDR iter env 5
 879         - 45  # rls2005 NDRPDR iter env 5
 880         - 46  # rls2005 NDRPDR iter env 5
 881         - 48  # rls2005 NDRPDR iter env 5
 882         - 49  # rls2005 NDRPDR iter env 5
 883     vpp-performance-changes-3n-skx-cmp:
 884       csit-vpp-perf-report-iterative-2009-3n-skx:
 885         - 26  # rls2009 NDRPDR iter env 5
 886         - 27  # rls2009 NDRPDR iter env 5
 887         - 28  # rls2009 NDRPDR iter env 5
 888         - 29  # rls2009 NDRPDR iter env 5
 889         - 35  # rls2009 NDRPDR iter env 5
 890         - 36  # rls2009 NDRPDR iter env 5
 891         - 37  # rls2009 NDRPDR iter env 5
 892         - 38  # rls2009 NDRPDR iter env 5
 893         - 39  # rls2009 NDRPDR iter env 5
 894         - 40  # rls2009 NDRPDR iter env 5
 895
 896     vpp-performance-changes-2n-skx-h1:
 897       csit-vpp-perf-report-iterative-2005-2n-skx:
 898         - 100 # NDRPDR sel 2001.0-4
 899         - 101 # NDRPDR sel 2001.0-4
 900         - 102 # NDRPDR sel 2001.0-4
 901         - 103 # NDRPDR sel 2001.0-4
 902         - 104 # NDRPDR sel 2001.0-4
 903         - 105 # NDRPDR sel 2001.0-4
 904     vpp-performance-changes-2n-skx-ref-env4:
 905       csit-vpp-perf-report-iterative-2005-2n-skx:
 906         - 88  # NDRPDR sel env 4
 907         - 89  # NDRPDR sel env 4
 908         - 90  # NDRPDR sel env 4
 909         - 91  # NDRPDR sel env 4
 910         - 92  # NDRPDR sel env 4
 911         - 93  # NDRPDR sel env 4
 912         - 94  # NDRPDR sel env 4
 913         - 125 # NDRPDR sel env 4
 914         - 126 # NDRPDR sel env 4
 915         - 127 # NDRPDR sel env 4
 916     vpp-performance-changes-2n-skx-ref-env5:
 917       csit-vpp-perf-report-iterative-2009-2n-skx:
 918         - 13  # rls2005 NDRPDR iter env 5
 919         - 16  # rls2005 NDRPDR iter env 5
 920         - 17  # rls2005 NDRPDR iter env 5
 921         - 18  # rls2005 NDRPDR iter env 5
 922         - 19  # rls2005 NDRPDR iter env 5
 923         - 21  # rls2005 NDRPDR iter env 5
 924         - 22  # rls2005 NDRPDR iter env 5
 925         - 23  # rls2005 NDRPDR iter env 5
 926         - 24  # rls2005 NDRPDR iter env 5
 927         - 25  # rls2005 NDRPDR iter env 5
 928     vpp-performance-changes-2n-skx-cmp:
 929       csit-vpp-perf-report-iterative-2009-2n-skx:
 930         - 35  # rls2009 NDRPDR iter env 5
 931         - 36  # rls2009 NDRPDR iter env 5
 932         - 37  # rls2009 NDRPDR iter env 5
 933         - 39  # rls2009 NDRPDR iter env 5
 934         - 40  # rls2009 NDRPDR iter env 5
 935         - 42  # rls2009 NDRPDR iter env 5
 936         - 43  # rls2009 NDRPDR iter env 5
 937         - 44  # rls2009 NDRPDR iter env 5
 938         - 46  # rls2009 NDRPDR iter env 5
 939         - 48  # rls2009 NDRPDR iter env 5
 940         - 110 # rls2009 NDRPDR iter NAT44 env 5
 941         - 111 # rls2009 NDRPDR iter NAT44 env 5
 942         - 112 # rls2009 NDRPDR iter NAT44 env 5
 943         - 113 # rls2009 NDRPDR iter NAT44 env 5
 944         - 114 # rls2009 NDRPDR iter NAT44 env 5
 945         - 115 # rls2009 NDRPDR iter NAT44 env 5
 946         - 116 # rls2009 NDRPDR iter NAT44 env 5
 947         - 118 # rls2009 NDRPDR iter NAT44 env 5
 948         - 119 # rls2009 NDRPDR iter NAT44 env 5
 949         - 121 # rls2009 NDRPDR iter NAT44 env 5
 950
 951     vpp-performance-changes-2n-clx-h1:
 952       csit-vpp-perf-report-iterative-2005-2n-clx:
 953         - 73  # NDRPDR sel 2001.0-4
 954         - 74  # NDRPDR sel 2001.0-4
 955         - 75  # NDRPDR sel 2001.0-4
 956         - 76  # NDRPDR sel 2001.0-4
 957         - 77  # NDRPDR sel 2001.0-4
 958         - 78  # NDRPDR sel 2001.0-4
 959         - 79  # NDRPDR sel 2001.0-4
 960         - 80  # NDRPDR sel 2001.0-4
 961     vpp-performance-changes-2n-clx-ref-env4:
 962       csit-vpp-perf-report-iterative-2005-2n-clx:
 963         - 62  # NDRPDR sel env 4
 964         - 63  # NDRPDR sel env 4
 965         - 64  # NDRPDR sel env 4
 966         - 65  # NDRPDR sel env 4
 967         - 66  # NDRPDR sel env 4
 968         - 68  # NDRPDR sel env 4
 969         - 69  # NDRPDR sel env 4
 970         - 70  # NDRPDR sel env 4
 971         - 103 # NDRPDR sel env 4
 972         - 104 # NDRPDR sel env 4
 973     vpp-performance-changes-2n-clx-ref-env5:
 974       csit-vpp-perf-report-iterative-2009-2n-clx:
 975         - 13  # rls2005 NDRPDR iter env 5
 976         - 15  # rls2005 NDRPDR iter env 5
 977         - 17  # rls2005 NDRPDR iter env 5
 978         - 18  # rls2005 NDRPDR iter env 5
 979         - 19  # rls2005 NDRPDR iter env 5
 980         - 20  # rls2005 NDRPDR iter env 5
 981         - 21  # rls2005 NDRPDR iter env 5
 982         - 22  # rls2005 NDRPDR iter env 5
 983         - 23  # rls2005 NDRPDR iter env 5
 984         - 24  # rls2005 NDRPDR iter env 5
 985     vpp-performance-changes-2n-clx-cmp:
 986       csit-vpp-perf-report-iterative-2009-2n-clx:
 987         - 36  # rls2009 NDRPDR iter env 5
 988         - 39  # rls2009 NDRPDR iter env 5
 989         - 40  # rls2009 NDRPDR iter env 5
 990         - 65  # rls2009 NDRPDR iter env 5
 991         - 66  # rls2009 NDRPDR iter env 5
 992         - 79  # rls2009 NDRPDR iter env 5
 993         - 82  # rls2009 NDRPDR iter env 5
 994         - 88  # rls2009 NDRPDR iter env 5
 995         - 89  # rls2009 NDRPDR iter env 5
 996         - 90  # rls2009 NDRPDR iter env 5
 997         - 114 # rls2009 NDRPDR iter NAT44 env 5
 998         - 115 # rls2009 NDRPDR iter NAT44 env 5
 999         - 116 # rls2009 NDRPDR iter NAT44 env 5
1000         - 117 # rls2009 NDRPDR iter NAT44 env 5
1001         - 118 # rls2009 NDRPDR iter NAT44 env 5
1002         - 119 # rls2009 NDRPDR iter NAT44 env 5
1003         - 121 # rls2009 NDRPDR iter NAT44 env 5
1004         - 122 # rls2009 NDRPDR iter NAT44 env 5
1005         - 123 # rls2009 NDRPDR iter NAT44 env 5
1006         - 126 # rls2009 NDRPDR iter NAT44 env 5
1007
1008     vpp-performance-changes-2n-dnv-h1:
1009       csit-vpp-perf-verify-2001-2n-dnv:
1010         - 4   # NDRPDR sel
1011         - 5   # NDRPDR sel
1012         - 6   # NDRPDR sel
1013         - 7   # NDRPDR sel
1014         - 8   # NDRPDR sel
1015         - 9   # NDRPDR sel
1016         - 10  # NDRPDR sel
1017         - 11  # NDRPDR sel
1018         - 13  # NDRPDR sel
1019         - 16  # NDRPDR sel
1020     vpp-performance-changes-2n-dnv-ref:
1021       csit-vpp-perf-report-iterative-2009-2n-dnv:
1022         - 16  # rls2005 NDRPDR iter env 5
1023         - 17  # rls2005 NDRPDR iter env 5
1024         - 18  # rls2005 NDRPDR iter env 5
1025         - 19  # rls2005 NDRPDR iter env 5
1026         - 21  # rls2005 NDRPDR iter env 5
1027         - 24  # rls2005 NDRPDR iter env 5
1028         - 27  # rls2005 NDRPDR iter env 5
1029         - 28  # rls2005 NDRPDR iter env 5
1030         - 29  # rls2005 NDRPDR iter env 5
1031         - 30  # rls2005 NDRPDR iter env 5
1032     vpp-performance-changes-2n-dnv-cmp:
1033       csit-vpp-perf-report-iterative-2009-2n-dnv:
1034         - 3   # rls2009 NDRPDR iter env 5
1035         - 5   # rls2009 NDRPDR iter env 5
1036         - 6   # rls2009 NDRPDR iter env 5
1037         - 7   # rls2009 NDRPDR iter env 5
1038         - 9   # rls2009 NDRPDR iter env 5
1039         - 10  # rls2009 NDRPDR iter env 5
1040         - 11  # rls2009 NDRPDR iter env 5
1041         - 12  # rls2009 NDRPDR iter env 5
1042         - 14  # rls2009 NDRPDR iter env 5
1043         - 15  # rls2009 NDRPDR iter env 5
1044
1045     vpp-performance-changes-3n-dnv-h1:
1046       csit-vpp-perf-verify-2001-3n-dnv:
1047         - 5   # NDRPDR sel
1048         - 6   # NDRPDR sel
1049         - 7   # NDRPDR sel
1050         - 8   # NDRPDR sel
1051         - 9   # NDRPDR sel
1052         - 10  # NDRPDR sel
1053         - 12  # NDRPDR sel
1054         - 16  # NDRPDR sel
1055         - 17  # NDRPDR sel
1056         - 18  # NDRPDR sel
1057     vpp-performance-changes-3n-dnv-ref:
1058       csit-vpp-perf-report-iterative-2009-3n-dnv:
1059         - 16  # rls2005 NDRPDR iter env 5
1060         - 23  # rls2005 NDRPDR iter env 5
1061         - 25  # rls2005 NDRPDR iter env 5
1062         - 26  # rls2005 NDRPDR iter env 5
1063         - 27  # rls2005 NDRPDR iter env 5
1064         - 28  # rls2005 NDRPDR iter env 5
1065         - 29  # rls2005 NDRPDR iter env 5
1066         - 30  # rls2005 NDRPDR iter env 5
1067         - 31  # rls2005 NDRPDR iter env 5
1068         - 32  # rls2005 NDRPDR iter env 5
1069     vpp-performance-changes-3n-dnv-cmp:
1070       csit-vpp-perf-report-iterative-2009-3n-dnv:
1071         - 3   # rls2009 NDRPDR iter env 5
1072         - 6   # rls2009 NDRPDR iter env 5
1073         - 7   # rls2009 NDRPDR iter env 5
1074         - 8   # rls2009 NDRPDR iter env 5
1075         - 10  # rls2009 NDRPDR iter env 5
1076         - 11  # rls2009 NDRPDR iter env 5
1077         - 12  # rls2009 NDRPDR iter env 5
1078         - 14  # rls2009 NDRPDR iter env 5
1079         - 15  # rls2009 NDRPDR iter env 5
1080         - 24  # rls2009 NDRPDR iter env 5
1081
1082     vpp-performance-changes-3n-tsh-h1:
1083       csit-vpp-perf-report-iterative-2005-3n-tsh:
1084         - 28  # NDRPDR sel 2001.0-4
1085         - 29  # NDRPDR sel 2001.0-4
1086         - 31  # NDRPDR sel 2001.0-4
1087     vpp-performance-changes-3n-tsh-ref-env4:
1088       csit-vpp-perf-report-iterative-2005-3n-tsh:
1089         - 23  # NDRPDR sel env 4
1090         - 25  # NDRPDR sel env 4
1091         - 33  # NDRPDR sel env 4
1092         - 34  # NDRPDR sel env 4
1093         - 35  # NDRPDR sel env 4
1094         - 36  # NDRPDR sel env 4
1095         - 37  # NDRPDR sel env 4
1096         - 38  # NDRPDR sel env 4
1097         - 39  # NDRPDR sel env 4
1098         - 40  # NDRPDR sel env 4
1099     vpp-performance-changes-3n-tsh-ref-env5:
1100       csit-vpp-perf-report-iterative-2009-3n-tsh:
1101         - 8   # rls2005 NDRPDR iter env 5
1102         - 11  # rls2005 NDRPDR iter env 5
1103         - 12  # rls2005 NDRPDR iter env 5
1104         - 24  # rls2005 NDRPDR iter env 5
1105         - 27  # rls2005 NDRPDR iter env 5
1106         - 29  # rls2005 NDRPDR iter env 5
1107         - 31  # rls2005 NDRPDR iter env 5
1108         - 39  # rls2005 NDRPDR iter env 5
1109         - 40  # rls2005 NDRPDR iter env 5
1110         - 42  # rls2005 NDRPDR iter env 5
1111     vpp-performance-changes-3n-tsh-cmp:
1112       csit-vpp-perf-report-iterative-2009-3n-tsh:
1113         - 14  # rls2009 NDRPDR iter env 5
1114         - 20  # rls2009 NDRPDR iter env 5
1115         - 21  # rls2009 NDRPDR iter env 5
1116         - 22  # rls2009 NDRPDR iter env 5
1117         - 23  # rls2009 NDRPDR iter env 5
1118         - 28  # rls2009 NDRPDR iter env 5
1119         - 30  # rls2009 NDRPDR iter env 5
1120         - 33  # rls2009 NDRPDR iter env 5
1121         - 38  # rls2009 NDRPDR iter env 5
1122         - 41  # rls2009 NDRPDR iter env 5
1123
1124     vpp-soak-vs-ndr-2n-skx-ref:
1125       csit-vpp-perf-report-iterative-2009-2n-skx:
1126         - 35  # rls2009 NDRPDR iter env 5
1127         - 36  # rls2009 NDRPDR iter env 5
1128         - 37  # rls2009 NDRPDR iter env 5
1129         - 39  # rls2009 NDRPDR iter env 5
1130         - 40  # rls2009 NDRPDR iter env 5
1131         - 42  # rls2009 NDRPDR iter env 5
1132         - 43  # rls2009 NDRPDR iter env 5
1133         - 44  # rls2009 NDRPDR iter env 5
1134         - 46  # rls2009 NDRPDR iter env 5
1135         - 48  # rls2009 NDRPDR iter env 5
1136     vpp-soak-vs-ndr-2n-skx-cmp:
1137       csit-vpp-perf-report-iterative-2009-2n-skx:
1138         - 33  # rls2009 soak env 5
1139         - 34  # rls2009 soak env 5
1140     vpp-soak-vs-ndr-2n-skx:
1141       csit-vpp-perf-report-iterative-2009-2n-skx:
1142         - 35  # rls2009 NDRPDR iter env 5
1143         - 36  # rls2009 NDRPDR iter env 5
1144         - 37  # rls2009 NDRPDR iter env 5
1145         - 39  # rls2009 NDRPDR iter env 5
1146         - 40  # rls2009 NDRPDR iter env 5
1147         - 42  # rls2009 NDRPDR iter env 5
1148         - 43  # rls2009 NDRPDR iter env 5
1149         - 44  # rls2009 NDRPDR iter env 5
1150         - 46  # rls2009 NDRPDR iter env 5
1151         - 48  # rls2009 NDRPDR iter env 5
1152         - 33  # rls2009 soak env 5
1153         - 34  # rls2009 soak env 5
1154
1155     vpp-soak-vs-ndr-2n-clx-ref:
1156       csit-vpp-perf-report-iterative-2009-2n-clx:
1157         - 36  # rls2009 NDRPDR iter env 5
1158         - 39  # rls2009 NDRPDR iter env 5
1159         - 40  # rls2009 NDRPDR iter env 5
1160         - 65  # rls2009 NDRPDR iter env 5
1161         - 66  # rls2009 NDRPDR iter env 5
1162         - 79  # rls2009 NDRPDR iter env 5
1163         - 82  # rls2009 NDRPDR iter env 5
1164         - 88  # rls2009 NDRPDR iter env 5
1165         - 89  # rls2009 NDRPDR iter env 5
1166         - 90  # rls2009 NDRPDR iter env 5
1167     vpp-soak-vs-ndr-2n-clx-cmp:
1168       csit-vpp-perf-report-iterative-2009-2n-clx:
1169         - 33  # rls2009 soak env 5
1170         - 34  # rls2009 soak env 5
1171     vpp-soak-vs-ndr-2n-clx:
1172       csit-vpp-perf-report-iterative-2009-2n-clx:
1173         - 36  # rls2009 NDRPDR iter env 5
1174         - 39  # rls2009 NDRPDR iter env 5
1175         - 40  # rls2009 NDRPDR iter env 5
1176         - 65  # rls2009 NDRPDR iter env 5
1177         - 66  # rls2009 NDRPDR iter env 5
1178         - 79  # rls2009 NDRPDR iter env 5
1179         - 82  # rls2009 NDRPDR iter env 5
1180         - 88  # rls2009 NDRPDR iter env 5
1181         - 89  # rls2009 NDRPDR iter env 5
1182         - 90  # rls2009 NDRPDR iter env 5
1183         - 33  # rls2009 soak env 5
1184         - 34  # rls2009 soak env 5
1185
1186     vpp-performance-changes-3n-hsw-mrr-h1:
1187       csit-vpp-perf-verify-2001-3n-hsw:
1188         - 17  # MRR sel
1189     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1190       csit-vpp-perf-report-iterative-2005-3n-hsw:
1191         - 30  # MRR env 4
1192     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1193       csit-vpp-perf-report-iterative-2009-3n-hsw:
1194         - 18  # rls2005 MRR iter env 5
1195     vpp-performance-changes-3n-hsw-mrr-cmp:
1196       csit-vpp-perf-report-iterative-2009-3n-hsw:
1197         - 23  # rls2009 MRR iter env 5
1198
1199     vpp-performance-changes-3n-skx-mrr-h1:
1200       csit-vpp-perf-verify-2001-3n-skx:
1201         - 50  # MRR sel
1202         - 53  # MRR sel addition
1203     vpp-performance-changes-3n-skx-mrr-ref-env4:
1204       csit-vpp-perf-report-iterative-2005-3n-skx:
1205         - 49  # MRR sel env 4
1206     vpp-performance-changes-3n-skx-mrr-ref-env5:
1207       csit-vpp-perf-report-iterative-2009-3n-skx:
1208         - 17  # rls2005 MRR iter env 5
1209     vpp-performance-changes-3n-skx-mrr-cmp:
1210       csit-vpp-perf-report-iterative-2009-3n-skx:
1211         - 24  # rls2009 MRR iter env 5
1212
1213     vpp-performance-changes-2n-skx-mrr-h1:
1214       csit-vpp-perf-verify-2001-2n-skx:
1215         - 101 # MRR sel
1216         - 128 # MRR sel addition
1217     vpp-performance-changes-2n-skx-mrr-ref-env4:
1218       csit-vpp-perf-report-iterative-2005-2n-skx:
1219         - 99  # MRR sel env 4
1220     vpp-performance-changes-2n-skx-mrr-ref-env5:
1221       csit-vpp-perf-report-iterative-2009-2n-skx:
1222         - 20  # rls2005 MRR iter env 5
1223     vpp-performance-changes-2n-skx-mrr-cmp:
1224       csit-vpp-perf-report-iterative-2009-2n-skx:
1225         - 120 # rls2009 MRR iter env 5
1226
1227     vpp-performance-changes-2n-clx-mrr-h1:
1228       csit-vpp-perf-verify-2001-2n-clx:
1229         - 39  # MRR
1230     vpp-performance-changes-2n-clx-mrr-ref-env4:
1231       csit-vpp-perf-report-iterative-2005-2n-clx:
1232         - 72   # MRR sel env 4
1233     vpp-performance-changes-2n-clx-mrr-ref-env5:
1234       csit-vpp-perf-report-iterative-2009-2n-clx:
1235         - 77  # rls2005 MRR iter env 5
1236     vpp-performance-changes-2n-clx-mrr-cmp:
1237       csit-vpp-perf-report-iterative-2009-2n-clx:
1238         - 125 # rls2009 MRR iter env 5
1239
1240     vpp-performance-changes-2n-dnv-mrr-h1:
1241       csit-vpp-perf-verify-2001-2n-dnv:
1242         - 12  # MRR sel
1243     vpp-performance-changes-2n-dnv-mrr-ref:
1244       csit-vpp-perf-report-iterative-2009-2n-dnv:
1245         - 23  # rls2005 MRR iter env 5
1246     vpp-performance-changes-2n-dnv-mrr-cmp:
1247       csit-vpp-perf-report-iterative-2009-2n-dnv:
1248         - 13  # rls2009 MRR iter env 5
1249
1250     vpp-performance-changes-3n-dnv-mrr-h1:
1251       csit-vpp-perf-verify-2001-3n-dnv:
1252         - 11  # MRR sel
1253     vpp-performance-changes-3n-dnv-mrr-ref:
1254       csit-vpp-perf-report-iterative-2009-3n-dnv:
1255         - 19  # rls2005 MRR iter env 5
1256     vpp-performance-changes-3n-dnv-mrr-cmp:
1257       csit-vpp-perf-report-iterative-2009-3n-dnv:
1258         - 22  # rls2009 MRR iter env 5
1259
1260     vpp-performance-changes-3n-tsh-mrr-h1:
1261       csit-vpp-perf-verify-2001-3n-tsh:
1262         - 9   # MRR sel
1263     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1264       csit-vpp-perf-report-iterative-2005-3n-tsh:
1265         - 27  # MRR sel env 4
1266     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1267       csit-vpp-perf-report-iterative-2009-3n-tsh:
1268         - 13  # rls2005 MRR iter env 5
1269     vpp-performance-changes-3n-tsh-mrr-cmp:
1270       csit-vpp-perf-report-iterative-2009-3n-tsh:
1271         - 15  # rls2009 MRR iter env 5
1272
1273     dpdk-performance-changes-3n-hsw-h1:
1274       csit-dpdk-perf-verify-2001-3n-hsw:
1275         - 4   # NDRPDR sel
1276         - 5   # NDRPDR sel
1277         - 6   # NDRPDR sel
1278         - 7   # NDRPDR sel
1279         - 8   # NDRPDR sel
1280         - 9   # NDRPDR sel
1281         - 10  # NDRPDR sel
1282         - 11  # NDRPDR sel
1283         - 12  # NDRPDR sel
1284         - 13  # NDRPDR sel
1285         - 15  # NDRPDR sel
1286         - 16  # NDRPDR sel
1287         - 17  # NDRPDR sel
1288         - 18  # NDRPDR sel
1289         - 19  # NDRPDR sel
1290         - 20  # NDRPDR sel
1291         - 21  # NDRPDR sel
1292         - 22  # NDRPDR sel
1293         - 23  # NDRPDR sel
1294         - 24  # NDRPDR sel
1295     dpdk-performance-changes-3n-hsw-ref:
1296       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1297         - 25  # NDRPDR iter
1298         - 26  # NDRPDR iter
1299         - 27  # NDRPDR iter
1300         - 28  # NDRPDR iter
1301         - 29  # NDRPDR iter
1302         - 30  # NDRPDR iter
1303         - 31  # NDRPDR iter
1304         - 32  # NDRPDR iter
1305         - 33  # NDRPDR iter
1306         - 34  # NDRPDR iter
1307     dpdk-performance-changes-3n-hsw-cmp:
1308       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1309         - 6   # NDRPDR iter env5
1310         - 7   # NDRPDR iter env5
1311         - 8   # NDRPDR iter env5
1312         - 9   # NDRPDR iter env5
1313         - 10  # NDRPDR iter env5
1314         - 11  # NDRPDR iter env5
1315         - 12  # NDRPDR iter env5
1316         - 13  # NDRPDR iter env5
1317         - 14  # NDRPDR iter env5
1318         - 15  # NDRPDR iter env5
1319
1320     dpdk-performance-changes-3n-skx-h1:
1321       csit-dpdk-perf-verify-2001-3n-skx:
1322         - 29  # NDRPDR sel xxv710
1323         - 33  # NDRPDR sel xxv710
1324         - 34  # NDRPDR sel xxv710
1325         - 35  # NDRPDR sel xxv710
1326         - 36  # NDRPDR sel xxv710
1327         - 37  # NDRPDR sel xxv710
1328         - 41  # NDRPDR sel xxv710
1329         - 42  # NDRPDR sel xxv710
1330         - 43  # NDRPDR sel xxv710
1331         - 45  # NDRPDR sel xxv710
1332         - 30  # NDRPDR sel x710
1333         - 31  # NDRPDR sel x710
1334         - 32  # NDRPDR sel x710
1335         - 38  # NDRPDR sel x710
1336         - 39  # NDRPDR sel x710
1337         - 40  # NDRPDR sel x710
1338         - 44  # NDRPDR sel x710
1339         - 46  # NDRPDR sel x710
1340         - 47  # NDRPDR sel x710
1341         - 48  # NDRPDR sel x710
1342     dpdk-performance-changes-3n-skx-ref:
1343       csit-dpdk-perf-report-iterative-2005-3n-skx:
1344         - 28  # NDRPDR iter
1345         - 29  # NDRPDR iter
1346         - 30  # NDRPDR iter
1347         - 31  # NDRPDR iter
1348         - 32  # NDRPDR iter
1349         - 33  # NDRPDR iter
1350         - 34  # NDRPDR iter
1351         - 35  # NDRPDR iter
1352         - 36  # NDRPDR iter
1353         - 37  # NDRPDR iter
1354     dpdk-performance-changes-3n-skx-cmp:
1355       csit-dpdk-perf-report-iterative-2009-3n-skx:
1356         - 4   # NDRPDR sel env5
1357         - 5   # NDRPDR sel env5
1358         - 6   # NDRPDR sel env5
1359         - 7   # NDRPDR sel env5
1360         - 8   # NDRPDR sel env5
1361         - 9   # NDRPDR sel env5
1362         - 14  # NDRPDR sel env5
1363         - 11  # NDRPDR sel env5
1364         - 12  # NDRPDR sel env5
1365         - 13  # NDRPDR sel env5
1366
1367     dpdk-performance-changes-2n-skx-h1:
1368       csit-dpdk-perf-verify-2001-2n-skx:
1369         - 35  # NDRPDR sel xxv710
1370         - 36  # NDRPDR sel xxv710
1371         - 37  # NDRPDR sel xxv710
1372         - 41  # NDRPDR sel xxv710
1373         - 42  # NDRPDR sel xxv710
1374         - 43  # NDRPDR sel xxv710
1375         - 46  # NDRPDR sel xxv710
1376         - 47  # NDRPDR sel xxv710
1377         - 52  # NDRPDR sel xxv710
1378         - 53  # NDRPDR sel xxv710
1379         - 38  # NDRPDR sel x710
1380         - 39  # NDRPDR sel x710
1381         - 40  # NDRPDR sel x710
1382         - 44  # NDRPDR sel x710
1383         - 45  # NDRPDR sel x710
1384         - 48  # NDRPDR sel x710
1385         - 49  # NDRPDR sel x710
1386         - 50  # NDRPDR sel x710
1387         - 51  # NDRPDR sel x710
1388         - 54  # NDRPDR sel x710
1389     dpdk-performance-changes-2n-skx-ref:
1390       csit-dpdk-perf-report-iterative-2005-2n-skx:
1391         - 20  # NDRPDR iter
1392         - 21  # NDRPDR iter
1393         - 22  # NDRPDR iter
1394         - 23  # NDRPDR iter
1395         - 24  # NDRPDR iter
1396         - 25  # NDRPDR iter
1397         - 26  # NDRPDR iter
1398         - 27  # NDRPDR iter
1399         - 28  # NDRPDR iter
1400         - 29  # NDRPDR iter
1401     dpdk-performance-changes-2n-skx-cmp:
1402       csit-dpdk-perf-report-iterative-2009-2n-skx:
1403         - 4   # NDRPDR iter env5
1404         - 5   # NDRPDR iter env5
1405         - 6   # NDRPDR iter env5
1406         - 7   # NDRPDR iter env5
1407         - 8   # NDRPDR iter env5
1408         - 9   # NDRPDR iter env5
1409         - 10  # NDRPDR iter env5
1410         - 11  # NDRPDR iter env5
1411         - 12  # NDRPDR iter env5
1412         - 13  # NDRPDR iter env5
1413
1414     dpdk-performance-changes-2n-clx-h1:
1415       csit-dpdk-perf-verify-2001-2n-clx:
1416         - 15  # NDRPDR sel
1417         - 16  # NDRPDR sel
1418         - 17  # NDRPDR sel
1419         - 18  # NDRPDR sel
1420         - 19  # NDRPDR sel
1421         - 20  # NDRPDR sel
1422         - 21  # NDRPDR sel
1423         - 22  # NDRPDR sel
1424         - 23  # NDRPDR sel
1425         - 24  # NDRPDR sel
1426         - 25  # NDRPDR sel
1427         - 26  # NDRPDR sel
1428         - 27  # NDRPDR sel
1429         - 28  # NDRPDR sel
1430         - 29  # NDRPDR sel
1431         - 30  # NDRPDR sel
1432         - 31  # NDRPDR sel
1433         - 32  # NDRPDR sel
1434         - 33  # NDRPDR sel
1435         - 34  # NDRPDR sel
1436     dpdk-performance-changes-2n-clx-ref:
1437       csit-dpdk-perf-report-iterative-2005-2n-clx:
1438         - 20  # NDRPDR iter
1439         - 21  # NDRPDR iter
1440         - 22  # NDRPDR iter
1441         - 23  # NDRPDR iter
1442         - 24  # NDRPDR iter
1443         - 25  # NDRPDR iter
1444         - 26  # NDRPDR iter
1445         - 27  # NDRPDR iter
1446         - 28  # NDRPDR iter
1447         - 29  # NDRPDR iter
1448     dpdk-performance-changes-2n-clx-cmp:
1449       csit-dpdk-perf-report-iterative-2009-2n-clx:
1450         - 4   # NDRPDR iter env5
1451         - 5   # NDRPDR iter env5
1452         - 6   # NDRPDR iter env5
1453         - 7   # NDRPDR iter env5
1454         - 8   # NDRPDR iter env5
1455         - 9   # NDRPDR iter env5
1456         - 10  # NDRPDR iter env5
1457         - 11  # NDRPDR iter env5
1458         - 12  # NDRPDR iter env5
1459         - 13  # NDRPDR iter env5
1460
1461 #    dpdk-performance-changes-2n-dnv-h1:
1462 #      csit-dpdk-perf-verify-2001-2n-dnv:
1463 #        - 9   # NDRPDR sel
1464 #        - 10  # NDRPDR sel
1465 #        - 11  # NDRPDR sel
1466 #        - 12  # NDRPDR sel
1467 #        - 13  # NDRPDR sel
1468 #        - 14  # NDRPDR sel
1469 #        - 15  # NDRPDR sel
1470 #        - 16  # NDRPDR sel
1471 #        - 17  # NDRPDR sel
1472 #        - 18  # NDRPDR sel
1473 #    dpdk-performance-changes-2n-dnv-ref:
1474 #      # No data
1475 #    dpdk-performance-changes-2n-dnv-cmp:
1476 #      # No data
1477 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1478
1479 #    dpdk-performance-changes-3n-dnv-h1:
1480 #      csit-dpdk-perf-verify-2001-3n-dnv:
1481 #        - 12  # NDRPDR sel
1482 #        - 13  # NDRPDR sel
1483 #        - 14  # NDRPDR sel
1484 #        - 15  # NDRPDR sel
1485 #        - 16  # NDRPDR sel
1486 #        - 17  # NDRPDR sel
1487 #        - 18  # NDRPDR sel
1488 #        - 19  # NDRPDR sel
1489 #        - 20  # NDRPDR sel
1490 #        - 22  # NDRPDR sel
1491 #    dpdk-performance-changes-3n-dnv-ref:
1492 #      # No data
1493 #    dpdk-performance-changes-3n-dnv-cmp:
1494 #      # No data
1495 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1496
1497     dpdk-performance-changes-3n-tsh-h1:
1498       csit-dpdk-perf-verify-2001-3n-tsh:
1499         - 3   # NDRPDR sel
1500         - 4   # NDRPDR sel
1501         - 5   # NDRPDR sel
1502         - 9   # NDRPDR sel
1503         - 10  # NDRPDR sel
1504         - 11  # NDRPDR sel
1505         - 12  # NDRPDR sel
1506         - 14  # NDRPDR sel
1507         - 15  # NDRPDR sel
1508         - 18  # NDRPDR sel
1509     dpdk-performance-changes-3n-tsh-ref:
1510       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1511         - 5   # NDRPDR sel
1512     dpdk-performance-changes-3n-tsh-cmp:
1513       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1514         - 1   # NDRPDR iter env5
1515         - 2   # NDRPDR iter env5
1516         - 3   # NDRPDR iter env5
1517         - 4   # NDRPDR iter env5
1518         - 5   # NDRPDR iter env5
1519         - 6   # NDRPDR iter env5
1520         - 7   # NDRPDR iter env5
1521         - 9   # NDRPDR iter env5
1522         - 10  # NDRPDR iter env5
1523         - 11  # NDRPDR iter env5
1524
1525     # Compare testbeds
1526
1527     vpp-compare-testbeds-ref:
1528       csit-vpp-perf-report-iterative-2009-3n-hsw:
1529         - 21  # rls2009 NDRPDR iter env 5
1530         - 22  # rls2009 NDRPDR iter env 5
1531         - 24  # rls2009 NDRPDR iter env 5
1532         - 25  # rls2009 NDRPDR iter env 5
1533         - 26  # rls2009 NDRPDR iter env 5
1534         - 27  # rls2009 NDRPDR iter env 5
1535         - 28  # rls2009 NDRPDR iter env 5
1536         - 29  # rls2009 NDRPDR iter env 5
1537         - 30  # rls2009 NDRPDR iter env 5
1538         - 31  # rls2009 NDRPDR iter env 5
1539     vpp-compare-testbeds-cmp:
1540       csit-vpp-perf-report-iterative-2009-3n-skx:
1541         - 26  # rls2009 NDRPDR iter env 5
1542         - 27  # rls2009 NDRPDR iter env 5
1543         - 28  # rls2009 NDRPDR iter env 5
1544         - 29  # rls2009 NDRPDR iter env 5
1545         - 35  # rls2009 NDRPDR iter env 5
1546         - 36  # rls2009 NDRPDR iter env 5
1547         - 37  # rls2009 NDRPDR iter env 5
1548         - 38  # rls2009 NDRPDR iter env 5
1549         - 39  # rls2009 NDRPDR iter env 5
1550         - 40  # rls2009 NDRPDR iter env 5
1551
1552     vpp-compare-testbeds-skx-clx-ref:
1553       csit-vpp-perf-report-iterative-2009-2n-skx:
1554         - 35  # rls2009 NDRPDR iter env 5
1555         - 36  # rls2009 NDRPDR iter env 5
1556         - 37  # rls2009 NDRPDR iter env 5
1557         - 39  # rls2009 NDRPDR iter env 5
1558         - 40  # rls2009 NDRPDR iter env 5
1559         - 42  # rls2009 NDRPDR iter env 5
1560         - 43  # rls2009 NDRPDR iter env 5
1561         - 44  # rls2009 NDRPDR iter env 5
1562         - 46  # rls2009 NDRPDR iter env 5
1563         - 48  # rls2009 NDRPDR iter env 5
1564         - 110 # rls2009 NDRPDR iter NAT44 env 5
1565         - 111 # rls2009 NDRPDR iter NAT44 env 5
1566         - 112 # rls2009 NDRPDR iter NAT44 env 5
1567         - 113 # rls2009 NDRPDR iter NAT44 env 5
1568         - 114 # rls2009 NDRPDR iter NAT44 env 5
1569         - 115 # rls2009 NDRPDR iter NAT44 env 5
1570         - 116 # rls2009 NDRPDR iter NAT44 env 5
1571         - 118 # rls2009 NDRPDR iter NAT44 env 5
1572         - 119 # rls2009 NDRPDR iter NAT44 env 5
1573         - 121 # rls2009 NDRPDR iter NAT44 env 5
1574     vpp-compare-testbeds-skx-clx-cmp:
1575       csit-vpp-perf-report-iterative-2009-2n-clx:
1576         - 36  # rls2009 NDRPDR iter env 5
1577         - 39  # rls2009 NDRPDR iter env 5
1578         - 40  # rls2009 NDRPDR iter env 5
1579         - 65  # rls2009 NDRPDR iter env 5
1580         - 66  # rls2009 NDRPDR iter env 5
1581         - 79  # rls2009 NDRPDR iter env 5
1582         - 82  # rls2009 NDRPDR iter env 5
1583         - 88  # rls2009 NDRPDR iter env 5
1584         - 89  # rls2009 NDRPDR iter env 5
1585         - 90  # rls2009 NDRPDR iter env 5
1586         - 114 # rls2009 NDRPDR iter NAT44 env 5
1587         - 115 # rls2009 NDRPDR iter NAT44 env 5
1588         - 116 # rls2009 NDRPDR iter NAT44 env 5
1589         - 117 # rls2009 NDRPDR iter NAT44 env 5
1590         - 118 # rls2009 NDRPDR iter NAT44 env 5
1591         - 119 # rls2009 NDRPDR iter NAT44 env 5
1592         - 121 # rls2009 NDRPDR iter NAT44 env 5
1593         - 122 # rls2009 NDRPDR iter NAT44 env 5
1594         - 123 # rls2009 NDRPDR iter NAT44 env 5
1595         - 126 # rls2009 NDRPDR iter NAT44 env 5
1596
1597     vpp-compare-testbeds-hsw-clx-ref:
1598       csit-vpp-perf-report-iterative-2009-3n-hsw:
1599         - 21  # rls2009 NDRPDR iter env 5
1600         - 22  # rls2009 NDRPDR iter env 5
1601         - 24  # rls2009 NDRPDR iter env 5
1602         - 25  # rls2009 NDRPDR iter env 5
1603         - 26  # rls2009 NDRPDR iter env 5
1604         - 27  # rls2009 NDRPDR iter env 5
1605         - 28  # rls2009 NDRPDR iter env 5
1606         - 29  # rls2009 NDRPDR iter env 5
1607         - 30  # rls2009 NDRPDR iter env 5
1608         - 31  # rls2009 NDRPDR iter env 5
1609     vpp-compare-testbeds-hsw-clx-cmp:
1610       csit-vpp-perf-report-iterative-2009-2n-clx:
1611         - 36  # rls2009 NDRPDR iter env 5
1612         - 39  # rls2009 NDRPDR iter env 5
1613         - 40  # rls2009 NDRPDR iter env 5
1614         - 65  # rls2009 NDRPDR iter env 5
1615         - 66  # rls2009 NDRPDR iter env 5
1616         - 79  # rls2009 NDRPDR iter env 5
1617         - 82  # rls2009 NDRPDR iter env 5
1618         - 88  # rls2009 NDRPDR iter env 5
1619         - 89  # rls2009 NDRPDR iter env 5
1620         - 90  # rls2009 NDRPDR iter env 5
1621
1622     vpp-compare-testbeds-mrr-ref:
1623       csit-vpp-perf-report-iterative-2009-3n-hsw:
1624         - 23  # rls2009 MRR iter env 5
1625     vpp-compare-testbeds-mrr-cmp:
1626       csit-vpp-perf-report-iterative-2009-3n-skx:
1627         - 24  # rls2009 MRR iter env 5
1628
1629     vpp-compare-testbeds-mrr-skx-clx-ref:
1630       csit-vpp-perf-report-iterative-2009-2n-skx:
1631         - 120 # rls2009 MRR iter env 5
1632     vpp-compare-testbeds-mrr-skx-clx-cmp:
1633       csit-vpp-perf-report-iterative-2009-2n-clx:
1634         - 125 # rls2009 MRR iter env 5
1635
1636     vpp-compare-testbeds-mrr-hsw-clx-ref:
1637       csit-vpp-perf-report-iterative-2009-3n-hsw:
1638         - 23  # rls2009 MRR iter env 5
1639     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1640       csit-vpp-perf-report-iterative-2009-2n-clx:
1641         - 125 # rls2009 MRR iter env 5
1642
1643     dpdk-compare-testbeds-ref:
1644       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1645         - 6   # NDRPDR iter env5
1646         - 7   # NDRPDR iter env5
1647         - 8   # NDRPDR iter env5
1648         - 9   # NDRPDR iter env5
1649         - 10  # NDRPDR iter env5
1650         - 11  # NDRPDR iter env5
1651         - 12  # NDRPDR iter env5
1652         - 13  # NDRPDR iter env5
1653         - 14  # NDRPDR iter env5
1654         - 15  # NDRPDR iter env5
1655     dpdk-compare-testbeds-cmp:
1656       csit-dpdk-perf-report-iterative-2009-3n-skx:
1657         - 4   # NDRPDR sel env5
1658         - 5   # NDRPDR sel env5
1659         - 6   # NDRPDR sel env5
1660         - 7   # NDRPDR sel env5
1661         - 8   # NDRPDR sel env5
1662         - 9   # NDRPDR sel env5
1663         - 14  # NDRPDR sel env5
1664         - 11  # NDRPDR sel env5
1665         - 12  # NDRPDR sel env5
1666         - 13  # NDRPDR sel env5
1667
1668     dpdk-compare-testbeds-skx-clx-ref:
1669       csit-dpdk-perf-report-iterative-2009-2n-skx:
1670         - 4   # NDRPDR iter env5
1671         - 5   # NDRPDR iter env5
1672         - 6   # NDRPDR iter env5
1673         - 7   # NDRPDR iter env5
1674         - 8   # NDRPDR iter env5
1675         - 9   # NDRPDR iter env5
1676         - 10  # NDRPDR iter env5
1677         - 11  # NDRPDR iter env5
1678         - 12  # NDRPDR iter env5
1679         - 13  # NDRPDR iter env5
1680     dpdk-compare-testbeds-skx-clx-cmp:
1681       csit-dpdk-perf-report-iterative-2009-2n-clx:
1682         - 4   # NDRPDR iter env5
1683         - 5   # NDRPDR iter env5
1684         - 6   # NDRPDR iter env5
1685         - 7   # NDRPDR iter env5
1686         - 8   # NDRPDR iter env5
1687         - 9   # NDRPDR iter env5
1688         - 10  # NDRPDR iter env5
1689         - 11  # NDRPDR iter env5
1690         - 12  # NDRPDR iter env5
1691         - 13  # NDRPDR iter env5
1692
1693     # Compare topologies
1694
1695     vpp-compare-topologies-ref:
1696       csit-vpp-perf-report-iterative-2009-3n-skx:
1697         - 26  # rls2009 NDRPDR iter env 5
1698         - 27  # rls2009 NDRPDR iter env 5
1699         - 28  # rls2009 NDRPDR iter env 5
1700         - 29  # rls2009 NDRPDR iter env 5
1701         - 35  # rls2009 NDRPDR iter env 5
1702         - 36  # rls2009 NDRPDR iter env 5
1703         - 37  # rls2009 NDRPDR iter env 5
1704         - 38  # rls2009 NDRPDR iter env 5
1705         - 39  # rls2009 NDRPDR iter env 5
1706         - 40  # rls2009 NDRPDR iter env 5
1707     vpp-compare-topologies-cmp:
1708       csit-vpp-perf-report-iterative-2009-2n-skx:
1709         - 35  # rls2009 NDRPDR iter env 5
1710         - 36  # rls2009 NDRPDR iter env 5
1711         - 37  # rls2009 NDRPDR iter env 5
1712         - 39  # rls2009 NDRPDR iter env 5
1713         - 40  # rls2009 NDRPDR iter env 5
1714         - 42  # rls2009 NDRPDR iter env 5
1715         - 43  # rls2009 NDRPDR iter env 5
1716         - 44  # rls2009 NDRPDR iter env 5
1717         - 46  # rls2009 NDRPDR iter env 5
1718         - 48  # rls2009 NDRPDR iter env 5
1719
1720     vpp-compare-topologies-mrr-ref:
1721       csit-vpp-perf-report-iterative-2009-3n-skx:
1722         - 24  # rls2009 MRR iter env 5
1723     vpp-compare-topologies-mrr-cmp:
1724       csit-vpp-perf-report-iterative-2009-2n-skx:
1725         - 120 # rls2009 MRR iter env 5
1726
1727     dpdk-compare-topologies-ref:
1728       csit-dpdk-perf-report-iterative-2009-3n-skx:
1729         - 4   # NDRPDR sel env5
1730         - 5   # NDRPDR sel env5
1731         - 6   # NDRPDR sel env5
1732         - 7   # NDRPDR sel env5
1733         - 8   # NDRPDR sel env5
1734         - 9   # NDRPDR sel env5
1735         - 14  # NDRPDR sel env5
1736         - 11  # NDRPDR sel env5
1737         - 12  # NDRPDR sel env5
1738         - 13  # NDRPDR sel env5
1739     dpdk-compare-topologies-cmp:
1740       csit-dpdk-perf-report-iterative-2009-2n-skx:
1741         - 4   # NDRPDR iter env5
1742         - 5   # NDRPDR iter env5
1743         - 6   # NDRPDR iter env5
1744         - 7   # NDRPDR iter env5
1745         - 8   # NDRPDR iter env5
1746         - 9   # NDRPDR iter env5
1747         - 10  # NDRPDR iter env5
1748         - 11  # NDRPDR iter env5
1749         - 12  # NDRPDR iter env5
1750         - 13  # NDRPDR iter env5
1751
1752   plot-layouts:
1753
1754     plot-soak-throughput:
1755       titlefont:
1756         size: 16
1757       xaxis:
1758         title: "<b>Test Cases [Index]</b>"
1759         titlefont:
1760           size: 14
1761         autorange: True
1762         fixedrange: False
1763         gridcolor: "rgb(230, 230, 230)"
1764         linecolor: "rgb(220, 220, 220)"
1765         linewidth: 1
1766         showgrid: True
1767         showline: True
1768         showticklabels: True
1769         tickcolor: "rgb(220, 220, 220)"
1770         tickmode: "linear"
1771         tickfont:
1772           size: 14
1773         zeroline: False
1774       yaxis:
1775         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1776         titlefont:
1777           size: 14
1778         gridcolor: "rgb(230, 230, 230)"
1779         hoverformat: ".4r"
1780         tickformat: ".3r"
1781         linecolor: "rgb(220, 220, 220)"
1782         linewidth: 1
1783         showgrid: True
1784         showline: True
1785         showticklabels: True
1786         tickcolor: "rgb(220, 220, 220)"
1787         tickfont:
1788           size: 14
1789         zeroline: False
1790         range: [0,50]
1791       autosize: False
1792       margin:
1793         t: 50
1794         b: 0
1795         l: 80
1796         r: 20
1797       showlegend: True
1798       legend:
1799         orientation: "h"
1800         font:
1801           size: 14
1802       width: 700
1803       height: 900
1804       paper_bgcolor: "#fff"
1805       plot_bgcolor: "#fff"
1806       hoverlabel:
1807         namelength: -1
1808
1809     plot-service-density:
1810       titlefont:
1811         size: 16
1812       xaxis:
1813         side: "top"
1814         autorange: True
1815         fixedrange: False
1816         showgrid: False
1817         showline: False
1818         showticklabels: False
1819         ticks: ""
1820         ticklen: 0
1821         tickwidth: 0
1822         zeroline: False
1823       yaxis:
1824         autorange: "reversed"
1825         showgrid: False
1826         showline: False
1827         showticklabels: False
1828         ticks: ""
1829         ticklen: 0
1830         tickwidth: 0
1831         zeroline: False
1832       showlegend: False
1833       paper_bgcolor: "#fff"
1834       plot_bgcolor: "#fff"
1835       width: 700
1836       height: 700
1837       hoverlabel:
1838         namelength: -1
1839
1840     plot-hoststack:
1841       titlefont:
1842         size: 16
1843       xaxis:
1844         title: "<b>Test Cases [Index]</b>"
1845         titlefont:
1846           size: 14
1847         autorange: True
1848         fixedrange: False
1849         gridcolor: "rgb(230, 230, 230)"
1850         linecolor: "rgb(220, 220, 220)"
1851         linewidth: 1
1852         showgrid: True
1853         showline: True
1854         showticklabels: True
1855         tickcolor: "rgb(220, 220, 220)"
1856         tickmode: "linear"
1857         tickfont:
1858           size: 14
1859         zeroline: False
1860       yaxis:
1861         title: "<b>Bandwidth [Gbps]</b>"
1862         titlefont:
1863           size: 14
1864         gridcolor: "rgb(230, 230, 230)"
1865         hoverformat: ".4s"
1866         linecolor: "rgb(220, 220, 220)"
1867         linewidth: 1
1868         rangemode: "tozero"
1869         showgrid: True
1870         showline: True
1871         showticklabels: True
1872         tickcolor: "rgb(230, 230, 230)"
1873         tickformat: ".3s"
1874         tickfont:
1875           size: 14
1876         zeroline: False
1877       autosize: False
1878       margin:
1879         t: 50
1880         b: 20
1881         l: 80
1882         r: 20
1883       showlegend: True
1884       legend:
1885         orientation: "h"
1886         font:
1887           size: 14
1888       width: 700
1889       height: 800
1890       paper_bgcolor: "#fff"
1891       plot_bgcolor: "#fff"
1892       hoverlabel:
1893         namelength: -1
1894
1895     plot-throughput:
1896       titlefont:
1897         size: 16
1898       xaxis:
1899         title: "<b>Test Cases [Index]</b>"
1900         titlefont:
1901           size: 14
1902         autorange: True
1903         fixedrange: False
1904         gridcolor: "rgb(230, 230, 230)"
1905         linecolor: "rgb(220, 220, 220)"
1906         linewidth: 1
1907         showgrid: True
1908         showline: True
1909         showticklabels: True
1910         tickcolor: "rgb(220, 220, 220)"
1911         tickmode: "linear"
1912         tickfont:
1913           size: 14
1914         zeroline: False
1915       yaxis:
1916         title: "<b>Packet Throughput [Mpps]</b>"
1917         titlefont:
1918           size: 14
1919         gridcolor: "rgb(230, 230, 230)"
1920         hoverformat: ".4r"
1921         tickformat: ".3r"
1922         linecolor: "rgb(220, 220, 220)"
1923         linewidth: 1
1924         showgrid: True
1925         showline: True
1926         showticklabels: True
1927         tickcolor: "rgb(220, 220, 220)"
1928         tickfont:
1929           size: 14
1930         zeroline: False
1931         range: [0,50]
1932       autosize: False
1933       margin:
1934         t: 50
1935         b: 0
1936         l: 80
1937         r: 20
1938       showlegend: True
1939       legend:
1940         orientation: "h"
1941         font:
1942           size: 14
1943       width: 700
1944       height: 900
1945       paper_bgcolor: "#fff"
1946       plot_bgcolor: "#fff"
1947       hoverlabel:
1948         namelength: -1
1949
1950     plot-throughput-gbps:
1951       titlefont:
1952         size: 16
1953       xaxis:
1954         title: "<b>Test Cases [Index]</b>"
1955         titlefont:
1956           size: 14
1957         autorange: True
1958         fixedrange: False
1959         gridcolor: "rgb(230, 230, 230)"
1960         linecolor: "rgb(220, 220, 220)"
1961         linewidth: 1
1962         showgrid: True
1963         showline: True
1964         showticklabels: True
1965         tickcolor: "rgb(220, 220, 220)"
1966         tickmode: "linear"
1967         tickfont:
1968           size: 14
1969         zeroline: False
1970       yaxis:
1971         title: "<b>Packet Throughput [Gbps]</b>"
1972         titlefont:
1973           size: 14
1974         gridcolor: "rgb(230, 230, 230)"
1975         hoverformat: ".4r"
1976         tickformat: ".3r"
1977         linecolor: "rgb(220, 220, 220)"
1978         linewidth: 1
1979         showgrid: True
1980         showline: True
1981         showticklabels: True
1982         tickcolor: "rgb(220, 220, 220)"
1983         tickfont:
1984           size: 14
1985         zeroline: False
1986         range: [0,10]
1987       autosize: False
1988       margin:
1989         t: 50
1990         b: 0
1991         l: 80
1992         r: 20
1993       showlegend: True
1994       legend:
1995         orientation: "h"
1996         font:
1997           size: 14
1998       width: 700
1999       height: 900
2000       paper_bgcolor: "#fff"
2001       plot_bgcolor: "#fff"
2002       hoverlabel:
2003         namelength: -1
2004
2005     plot-cps:
2006       titlefont:
2007         size: 16
2008       xaxis:
2009         title: "<b>Test Cases [Index]</b>"
2010         titlefont:
2011           size: 14
2012         autorange: True
2013         fixedrange: False
2014         gridcolor: "rgb(230, 230, 230)"
2015         linecolor: "rgb(220, 220, 220)"
2016         linewidth: 1
2017         showgrid: True
2018         showline: True
2019         showticklabels: True
2020         tickcolor: "rgb(220, 220, 220)"
2021         tickmode: "linear"
2022         tickfont:
2023           size: 14
2024         zeroline: False
2025       yaxis:
2026         title: "<b>Connection Rate [Mcps]</b>"
2027         titlefont:
2028           size: 14
2029         gridcolor: "rgb(230, 230, 230)"
2030         hoverformat: ".4r"
2031         tickformat: ".3s"
2032         linecolor: "rgb(220, 220, 220)"
2033         linewidth: 1
2034         showgrid: True
2035         showline: True
2036         showticklabels: True
2037         tickcolor: "rgb(220, 220, 220)"
2038         tickfont:
2039           size: 14
2040         zeroline: False
2041         range: [0,10]
2042       autosize: False
2043       margin:
2044         t: 50
2045         b: 0
2046         l: 80
2047         r: 20
2048       showlegend: True
2049       legend:
2050         orientation: "h"
2051         font:
2052           size: 14
2053       width: 700
2054       height: 900
2055       paper_bgcolor: "#fff"
2056       plot_bgcolor: "#fff"
2057       hoverlabel:
2058         namelength: -1
2059
2060     plot-throughput-speedup-analysis:
2061       titlefont:
2062         size: 16
2063       xaxis:
2064         title: "<b>Number of Cores [Qty]</b>"
2065         titlefont:
2066           size: 14
2067         autorange: True
2068         fixedrange: False
2069         gridcolor: "rgb(230, 230, 230)"
2070         linecolor: "rgb(220, 220, 220)"
2071         linewidth: 1
2072         showgrid: True
2073         showline: True
2074         showticklabels: True
2075         tickcolor: "rgb(238, 238, 238)"
2076         tickmode: "linear"
2077         tickfont:
2078           size: 14
2079         zeroline: False
2080       yaxis:
2081         title: "<b>Packet Throughput [Mpps]</b>"
2082         titlefont:
2083           size: 14
2084         type: "linear"
2085         gridcolor: "rgb(230, 230, 230)"
2086         hoverformat: ".4s"
2087         linecolor: "rgb(220, 220, 220)"
2088         linewidth: 1
2089         showgrid: True
2090         showline: True
2091         showticklabels: True
2092         tickcolor: "rgb(220, 220, 220)"
2093         tickformat: ".4s"
2094         tickfont:
2095           size: 14
2096         zeroline: True
2097         rangemode: "tozero"
2098         range: [0,100]
2099       legend:
2100         orientation: "h"
2101         font:
2102           size: 14
2103         xanchor: "left"
2104         yanchor: "top"
2105         x: 0
2106         y: -0.2
2107         bgcolor: "rgba(255, 255, 255, 0)"
2108         bordercolor: "rgba(255, 255, 255, 0)"
2109         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2110       autosize: False
2111       margin:
2112           't': 50
2113           'b': 150
2114           'l': 85
2115           'r': 10
2116       showlegend: True
2117       width: 700
2118       height: 700
2119       paper_bgcolor: "#fff"
2120       plot_bgcolor: "#fff"
2121       hoverlabel:
2122         namelength: -1
2123       annotations: [
2124         {
2125           text: "_ _          __          ...",
2126           align: "left",
2127           showarrow: False,
2128           xref: "paper",
2129           yref: "paper",
2130           xanchor: "left",
2131           yanchor: "top",
2132           x: 0,
2133           y: -0.14,
2134           font: {
2135             family: "Consolas, Courier New",
2136             size: 13
2137           },
2138         },
2139         {
2140           text: "    Perfect     Measured     Limit",
2141           align: "left",
2142           showarrow: False,
2143           xref: "paper",
2144           yref: "paper",
2145           xanchor: "left",
2146           yanchor: "top",
2147           x: 0,
2148           y: -0.15,
2149           font: {
2150             family: "Consolas, Courier New",
2151             size: 13
2152           },
2153         },
2154       ]
2155
2156     plot-throughput-speedup-analysis-gbps:
2157       titlefont:
2158         size: 16
2159       xaxis:
2160         title: "<b>Number of Cores [Qty]</b>"
2161         titlefont:
2162           size: 14
2163         autorange: True
2164         fixedrange: False
2165         gridcolor: "rgb(230, 230, 230)"
2166         linecolor: "rgb(220, 220, 220)"
2167         linewidth: 1
2168         showgrid: True
2169         showline: True
2170         showticklabels: True
2171         tickcolor: "rgb(238, 238, 238)"
2172         tickmode: "linear"
2173         tickfont:
2174           size: 14
2175         zeroline: False
2176       yaxis:
2177         title: "<b>Packet Throughput [Gbps]</b>"
2178         titlefont:
2179           size: 14
2180         type: "linear"
2181         gridcolor: "rgb(230, 230, 230)"
2182         hoverformat: ".4s"
2183         linecolor: "rgb(220, 220, 220)"
2184         linewidth: 1
2185         showgrid: True
2186         showline: True
2187         showticklabels: True
2188         tickcolor: "rgb(220, 220, 220)"
2189         tickformat: ".4s"
2190         tickfont:
2191           size: 14
2192         zeroline: True
2193         rangemode: "tozero"
2194         range: [0,100]
2195       legend:
2196         orientation: "h"
2197         font:
2198           size: 14
2199         xanchor: "left"
2200         yanchor: "top"
2201         x: 0
2202         y: -0.2
2203         bgcolor: "rgba(255, 255, 255, 0)"
2204         bordercolor: "rgba(255, 255, 255, 0)"
2205         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2206       autosize: False
2207       margin:
2208           't': 50
2209           'b': 150
2210           'l': 85
2211           'r': 10
2212       showlegend: True
2213       width: 700
2214       height: 700
2215       paper_bgcolor: "#fff"
2216       plot_bgcolor: "#fff"
2217       hoverlabel:
2218         namelength: -1
2219       annotations: [
2220         {
2221           text: "_ _          __",
2222           align: "left",
2223           showarrow: False,
2224           xref: "paper",
2225           yref: "paper",
2226           xanchor: "left",
2227           yanchor: "top",
2228           x: 0,
2229           y: -0.13,
2230           font: {
2231             family: "Consolas, Courier New",
2232             size: 13
2233           },
2234         },
2235         {
2236           text: "    Perfect     Measured",
2237           align: "left",
2238           showarrow: False,
2239           xref: "paper",
2240           yref: "paper",
2241           xanchor: "left",
2242           yanchor: "top",
2243           x: 0,
2244           y: -0.15,
2245           font: {
2246             family: "Consolas, Courier New",
2247             size: 13
2248           },
2249         },
2250       ]
2251
2252     plot-throughput-speedup-analysis-cps:
2253       titlefont:
2254         size: 16
2255       xaxis:
2256         title: "<b>Number of Cores [Qty]</b>"
2257         titlefont:
2258           size: 14
2259         autorange: True
2260         fixedrange: False
2261         gridcolor: "rgb(230, 230, 230)"
2262         linecolor: "rgb(220, 220, 220)"
2263         linewidth: 1
2264         showgrid: True
2265         showline: True
2266         showticklabels: True
2267         tickcolor: "rgb(238, 238, 238)"
2268         tickmode: "linear"
2269         tickfont:
2270           size: 14
2271         zeroline: False
2272       yaxis:
2273         title: "<b>Connection Rate [Mcps]</b>"
2274         titlefont:
2275           size: 14
2276         type: "linear"
2277         gridcolor: "rgb(230, 230, 230)"
2278         hoverformat: ".4s"
2279         linecolor: "rgb(220, 220, 220)"
2280         linewidth: 1
2281         showgrid: True
2282         showline: True
2283         showticklabels: True
2284         tickcolor: "rgb(220, 220, 220)"
2285         tickformat: ".4s"
2286         tickfont:
2287           size: 14
2288         zeroline: True
2289         rangemode: "tozero"
2290         range: [0,100]
2291       legend:
2292         orientation: "h"
2293         font:
2294           size: 14
2295         xanchor: "left"
2296         yanchor: "top"
2297         x: 0
2298         y: -0.2
2299         bgcolor: "rgba(255, 255, 255, 0)"
2300         bordercolor: "rgba(255, 255, 255, 0)"
2301         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2302       autosize: False
2303       margin:
2304           't': 50
2305           'b': 150
2306           'l': 85
2307           'r': 10
2308       showlegend: True
2309       width: 700
2310       height: 700
2311       paper_bgcolor: "#fff"
2312       plot_bgcolor: "#fff"
2313       hoverlabel:
2314         namelength: -1
2315       annotations: [
2316         {
2317           text: "_ _          __",
2318           align: "left",
2319           showarrow: False,
2320           xref: "paper",
2321           yref: "paper",
2322           xanchor: "left",
2323           yanchor: "top",
2324           x: 0,
2325           y: -0.13,
2326           font: {
2327             family: "Consolas, Courier New",
2328             size: 13
2329           },
2330         },
2331         {
2332           text: "    Perfect     Measured",
2333           align: "left",
2334           showarrow: False,
2335           xref: "paper",
2336           yref: "paper",
2337           xanchor: "left",
2338           yanchor: "top",
2339           x: 0,
2340           y: -0.15,
2341           font: {
2342             family: "Consolas, Courier New",
2343             size: 13
2344           },
2345         },
2346       ]
2347
2348     plot-latency:
2349       titlefont:
2350         size: 16
2351       xaxis:
2352         title: "<b>Direction</b>"
2353         titlefont:
2354           size: 14
2355         autorange: True
2356         fixedrange: False
2357         gridcolor: "rgb(230, 230, 230)"
2358         linecolor: "rgb(220, 220, 220)"
2359         linewidth: 1
2360         showgrid: True
2361         showline: True
2362         showticklabels: False
2363         tickcolor: "rgb(220, 220, 220)"
2364         tickmode: "linear"
2365         tickfont:
2366           size: 14
2367         zeroline: False
2368       yaxis:
2369         title: "<b>Packet Latency [uSec]</b>"
2370         titlefont:
2371           size: 14
2372         type: "linear"
2373         gridcolor: "rgb(230, 230, 230)"
2374         hoverformat: ".4s"
2375         linecolor: "rgb(220, 220, 220)"
2376         linewidth: 1
2377         showgrid: True
2378         showline: True
2379         showticklabels: True
2380         tickcolor: "rgb(220, 220, 220)"
2381         tickformat: ".4s"
2382         tickfont:
2383           size: 14
2384         zeroline: True
2385         rangemode: "tozero"
2386       legend:
2387         orientation: "h"
2388         font:
2389           size: 14
2390         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2391       autosize: False
2392       margin:
2393           't': 50
2394           'b': 150
2395           'l': 80
2396           'r': 10
2397       showlegend: True
2398       width: 700
2399       height: 700
2400       paper_bgcolor: "#fff"
2401       plot_bgcolor: "#fff"
2402       hoverlabel:
2403         namelength: -1
2404
2405     plot-hdrh-latency:
2406       title:
2407         text: ""
2408         xanchor: "center"
2409         x: 0.5
2410         font:
2411           size: 16
2412       width: 700
2413       plot_bgcolor: "white"
2414       annotations:
2415         - font:
2416             size: 14
2417           showarrow: False
2418           text: "<b>Packet Latency [uSec]</b>"
2419           x: 1
2420           xanchor: "right"
2421           xref: "paper"
2422           y: -0.045
2423           yanchor: "top"
2424           yref: "paper"
2425         - font:
2426             size: 14
2427           showarrow: False
2428           text: "<b>Probability [%]</b>"
2429           textangle: 270
2430           x: -0.06
2431           xanchor: "center"
2432           xref: "paper"
2433           y: 0.5
2434           yanchor: "middle"
2435           yref: "paper"
2436         - font:
2437             size: 14
2438           showarrow: False
2439           text: "<b>Direction: E-W</b>"
2440           x: 0.24
2441           xanchor: "center"
2442           xref: "paper"
2443           y: 1.05
2444           yanchor: "bottom"
2445           yref: "paper"
2446         - font:
2447             size: 14
2448           showarrow: False
2449           text: "<b>Direction: W-E</b>"
2450           x: 0.74
2451           xanchor: "center"
2452           xref: "paper"
2453           y: 1.05
2454           yanchor: "bottom"
2455           yref: "paper"
2456
2457     plot-hdrh-latency-percentile:
2458       title:
2459         text: ""
2460         xanchor: "center"
2461         x: 0.5
2462         font:
2463           size: 16
2464       xaxis:
2465         type: "log"
2466         title: "<b>Percentile [%]</b>"
2467         titlefont:
2468           size: 14
2469         autorange: True
2470         fixedrange: False
2471         gridcolor: "rgb(230, 230, 230)"
2472         linecolor: "rgb(220, 220, 220)"
2473         linewidth: 1
2474         showgrid: True
2475         showline: True
2476         showticklabels: True
2477         tickcolor: "rgb(220, 220, 220)"
2478         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2479         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2480         tickfont:
2481           size: 14
2482       yaxis:
2483         title: "<b>Packet Latency [uSec]</b>"
2484         titlefont:
2485           size: 14
2486         gridcolor: "rgb(230, 230, 230)"
2487         linecolor: "rgb(220, 220, 220)"
2488         linewidth: 1
2489         showgrid: True
2490         showline: True
2491         showticklabels: True
2492         tickcolor: "rgb(220, 220, 220)"
2493         tickfont:
2494           size: 14
2495       autosize: False
2496       showlegend: True
2497       legend:
2498         traceorder: "normal"
2499         orientation: "h"
2500         font:
2501           size: 14
2502         xanchor: "left"
2503         yanchor: "top"
2504         x: 0
2505         y: -0.15
2506         bgcolor: "rgba(255, 255, 255, 0)"
2507         bordercolor: "rgba(255, 255, 255, 0)"
2508       width: 700
2509       height: 700
2510       paper_bgcolor: "white"
2511       plot_bgcolor: "white"
2512
2513     plot-hdrh-latency-by-percentile:
2514       title:
2515         text: "<b>Latency by Percentile Distribution</b>"
2516         xanchor: "center"
2517         x: 0.5
2518         font:
2519           size: 18
2520       showlegend: True
2521       legend:
2522         traceorder: "normal"
2523         orientation: "h"
2524         font:
2525           size: 16
2526         xanchor: "left"
2527         yanchor: "top"
2528         x: 0
2529         y: -0.2
2530         bgcolor: "rgba(255, 255, 255, 0)"
2531         bordercolor: "rgba(255, 255, 255, 0)"
2532       xaxis:
2533         type: "linear"
2534         title: "<b>Percentile [%]</b>"
2535         titlefont:
2536           size: 14
2537         autorange: False
2538         fixedrange: False
2539         range: [0, 100]
2540         gridcolor: "rgb(230, 230, 230)"
2541         linecolor: "rgb(220, 220, 220)"
2542         linewidth: 1
2543         showgrid: True
2544         showline: True
2545         showticklabels: True
2546         tickcolor: "rgb(220, 220, 220)"
2547         tickvals: [0, 25, 50, 75, 100]
2548         ticktext: [0, 25, 50, 75, 100]
2549         tickfont:
2550           size: 14
2551       yaxis:
2552         title: "<b>One-Way Latency per Direction [uSec]</b>"
2553         titlefont:
2554           size: 14
2555         gridcolor: "rgb(230, 230, 230)"
2556         linecolor: "rgb(220, 220, 220)"
2557         linewidth: 1
2558         showgrid: True
2559         showline: True
2560         showticklabels: True
2561         tickcolor: "rgb(220, 220, 220)"
2562         tickfont:
2563           size: 14
2564       width: 700
2565       height: 700
2566       paper_bgcolor: "white"
2567       plot_bgcolor: "white"
2568
2569 - type: "static"
2570   src-path: "{DIR[RST]}"
2571   dst-path: "{DIR[WORKING,SRC]}"
2572
2573 - type: "input"
2574   general:
2575     file-name: "output_info.xml.gz"
2576     file-format: ".gz"
2577     arch-file-format:
2578       - ".gz"
2579       - ".zip"
2580     download-path: "{job}/{build}/archives/{filename}"
2581     extract: "output.xml"
2582
2583     zip-file-name: "robot-plugin.zip"
2584     zip-file-format: ".zip"
2585     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2586     zip-extract: "robot-plugin/output.xml"
2587
2588   builds:
2589
2590     csit-vpp-perf-verify-2001-3n-hsw:
2591       - 17  # MRR sel
2592     csit-vpp-perf-report-iterative-2005-3n-hsw:
2593       - 20  # NDRPDR sel env 4
2594       - 21  # NDRPDR sel env 4
2595       - 22  # NDRPDR sel env 4
2596       - 23  # NDRPDR sel env 4
2597       - 24  # NDRPDR sel env 4
2598       - 25  # NDRPDR sel env 4
2599       - 26  # NDRPDR sel env 4
2600       - 27  # NDRPDR sel env 4
2601       - 28  # NDRPDR sel env 4
2602       - 29  # NDRPDR sel env 4
2603       - 30  # MRR env 4
2604       - 31  # NDRPDR sel 2001.0-4
2605       - 32  # NDRPDR sel 2001.0-4
2606       - 33  # NDRPDR sel 2001.0-4
2607       - 34  # NDRPDR sel 2001.0-4
2608       - 35  # NDRPDR sel 2001.0-4
2609       - 36  # NDRPDR sel 2001.0-4
2610       - 38  # NDRPDR sel 2001.0-4
2611     csit-vpp-perf-report-iterative-2009-3n-hsw:
2612       - 18  # rls2005 MRR iter env 5
2613       - 9   # rls2005 NDRPDR iter env 5
2614       - 10  # rls2005 NDRPDR iter env 5
2615       - 11  # rls2005 NDRPDR iter env 5
2616       - 12  # rls2005 NDRPDR iter env 5
2617       - 13  # rls2005 NDRPDR iter env 5
2618       - 14  # rls2005 NDRPDR iter env 5
2619       - 15  # rls2005 NDRPDR iter env 5
2620       - 16  # rls2005 NDRPDR iter env 5
2621       - 17  # rls2005 NDRPDR iter env 5
2622       - 19  # rls2005 NDRPDR iter env 5
2623       - 23  # rls2009 MRR iter env 5
2624       - 21  # rls2009 NDRPDR iter env 5
2625       - 22  # rls2009 NDRPDR iter env 5
2626       - 24  # rls2009 NDRPDR iter env 5
2627       - 25  # rls2009 NDRPDR iter env 5
2628       - 26  # rls2009 NDRPDR iter env 5
2629       - 27  # rls2009 NDRPDR iter env 5
2630       - 28  # rls2009 NDRPDR iter env 5
2631       - 29  # rls2009 NDRPDR iter env 5
2632       - 30  # rls2009 NDRPDR iter env 5
2633       - 31  # rls2009 NDRPDR iter env 5
2634       - 32  # rls2009 Hoststack iter env 5
2635       - 33  # rls2009 Hoststack iter env 5
2636       - 34  # rls2009 Hoststack iter env 5
2637       - 35  # rls2009 Hoststack iter env 5
2638       - 36  # rls2009 Hoststack iter env 5
2639       - 37  # rls2009 Hoststack iter env 5
2640       - 38  # rls2009 Hoststack iter env 5
2641       - 39  # rls2009 Hoststack iter env 5
2642       - 40  # rls2009 Hoststack iter env 5
2643       - 41  # rls2009 Hoststack iter env 5
2644     csit-vpp-perf-report-coverage-2009-3n-hsw:
2645       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2646       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2647       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2648       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2649       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2650       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2651       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2652       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2653       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2654       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2655       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2656       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2657       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2658       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2659       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2660       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2661       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2662       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2663       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2664       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2665       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2666       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2667       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2668       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2669       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2670       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2671       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2672       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2673       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2674       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2675       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2676       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2677       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2678       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2679       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2680
2681     csit-vpp-perf-verify-2001-3n-skx:
2682       - 50  # MRR sel
2683       - 53  # MRR sel addition
2684     csit-vpp-perf-report-iterative-2005-3n-skx:
2685       - 4   # NDRPDR sel
2686       - 5   # NDRPDR sel ??? all x710 failed
2687       - 33  # NDRPDR sel
2688       - 28  # NDRPDR sel
2689       - 34  # NDRPDR sel
2690       - 42  # NDRPDR sel env 4
2691       - 43  # NDRPDR sel env 4
2692       - 44  # NDRPDR sel env 4
2693       - 45  # NDRPDR sel env 4
2694       - 47  # NDRPDR sel env 4
2695       - 55  # NDRPDR sel env 4
2696       - 56  # NDRPDR sel env 4
2697       - 57  # NDRPDR sel env 4
2698       - 61  # NDRPDR sel env 4
2699       - 62  # NDRPDR sel env 4
2700       - 50  # NDRPDR sel 2001.0-4
2701       - 51  # NDRPDR sel 2001.0-4
2702       - 52  # NDRPDR sel 2001.0-4
2703       - 53  # NDRPDR sel 2001.0-4
2704       - 54  # NDRPDR sel 2001.0-4
2705       - 49  # MRR sel env 4
2706     csit-vpp-perf-report-iterative-2009-3n-skx:
2707       - 17  # rls2005 MRR iter env 5
2708       - 13  # rls2005 NDRPDR iter env 5
2709       - 18  # rls2005 NDRPDR iter env 5
2710       - 19  # rls2005 NDRPDR iter env 5
2711       - 41  # rls2005 NDRPDR iter env 5
2712       - 43  # rls2005 NDRPDR iter env 5
2713       - 44  # rls2005 NDRPDR iter env 5
2714       - 45  # rls2005 NDRPDR iter env 5
2715       - 46  # rls2005 NDRPDR iter env 5
2716       - 48  # rls2005 NDRPDR iter env 5
2717       - 49  # rls2005 NDRPDR iter env 5
2718       - 24  # rls2009 MRR iter env 5
2719       - 26  # rls2009 NDRPDR iter env 5
2720       - 27  # rls2009 NDRPDR iter env 5
2721       - 28  # rls2009 NDRPDR iter env 5
2722       - 29  # rls2009 NDRPDR iter env 5
2723       - 35  # rls2009 NDRPDR iter env 5
2724       - 36  # rls2009 NDRPDR iter env 5
2725       - 37  # rls2009 NDRPDR iter env 5
2726       - 38  # rls2009 NDRPDR iter env 5
2727       - 39  # rls2009 NDRPDR iter env 5
2728       - 40  # rls2009 NDRPDR iter env 5
2729     csit-vpp-perf-report-coverage-2009-3n-skx:
2730       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2731       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2732       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2733       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2734       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2735       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2736       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2737       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2738       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2739       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2740       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2741       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2742       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2743       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2744       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2745       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2746       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2747       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2748       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2749       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2750       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2751       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2752       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2753       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2754       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2755       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2756       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2757       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2758       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2759       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2760       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2761       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2762       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2763       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2764       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2765       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2766
2767     csit-vpp-perf-verify-2001-2n-skx:
2768       - 101  # MRR sel - old
2769       - 128  # MRR sel addition - old
2770     csit-vpp-perf-report-iterative-2005-2n-skx:
2771       - 88  # NDRPDR sel env 4
2772       - 89  # NDRPDR sel env 4
2773       - 90  # NDRPDR sel env 4
2774       - 91  # NDRPDR sel env 4
2775       - 92  # NDRPDR sel env 4
2776       - 93  # NDRPDR sel env 4
2777       - 94  # NDRPDR sel env 4
2778       - 125 # NDRPDR sel env 4
2779       - 126 # NDRPDR sel env 4
2780       - 127 # NDRPDR sel env 4
2781       - 100 # NDRPDR sel 2001.0-4
2782       - 101 # NDRPDR sel 2001.0-4
2783       - 102 # NDRPDR sel 2001.0-4
2784       - 103 # NDRPDR sel 2001.0-4
2785       - 104 # NDRPDR sel 2001.0-4
2786       - 105 # NDRPDR sel 2001.0-4
2787       - 99  # MRR sel env 4
2788     csit-vpp-perf-report-iterative-2009-2n-skx:
2789       - 20  # rls2005 MRR iter env 5
2790       - 13  # rls2005 NDRPDR iter env 5
2791       - 16  # rls2005 NDRPDR iter env 5
2792       - 17  # rls2005 NDRPDR iter env 5
2793       - 18  # rls2005 NDRPDR iter env 5
2794       - 19  # rls2005 NDRPDR iter env 5
2795       - 21  # rls2005 NDRPDR iter env 5
2796       - 22  # rls2005 NDRPDR iter env 5
2797       - 23  # rls2005 NDRPDR iter env 5
2798       - 24  # rls2005 NDRPDR iter env 5
2799       - 25  # rls2005 NDRPDR iter env 5
2800       - 120 # rls2009 MRR iter env 5
2801       - 35  # rls2009 NDRPDR iter env 5
2802       - 36  # rls2009 NDRPDR iter env 5
2803       - 37  # rls2009 NDRPDR iter env 5
2804       - 39  # rls2009 NDRPDR iter env 5
2805       - 40  # rls2009 NDRPDR iter env 5
2806       - 42  # rls2009 NDRPDR iter env 5
2807       - 43  # rls2009 NDRPDR iter env 5
2808       - 44  # rls2009 NDRPDR iter env 5
2809       - 46  # rls2009 NDRPDR iter env 5
2810       - 48  # rls2009 NDRPDR iter env 5
2811       - 110 # rls2009 NDRPDR iter NAT44 env 5
2812       - 111 # rls2009 NDRPDR iter NAT44 env 5
2813       - 112 # rls2009 NDRPDR iter NAT44 env 5
2814       - 113 # rls2009 NDRPDR iter NAT44 env 5
2815       - 114 # rls2009 NDRPDR iter NAT44 env 5
2816       - 115 # rls2009 NDRPDR iter NAT44 env 5
2817       - 116 # rls2009 NDRPDR iter NAT44 env 5
2818       - 118 # rls2009 NDRPDR iter NAT44 env 5
2819       - 119 # rls2009 NDRPDR iter NAT44 env 5
2820       - 121 # rls2009 NDRPDR iter NAT44 env 5
2821       - 38  # rls2009 nf-density iter env 5
2822       - 41  # rls2009 nf-density iter env 5
2823       - 45  # rls2009 nf-density iter env 5
2824       - 47  # rls2009 nf-density iter env 5
2825       - 49  # rls2009 nf-density iter env 5
2826       - 63  # rls2009 nf-density iter env 5
2827       - 65  # rls2009 nf-density iter env 5
2828       - 66  # rls2009 nf-density iter env 5
2829       - 71  # rls2009 nf-density iter env 5
2830       - 72  # rls2009 nf-density iter env 5
2831       - 50  # rls2009 MRR nf-density iter env 5
2832       - 27  # rls2009 reconf env 5
2833       - 28  # rls2009 reconf env 5
2834       - 29  # rls2009 reconf env 5
2835       - 30  # rls2009 reconf env 5
2836       - 31  # rls2009 reconf env 5
2837       - 32  # rls2009 reconf env 5
2838       - 61  # rls2009 reconf env 5
2839       - 62  # rls2009 reconf env 5
2840       - 68  # rls2009 reconf env 5
2841       - 70  # rls2009 reconf env 5
2842       - 33  # rls2009 soak env 5
2843       - 34  # rls2009 soak env 5
2844     csit-vpp-perf-report-coverage-2009-2n-skx:
2845       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2846       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2847       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2848       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2849       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2850       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2851       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2852       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2853       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2854       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2855       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2856       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2857       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2858       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2859       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2860       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2861       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2862
2863     csit-vpp-perf-verify-2001-2n-clx:
2864       - 39  # MRR
2865     csit-vpp-perf-report-iterative-2005-2n-clx:
2866       - 62  # NDRPDR sel env 4
2867       - 63  # NDRPDR sel env 4
2868       - 64  # NDRPDR sel env 4
2869       - 65  # NDRPDR sel env 4
2870       - 66  # NDRPDR sel env 4
2871       - 68  # NDRPDR sel env 4
2872       - 69  # NDRPDR sel env 4
2873       - 70  # NDRPDR sel env 4
2874       - 103 # NDRPDR sel env 4
2875       - 104 # NDRPDR sel env 4
2876       - 73  # NDRPDR sel 2001.0-4
2877       - 74  # NDRPDR sel 2001.0-4
2878       - 75  # NDRPDR sel 2001.0-4
2879       - 76  # NDRPDR sel 2001.0-4
2880       - 77  # NDRPDR sel 2001.0-4
2881       - 78  # NDRPDR sel 2001.0-4
2882       - 79  # NDRPDR sel 2001.0-4
2883       - 80  # NDRPDR sel 2001.0-4
2884       - 72  # MRR env 4
2885     csit-vpp-perf-report-iterative-2009-2n-clx:
2886       - 77  # rls2005 MRR iter env 5
2887       - 13  # rls2005 NDRPDR iter env 5
2888       - 15  # rls2005 NDRPDR iter env 5
2889       - 17  # rls2005 NDRPDR iter env 5
2890       - 18  # rls2005 NDRPDR iter env 5
2891       - 19  # rls2005 NDRPDR iter env 5
2892       - 20  # rls2005 NDRPDR iter env 5
2893       - 21  # rls2005 NDRPDR iter env 5
2894       - 22  # rls2005 NDRPDR iter env 5
2895       - 23  # rls2005 NDRPDR iter env 5
2896       - 24  # rls2005 NDRPDR iter env 5
2897       - 125 # rls2009 MRR iter env 5
2898       - 36  # rls2009 NDRPDR iter env 5
2899       - 39  # rls2009 NDRPDR iter env 5
2900       - 40  # rls2009 NDRPDR iter env 5
2901       - 65  # rls2009 NDRPDR iter env 5
2902       - 66  # rls2009 NDRPDR iter env 5
2903       - 79  # rls2009 NDRPDR iter env 5
2904       - 82  # rls2009 NDRPDR iter env 5
2905       - 88  # rls2009 NDRPDR iter env 5
2906       - 89  # rls2009 NDRPDR iter env 5
2907       - 90  # rls2009 NDRPDR iter env 5
2908       - 114 # rls2009 NDRPDR iter NAT44 env 5
2909       - 115 # rls2009 NDRPDR iter NAT44 env 5
2910       - 116 # rls2009 NDRPDR iter NAT44 env 5
2911       - 117 # rls2009 NDRPDR iter NAT44 env 5
2912       - 118 # rls2009 NDRPDR iter NAT44 env 5
2913       - 119 # rls2009 NDRPDR iter NAT44 env 5
2914       - 121 # rls2009 NDRPDR iter NAT44 env 5
2915       - 122 # rls2009 NDRPDR iter NAT44 env 5
2916       - 123 # rls2009 NDRPDR iter NAT44 env 5
2917       - 126 # rls2009 NDRPDR iter NAT44 env 5
2918       - 37  # rls2009 nf-density iter env 5
2919       - 43  # rls2009 nf-density iter env 5
2920       - 69  # rls2009 nf-density iter env 5
2921       - 70  # rls2009 nf-density iter env 5
2922       - 71  # rls2009 nf-density iter env 5
2923       - 72  # rls2009 nf-density iter env 5
2924       - 73  # rls2009 nf-density iter env 5
2925       - 74  # rls2009 nf-density iter env 5
2926       - 75  # rls2009 nf-density iter env 5
2927       - 76  # rls2009 nf-density iter env 5
2928       - 45  # rls2009 MRR nf-density iter env 5
2929       - 25  # rls2009 reconf env 5
2930       - 27  # rls2009 reconf env 5
2931       - 28  # rls2009 reconf env 5
2932       - 29  # rls2009 reconf env 5
2933       - 30  # rls2009 reconf env 5
2934       - 30  # rls2009 reconf env 5
2935       - 32  # rls2009 reconf env 5
2936       - 48  # rls2009 reconf env 5
2937       - 53  # rls2009 reconf env 5
2938       - 68  # rls2009 reconf env 5
2939       - 33  # rls2009 soak env 5
2940       - 34  # rls2009 soak env 5
2941     csit-vpp-perf-report-coverage-2009-2n-clx:
2942       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2943       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2944       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2945       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2946       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2947       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2948       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2949       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2950       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2951       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2952       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2953       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2954       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2955       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2956       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2957       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2958       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2959
2960     csit-vpp-perf-report-iterative-2009-2n-zn2:
2961       - 1   # rls2009 MRR turbo iter env 5
2962       - 3   # rls2009 NDRPDR turbo iter env 5
2963       - 4   # rls2009 NDRPDR turbo iter env 5
2964       - 6   # rls2009 NDRPDR turbo iter env 5
2965       - 7   # rls2009 NDRPDR turbo iter env 5
2966       - 8   # rls2009 NDRPDR turbo iter env 5
2967       - 9   # rls2009 NDRPDR turbo iter env 5
2968       - 10  # rls2009 NDRPDR turbo iter env 5
2969       - 11  # rls2009 NDRPDR turbo iter env 5
2970       - 15  # rls2009 MRR iter env 5
2971       - 17  # rls2009 NDRPDR iter env 5
2972       - 18  # rls2009 NDRPDR iter env 5
2973
2974     csit-vpp-perf-verify-2001-3n-tsh:
2975       - 9   # MRR sel
2976     csit-vpp-perf-report-iterative-2005-3n-tsh:
2977       - 23  # NDRPDR sel env 4
2978       - 25  # NDRPDR sel env 4
2979       - 33  # NDRPDR sel env 4
2980       - 34  # NDRPDR sel env 4
2981       - 35  # NDRPDR sel env 4
2982       - 36  # NDRPDR sel env 4
2983       - 37  # NDRPDR sel env 4
2984       - 38  # NDRPDR sel env 4
2985       - 39  # NDRPDR sel env 4
2986       - 40  # NDRPDR sel env 4
2987       - 28  # NDRPDR sel 2001.0-4
2988       - 29  # NDRPDR sel 2001.0-4
2989       - 31  # NDRPDR sel 2001.0-4
2990       - 27  # MRR sel env 4
2991     csit-vpp-perf-report-iterative-2009-3n-tsh:
2992       - 8   # rls2005 NDRPDR iter env 5
2993       - 11  # rls2005 NDRPDR iter env 5
2994       - 12  # rls2005 NDRPDR iter env 5
2995       - 24  # rls2005 NDRPDR iter env 5
2996       - 27  # rls2005 NDRPDR iter env 5
2997       - 29  # rls2005 NDRPDR iter env 5
2998       - 31  # rls2005 NDRPDR iter env 5
2999       - 39  # rls2005 NDRPDR iter env 5
3000       - 40  # rls2005 NDRPDR iter env 5
3001       - 42  # rls2005 NDRPDR iter env 5
3002       - 13  # rls2005 MRR iter env 5
3003       - 14  # rls2009 NDRPDR iter env 5
3004       - 20  # rls2009 NDRPDR iter env 5
3005       - 21  # rls2009 NDRPDR iter env 5
3006       - 22  # rls2009 NDRPDR iter env 5
3007       - 23  # rls2009 NDRPDR iter env 5
3008       - 28  # rls2009 NDRPDR iter env 5
3009       - 30  # rls2009 NDRPDR iter env 5
3010       - 33  # rls2009 NDRPDR iter env 5
3011       - 38  # rls2009 NDRPDR iter env 5
3012       - 41  # rls2009 NDRPDR iter env 5
3013       - 15  # rls2009 MRR iter env 5
3014
3015     csit-vpp-perf-verify-2001-3n-dnv:
3016       - 5   # NDRPDR sel
3017       - 6   # NDRPDR sel
3018       - 7   # NDRPDR sel
3019       - 8   # NDRPDR sel
3020       - 9   # NDRPDR sel
3021       - 10  # NDRPDR sel
3022       - 12  # NDRPDR sel
3023       - 16  # NDRPDR sel
3024       - 17  # NDRPDR sel
3025       - 18  # NDRPDR sel
3026       - 11  # MRR sel
3027     csit-vpp-perf-report-iterative-2009-3n-dnv:
3028       - 16  # rls2005 NDRPDR iter env 5
3029       - 23  # rls2005 NDRPDR iter env 5
3030       - 25  # rls2005 NDRPDR iter env 5
3031       - 26  # rls2005 NDRPDR iter env 5
3032       - 27  # rls2005 NDRPDR iter env 5
3033       - 28  # rls2005 NDRPDR iter env 5
3034       - 29  # rls2005 NDRPDR iter env 5
3035       - 30  # rls2005 NDRPDR iter env 5
3036       - 31  # rls2005 NDRPDR iter env 5
3037       - 32  # rls2005 NDRPDR iter env 5
3038       - 19  # rls2005 MRR iter env 5
3039       - 3   # rls2009 NDRPDR iter env 5
3040       - 6   # rls2009 NDRPDR iter env 5
3041       - 7   # rls2009 NDRPDR iter env 5
3042       - 8   # rls2009 NDRPDR iter env 5
3043       - 10  # rls2009 NDRPDR iter env 5
3044       - 11  # rls2009 NDRPDR iter env 5
3045       - 12  # rls2009 NDRPDR iter env 5
3046       - 14  # rls2009 NDRPDR iter env 5
3047       - 15  # rls2009 NDRPDR iter env 5
3048       - 24  # rls2009 NDRPDR iter env 5
3049       - 22  # rls2009 MRR iter env 5
3050     csit-vpp-perf-report-coverage-2009-3n-dnv:
3051       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3052       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3053       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3054       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3055       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3056       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3057       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3058       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3059       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3060
3061     csit-vpp-perf-verify-2001-2n-dnv:
3062       - 4   # NDRPDR sel
3063       - 5   # NDRPDR sel
3064       - 6   # NDRPDR sel
3065       - 7   # NDRPDR sel
3066       - 8   # NDRPDR sel
3067       - 9   # NDRPDR sel
3068       - 10  # NDRPDR sel
3069       - 11  # NDRPDR sel
3070       - 13  # NDRPDR sel
3071       - 16  # NDRPDR sel
3072       - 12  # MRR sel
3073     csit-vpp-perf-report-iterative-2009-2n-dnv:
3074       - 16  # rls2005 NDRPDR iter env 5
3075       - 17  # rls2005 NDRPDR iter env 5
3076       - 18  # rls2005 NDRPDR iter env 5
3077       - 19  # rls2005 NDRPDR iter env 5
3078       - 21  # rls2005 NDRPDR iter env 5
3079       - 24  # rls2005 NDRPDR iter env 5
3080       - 27  # rls2005 NDRPDR iter env 5
3081       - 28  # rls2005 NDRPDR iter env 5
3082       - 29  # rls2005 NDRPDR iter env 5
3083       - 30  # rls2005 NDRPDR iter env 5
3084       - 23  # rls2005 MRR iter env 5
3085       - 3   # rls2009 NDRPDR iter env 5
3086       - 5   # rls2009 NDRPDR iter env 5
3087       - 6   # rls2009 NDRPDR iter env 5
3088       - 7   # rls2009 NDRPDR iter env 5
3089       - 9   # rls2009 NDRPDR iter env 5
3090       - 10  # rls2009 NDRPDR iter env 5
3091       - 11  # rls2009 NDRPDR iter env 5
3092       - 12  # rls2009 NDRPDR iter env 5
3093       - 14  # rls2009 NDRPDR iter env 5
3094       - 15  # rls2009 NDRPDR iter env 5
3095       - 13  # rls2009 MRR iter env 5
3096     csit-vpp-perf-report-coverage-2009-2n-dnv:
3097       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3098       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3099       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3100       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3101       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3102       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3103
3104     csit-dpdk-perf-verify-2001-3n-hsw:
3105       - 4   # NDRPDR sel
3106       - 5   # NDRPDR sel
3107       - 6   # NDRPDR sel
3108       - 7   # NDRPDR sel
3109       - 8   # NDRPDR sel
3110       - 9   # NDRPDR sel
3111       - 10  # NDRPDR sel
3112       - 11  # NDRPDR sel
3113       - 12  # NDRPDR sel
3114       - 13  # NDRPDR sel
3115       - 15  # NDRPDR sel
3116       - 16  # NDRPDR sel
3117       - 17  # NDRPDR sel
3118       - 18  # NDRPDR sel
3119       - 19  # NDRPDR sel
3120       - 20  # NDRPDR sel
3121       - 21  # NDRPDR sel
3122       - 22  # NDRPDR sel
3123       - 23  # NDRPDR sel
3124       - 24  # NDRPDR sel
3125     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3126       - 25  # NDRPDR iter
3127       - 26  # NDRPDR iter
3128       - 27  # NDRPDR iter
3129       - 28  # NDRPDR iter
3130       - 29  # NDRPDR iter
3131       - 30  # NDRPDR iter
3132       - 31  # NDRPDR iter
3133       - 32  # NDRPDR iter
3134       - 33  # NDRPDR iter
3135       - 34  # NDRPDR iter
3136     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3137       - 6   # NDRPDR iter env5
3138       - 7   # NDRPDR iter env5
3139       - 8   # NDRPDR iter env5
3140       - 9   # NDRPDR iter env5
3141       - 10  # NDRPDR iter env5
3142       - 11  # NDRPDR iter env5
3143       - 12  # NDRPDR iter env5
3144       - 13  # NDRPDR iter env5
3145       - 14  # NDRPDR iter env5
3146       - 15  # NDRPDR iter env5
3147
3148     csit-dpdk-perf-verify-2001-3n-skx:
3149       - 29  # NDRPDR sel xxv710
3150       - 33  # NDRPDR sel xxv710
3151       - 34  # NDRPDR sel xxv710
3152       - 35  # NDRPDR sel xxv710
3153       - 36  # NDRPDR sel xxv710
3154       - 37  # NDRPDR sel xxv710
3155       - 41  # NDRPDR sel xxv710
3156       - 42  # NDRPDR sel xxv710
3157       - 43  # NDRPDR sel xxv710
3158       - 45  # NDRPDR sel xxv710
3159       - 30  # NDRPDR sel x710
3160       - 31  # NDRPDR sel x710
3161       - 32  # NDRPDR sel x710
3162       - 38  # NDRPDR sel x710
3163       - 39  # NDRPDR sel x710
3164       - 40  # NDRPDR sel x710
3165       - 44  # NDRPDR sel x710
3166       - 46  # NDRPDR sel x710
3167       - 47  # NDRPDR sel x710
3168       - 48  # NDRPDR sel x710
3169     csit-dpdk-perf-report-iterative-2005-3n-skx:
3170       - 28  # NDRPDR iter
3171       - 29  # NDRPDR iter
3172       - 30  # NDRPDR iter
3173       - 31  # NDRPDR iter
3174       - 32  # NDRPDR iter
3175       - 33  # NDRPDR iter
3176       - 34  # NDRPDR iter
3177       - 35  # NDRPDR iter
3178       - 36  # NDRPDR iter
3179       - 37  # NDRPDR iter
3180     csit-dpdk-perf-report-iterative-2009-3n-skx:
3181       - 4   # NDRPDR sel env5
3182       - 5   # NDRPDR sel env5
3183       - 6   # NDRPDR sel env5
3184       - 7   # NDRPDR sel env5
3185       - 8   # NDRPDR sel env5
3186       - 9   # NDRPDR sel env5
3187       - 14  # NDRPDR sel env5
3188       - 11  # NDRPDR sel env5
3189     &nbs