resources/tools/presentation/specification.yaml

   1 - type: "environment"
   2
   3   paths:
   4     # Top level directories:
   5     ## Working directory
   6     DIR[WORKING]: "_tmp"
   7     ## Build directories
   8     DIR[BUILD,HTML]: "_build"
   9     DIR[BUILD,LATEX]: "_build_latex"
  10
  11     # Static .rst files
  12     DIR[RST]: "../../../docs/report"
  13
  14     # Working directories
  15     ## Input data files (.zip, .xml)
  16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  17     ## Static source files from git
  18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  20
  21     # Static html content
  22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  26
  27     # Detailed test results
  28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  32     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
  33     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
  34     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
  35     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
  36     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
  37     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  38     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  39     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  40     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
  41     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
  42     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
  43     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
  44     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
  45     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  46     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  47     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  48     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
  49     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
  50     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
  51     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
  52     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  53
  54     # Detailed test configurations
  55     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  56     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
  57     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  58     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  59     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  60     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
  61     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
  62     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
  63     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
  64     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
  65     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  66     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  67     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  68     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
  69     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
  70     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
  71     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
  72     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  73
  74     # Detailed tests operational data
  75     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  76     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
  77     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  78     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  79     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  80     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
  81     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
  82     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
  83     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
  84
  85     # Latencies:
  86     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  87     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  88
  89     # .css patch file to fix tables generated by Sphinx
  90     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
  91     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
  92
  93   urls:
  94     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
  95     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
  96     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
  97     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
  98     DIR[NEXUS,DOC]: "report/_static/archive"
  99
 100   make-dirs:
 101   # List the directories which are created while preparing the environment.
 102   # All directories MUST be defined in "paths" section.
 103   - "DIR[WORKING,DATA]"
 104   - "DIR[STATIC,VPP]"
 105   - "DIR[STATIC,DPDK]"
 106   - "DIR[STATIC,ARCH]"
 107   - "DIR[BUILD,LATEX]"
 108   - "DIR[WORKING,SRC]"
 109   - "DIR[WORKING,SRC,STATIC]"
 110
 111   remove-dirs:
 112   # List the directories which are deleted while cleaning the environment.
 113   # All directories MUST be defined in "paths" section.
 114   #- "DIR[BUILD,HTML]"
 115   - "DIR[WORKING,DATA]"
 116
 117   build-dirs:
 118   # List the directories where the results (build) is stored.
 119   # All directories MUST be defined in "paths" section.
 120   - "DIR[BUILD,HTML]"
 121   - "DIR[BUILD,LATEX]"
 122
 123 - type: "configuration"
 124
 125   mapping-file: "mapping_report.yaml"
 126
 127   limits:
 128     nic:
 129       x520: 24460000
 130       x553: 29761905
 131       x710: 35800000
 132       xxv710: 35800000
 133       xl710: 35800000
 134       cx556a: 148809523.81
 135
 136     link:
 137       10ge: 14880952.38
 138       25ge: 37202380.95
 139       40ge: 59523809.52
 140       100ge: 148809523.81
 141
 142     pci:
 143       pci-g3-x8: 74404761.90
 144       pci-g3-x16: 148809523.81
 145
 146   data-sets:
 147
 148     ###########################################################################
 149     # Plots:
 150
 151     # 3n-hsw
 152
 153     plot-vpp-throughput-lat-tsa-3n-hsw:
 154       csit-vpp-perf-report-iterative-2009-3n-hsw:
 155         - 21  # rls2009 NDRPDR iter env 5
 156         - 22  # rls2009 NDRPDR iter env 5
 157         - 24  # rls2009 NDRPDR iter env 5
 158         - 25  # rls2009 NDRPDR iter env 5
 159         - 26  # rls2009 NDRPDR iter env 5
 160         - 27  # rls2009 NDRPDR iter env 5
 161         - 28  # rls2009 NDRPDR iter env 5
 162         - 29  # rls2009 NDRPDR iter env 5
 163         - 30  # rls2009 NDRPDR iter env 5
 164         - 31  # rls2009 NDRPDR iter env 5
 165
 166     plot-vpp-hdrh-lat-3n-hsw:
 167       csit-vpp-perf-report-iterative-2009-3n-hsw:
 168         - 22  # rls2009 NDRPDR iter env 5
 169
 170     plot-vpp-hoststack-3n-hsw:
 171       csit-vpp-perf-report-iterative-2009-3n-hsw:
 172         - 32  # rls2009 Hoststack iter env 5
 173         - 33  # rls2009 Hoststack iter env 5
 174         - 34  # rls2009 Hoststack iter env 5
 175         - 35  # rls2009 Hoststack iter env 5
 176         - 36  # rls2009 Hoststack iter env 5
 177         - 37  # rls2009 Hoststack iter env 5
 178         - 38  # rls2009 Hoststack iter env 5
 179         - 39  # rls2009 Hoststack iter env 5
 180         - 40  # rls2009 Hoststack iter env 5
 181         - 41  # rls2009 Hoststack iter env 5
 182
 183     plot-dpdk-throughput-latency-3n-hsw:
 184       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 185         - 6   # NDRPDR iter env5
 186         - 7   # NDRPDR iter env5
 187         - 8   # NDRPDR iter env5
 188         - 9   # NDRPDR iter env5
 189         - 10  # NDRPDR iter env5
 190         - 11  # NDRPDR iter env5
 191         - 12  # NDRPDR iter env5
 192         - 13  # NDRPDR iter env5
 193         - 14  # NDRPDR iter env5
 194         - 15  # NDRPDR iter env5
 195
 196     plot-dpdk-hdrh-lat-3n-hsw:
 197       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 198         - 6   # NDRPDR iter env5
 199
 200     # 3n-skx
 201
 202     plot-vpp-throughput-lat-tsa-3n-skx:
 203       csit-vpp-perf-report-iterative-2009-3n-skx:
 204         - 26  # rls2009 NDRPDR iter env 5
 205         - 27  # rls2009 NDRPDR iter env 5
 206         - 28  # rls2009 NDRPDR iter env 5
 207         - 29  # rls2009 NDRPDR iter env 5
 208         - 35  # rls2009 NDRPDR iter env 5
 209         - 36  # rls2009 NDRPDR iter env 5
 210         - 37  # rls2009 NDRPDR iter env 5
 211         - 38  # rls2009 NDRPDR iter env 5
 212         - 39  # rls2009 NDRPDR iter env 5
 213         - 40  # rls2009 NDRPDR iter env 5
 214
 215     plot-vpp-hdrh-lat-3n-skx:
 216       csit-vpp-perf-report-iterative-2009-3n-skx:
 217         - 27  # rls2009 NDRPDR iter env 5
 218
 219 #    plot-vpp-nfv-3n-skx-ndrpdr:
 220 #      # No data
 221 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 222
 223 #    plot-vpp-nfv-3n-skx-mrr:
 224 #      # No data
 225 #      csit-vpp-perf-report-iterative-2009-3n-skx:
 226
 227     plot-dpdk-throughput-latency-3n-skx:
 228       csit-dpdk-perf-report-iterative-2009-3n-skx:
 229         - 4   # NDRPDR sel env5
 230         - 5   # NDRPDR sel env5
 231         - 6   # NDRPDR sel env5
 232         - 7   # NDRPDR sel env5
 233         - 8   # NDRPDR sel env5
 234         - 9   # NDRPDR sel env5
 235         - 14  # NDRPDR sel env5
 236         - 11  # NDRPDR sel env5
 237         - 12  # NDRPDR sel env5
 238         - 13  # NDRPDR sel env5
 239
 240     plot-dpdk-hdrh-lat-3n-skx:
 241       csit-dpdk-perf-report-iterative-2009-3n-skx:
 242         - 4   # NDRPDR sel env5
 243
 244     # 2n-skx
 245
 246     plot-vpp-throughput-lat-tsa-2n-skx:
 247       csit-vpp-perf-report-iterative-2009-2n-skx:
 248         - 35  # rls2009 NDRPDR iter env 5
 249         - 36  # rls2009 NDRPDR iter env 5
 250         - 37  # rls2009 NDRPDR iter env 5
 251         - 39  # rls2009 NDRPDR iter env 5
 252         - 40  # rls2009 NDRPDR iter env 5
 253         - 42  # rls2009 NDRPDR iter env 5
 254         - 43  # rls2009 NDRPDR iter env 5
 255         - 44  # rls2009 NDRPDR iter env 5
 256         - 46  # rls2009 NDRPDR iter env 5
 257         - 48  # rls2009 NDRPDR iter env 5
 258         - 110 # rls2009 NDRPDR iter NAT44 env 5
 259         - 111 # rls2009 NDRPDR iter NAT44 env 5
 260         - 112 # rls2009 NDRPDR iter NAT44 env 5
 261         - 113 # rls2009 NDRPDR iter NAT44 env 5
 262         - 114 # rls2009 NDRPDR iter NAT44 env 5
 263         - 115 # rls2009 NDRPDR iter NAT44 env 5
 264         - 116 # rls2009 NDRPDR iter NAT44 env 5
 265         - 118 # rls2009 NDRPDR iter NAT44 env 5
 266         - 119 # rls2009 NDRPDR iter NAT44 env 5
 267         - 121 # rls2009 NDRPDR iter NAT44 env 5
 268
 269     plot-vpp-hdrh-lat-2n-skx:
 270       csit-vpp-perf-report-iterative-2009-2n-skx:
 271         - 35  # rls2009 NDRPDR iter env 5
 272
 273     plot-vpp-hdrh-lat-2n-skx-nat44:
 274       csit-vpp-perf-report-iterative-2009-2n-skx:
 275         - 110 # rls2009 NDRPDR iter NAT44 env 5
 276
 277     plot-vpp-soak-2n-skx:
 278       csit-vpp-perf-report-iterative-2009-2n-skx:
 279         - 33  # rls2009 soak env 5
 280         - 34  # rls2009 soak env 5
 281
 282     plot-vpp-nfv-2n-skx-ndrpdr:
 283       csit-vpp-perf-report-iterative-2009-2n-skx:
 284         - 38  # rls2009 nf-density iter env 5
 285         - 41  # rls2009 nf-density iter env 5
 286         - 45  # rls2009 nf-density iter env 5
 287         - 47  # rls2009 nf-density iter env 5
 288         - 49  # rls2009 nf-density iter env 5
 289         - 63  # rls2009 nf-density iter env 5
 290         - 65  # rls2009 nf-density iter env 5
 291         - 66  # rls2009 nf-density iter env 5
 292         - 71  # rls2009 nf-density iter env 5
 293         - 72  # rls2009 nf-density iter env 5
 294
 295     plot-vpp-nfv-2n-skx-mrr:
 296       csit-vpp-perf-report-iterative-2009-2n-skx:
 297         - 50  # rls2009 MRR nf-density iter env 5
 298
 299     plot-vpp-nfv-reconf-2n-skx:
 300       csit-vpp-perf-report-iterative-2009-2n-skx:
 301         - 27  # rls2009 reconf env 5
 302         - 28  # rls2009 reconf env 5
 303         - 29  # rls2009 reconf env 5
 304         - 30  # rls2009 reconf env 5
 305         - 31  # rls2009 reconf env 5
 306         - 32  # rls2009 reconf env 5
 307         - 61  # rls2009 reconf env 5
 308         - 62  # rls2009 reconf env 5
 309         - 68  # rls2009 reconf env 5
 310         - 70  # rls2009 reconf env 5
 311
 312     plot-dpdk-throughput-latency-2n-skx:
 313       csit-dpdk-perf-report-iterative-2009-2n-skx:
 314         - 4   # NDRPDR iter env5
 315         - 5   # NDRPDR iter env5
 316         - 6   # NDRPDR iter env5
 317         - 7   # NDRPDR iter env5
 318         - 8   # NDRPDR iter env5
 319         - 9   # NDRPDR iter env5
 320         - 10  # NDRPDR iter env5
 321         - 11  # NDRPDR iter env5
 322         - 12  # NDRPDR iter env5
 323         - 13  # NDRPDR iter env5
 324
 325     plot-dpdk-hdrh-lat-2n-skx:
 326       csit-dpdk-perf-report-iterative-2009-2n-skx:
 327         - 4   # NDRPDR iter env5
 328
 329     # 2n-clx
 330
 331     plot-vpp-throughput-lat-tsa-2n-clx:
 332       csit-vpp-perf-report-iterative-2009-2n-clx:
 333         - 36  # rls2009 NDRPDR iter env 5
 334         - 39  # rls2009 NDRPDR iter env 5
 335         - 40  # rls2009 NDRPDR iter env 5
 336         - 65  # rls2009 NDRPDR iter env 5
 337         - 66  # rls2009 NDRPDR iter env 5
 338         - 79  # rls2009 NDRPDR iter env 5
 339         - 82  # rls2009 NDRPDR iter env 5
 340         - 88  # rls2009 NDRPDR iter env 5
 341         - 89  # rls2009 NDRPDR iter env 5
 342         - 90  # rls2009 NDRPDR iter env 5
 343         - 114 # rls2009 NDRPDR iter NAT44 env 5
 344         - 115 # rls2009 NDRPDR iter NAT44 env 5
 345         - 116 # rls2009 NDRPDR iter NAT44 env 5
 346         - 117 # rls2009 NDRPDR iter NAT44 env 5
 347         - 118 # rls2009 NDRPDR iter NAT44 env 5
 348         - 119 # rls2009 NDRPDR iter NAT44 env 5
 349         - 121 # rls2009 NDRPDR iter NAT44 env 5
 350         - 122 # rls2009 NDRPDR iter NAT44 env 5
 351         - 123 # rls2009 NDRPDR iter NAT44 env 5
 352         - 126 # rls2009 NDRPDR iter NAT44 env 5
 353
 354     plot-vpp-hdrh-lat-2n-clx:
 355       csit-vpp-perf-report-iterative-2009-2n-clx:
 356         - 36  # rls2009 NDRPDR iter env 5
 357
 358     plot-vpp-hdrh-lat-2n-clx-nat44:
 359       csit-vpp-perf-report-iterative-2009-2n-clx:
 360         - 123 # rls2009 NDRPDR iter NAT44 env 5
 361
 362     plot-vpp-nfv-2n-clx-ndrpdr:
 363       csit-vpp-perf-report-iterative-2009-2n-clx:
 364         - 37  # rls2009 nf-density iter env 5
 365         - 43  # rls2009 nf-density iter env 5
 366         - 69  # rls2009 nf-density iter env 5
 367         - 70  # rls2009 nf-density iter env 5
 368         - 71  # rls2009 nf-density iter env 5
 369         - 72  # rls2009 nf-density iter env 5
 370         - 73  # rls2009 nf-density iter env 5
 371         - 74  # rls2009 nf-density iter env 5
 372         - 75  # rls2009 nf-density iter env 5
 373         - 76  # rls2009 nf-density iter env 5
 374
 375     plot-vpp-nfv-2n-clx-mrr:
 376       csit-vpp-perf-report-iterative-2009-2n-clx:
 377         - 45  # rls2009 MRR nf-density iter env 5
 378
 379     plot-vpp-nfv-reconf-2n-clx:
 380       csit-vpp-perf-report-iterative-2009-2n-clx:
 381         - 25  # rls2009 reconf env 5
 382         - 27  # rls2009 reconf env 5
 383         - 28  # rls2009 reconf env 5
 384         - 29  # rls2009 reconf env 5
 385         - 30  # rls2009 reconf env 5
 386         - 30  # rls2009 reconf env 5
 387         - 32  # rls2009 reconf env 5
 388         - 48  # rls2009 reconf env 5
 389         - 53  # rls2009 reconf env 5
 390         - 68  # rls2009 reconf env 5
 391
 392     plot-vpp-soak-2n-clx:
 393       csit-vpp-perf-report-iterative-2009-2n-clx:
 394         - 33  # rls2009 soak env 5
 395         - 34  # rls2009 soak env 5
 396
 397     plot-dpdk-throughput-latency-2n-clx:
 398       csit-dpdk-perf-report-iterative-2009-2n-clx:
 399         - 4   # NDRPDR iter env5
 400         - 5   # NDRPDR iter env5
 401         - 6   # NDRPDR iter env5
 402         - 7   # NDRPDR iter env5
 403         - 8   # NDRPDR iter env5
 404         - 9   # NDRPDR iter env5
 405         - 10  # NDRPDR iter env5
 406         - 11  # NDRPDR iter env5
 407         - 12  # NDRPDR iter env5
 408         - 13  # NDRPDR iter env5
 409
 410     plot-dpdk-hdrh-lat-2n-clx:
 411       csit-dpdk-perf-report-iterative-2009-2n-clx:
 412         - 4   # NDRPDR iter env5
 413
 414     # 3n-tsh
 415
 416     plot-vpp-throughput-lat-tsa-3n-tsh:
 417       csit-vpp-perf-report-iterative-2009-3n-tsh:
 418         - 14  # rls2009 NDRPDR iter env 5
 419         - 20  # rls2009 NDRPDR iter env 5
 420         - 21  # rls2009 NDRPDR iter env 5
 421         - 22  # rls2009 NDRPDR iter env 5
 422         - 23  # rls2009 NDRPDR iter env 5
 423         - 28  # rls2009 NDRPDR iter env 5
 424         - 30  # rls2009 NDRPDR iter env 5
 425         - 33  # rls2009 NDRPDR iter env 5
 426         - 38  # rls2009 NDRPDR iter env 5
 427         - 41  # rls2009 NDRPDR iter env 5
 428
 429     plot-vpp-hdrh-lat-3n-tsh:
 430       csit-vpp-perf-report-iterative-2009-3n-tsh:
 431         - 14  # rls2009 NDRPDR iter env 5
 432
 433     plot-dpdk-throughput-latency-3n-tsh:
 434       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 435         - 1   # NDRPDR iter env5
 436         - 2   # NDRPDR iter env5
 437         - 3   # NDRPDR iter env5
 438         - 4   # NDRPDR iter env5
 439         - 5   # NDRPDR iter env5
 440         - 6   # NDRPDR iter env5
 441         - 7   # NDRPDR iter env5
 442         - 9   # NDRPDR iter env5
 443         - 10  # NDRPDR iter env5
 444         - 11  # NDRPDR iter env5
 445
 446     plot-dpdk-hdrh-lat-3n-tsh:
 447       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 448         - 1   # NDRPDR iter env5
 449
 450     # 3n-dnv
 451
 452     plot-vpp-throughput-lat-tsa-3n-dnv:
 453       csit-vpp-perf-report-iterative-2009-3n-dnv:
 454         - 3   # rls2009 NDRPDR iter env 5
 455         - 6   # rls2009 NDRPDR iter env 5
 456         - 7   # rls2009 NDRPDR iter env 5
 457         - 8   # rls2009 NDRPDR iter env 5
 458         - 10  # rls2009 NDRPDR iter env 5
 459         - 11  # rls2009 NDRPDR iter env 5
 460         - 12  # rls2009 NDRPDR iter env 5
 461         - 14  # rls2009 NDRPDR iter env 5
 462         - 15  # rls2009 NDRPDR iter env 5
 463         - 24  # rls2009 NDRPDR iter env 5
 464
 465 #    plot-dpdk-throughput-latency-3n-dnv:
 466 #      # No data
 467 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 468
 469     # 2n-dnv
 470
 471     plot-vpp-throughput-lat-tsa-2n-dnv:
 472       csit-vpp-perf-report-iterative-2009-2n-dnv:
 473         - 3   # rls2009 NDRPDR iter env 5
 474         - 5   # rls2009 NDRPDR iter env 5
 475         - 6   # rls2009 NDRPDR iter env 5
 476         - 7   # rls2009 NDRPDR iter env 5
 477         - 9   # rls2009 NDRPDR iter env 5
 478         - 10  # rls2009 NDRPDR iter env 5
 479         - 11  # rls2009 NDRPDR iter env 5
 480         - 12  # rls2009 NDRPDR iter env 5
 481         - 14  # rls2009 NDRPDR iter env 5
 482         - 15  # rls2009 NDRPDR iter env 5
 483
 484 #    plot-dpdk-throughput-latency-2n-dnv:
 485 #      # No data
 486 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 487
 488     ###########################################################################
 489     # Simple tables (only one data set):
 490
 491     # NIC Comparisons
 492
 493     vpp-nic-comparison-3n-skx:
 494       csit-vpp-perf-report-iterative-2009-3n-skx:
 495         - 26  # rls2009 NDRPDR iter env 5
 496         - 27  # rls2009 NDRPDR iter env 5
 497         - 28  # rls2009 NDRPDR iter env 5
 498         - 29  # rls2009 NDRPDR iter env 5
 499         - 35  # rls2009 NDRPDR iter env 5
 500         - 36  # rls2009 NDRPDR iter env 5
 501         - 37  # rls2009 NDRPDR iter env 5
 502         - 38  # rls2009 NDRPDR iter env 5
 503         - 39  # rls2009 NDRPDR iter env 5
 504         - 40  # rls2009 NDRPDR iter env 5
 505
 506     vpp-nic-comparison-2n-skx:
 507       csit-vpp-perf-report-iterative-2009-2n-skx:
 508         - 35  # rls2009 NDRPDR iter env 5
 509         - 36  # rls2009 NDRPDR iter env 5
 510         - 37  # rls2009 NDRPDR iter env 5
 511         - 39  # rls2009 NDRPDR iter env 5
 512         - 40  # rls2009 NDRPDR iter env 5
 513         - 42  # rls2009 NDRPDR iter env 5
 514         - 43  # rls2009 NDRPDR iter env 5
 515         - 44  # rls2009 NDRPDR iter env 5
 516         - 46  # rls2009 NDRPDR iter env 5
 517         - 48  # rls2009 NDRPDR iter env 5
 518         - 110 # rls2009 NDRPDR iter NAT44 env 5
 519         - 111 # rls2009 NDRPDR iter NAT44 env 5
 520         - 112 # rls2009 NDRPDR iter NAT44 env 5
 521         - 113 # rls2009 NDRPDR iter NAT44 env 5
 522         - 114 # rls2009 NDRPDR iter NAT44 env 5
 523         - 115 # rls2009 NDRPDR iter NAT44 env 5
 524         - 116 # rls2009 NDRPDR iter NAT44 env 5
 525         - 118 # rls2009 NDRPDR iter NAT44 env 5
 526         - 119 # rls2009 NDRPDR iter NAT44 env 5
 527         - 121 # rls2009 NDRPDR iter NAT44 env 5
 528
 529     vpp-nic-comparison-3n-skx-mrr:
 530       csit-vpp-perf-report-iterative-2009-3n-skx:
 531         - 24  # rls2009 MRR iter env 5
 532
 533     vpp-nic-comparison-2n-skx-mrr:
 534       csit-vpp-perf-report-iterative-2009-2n-skx:
 535         - 120 # rls2009 MRR iter env 5
 536
 537     # Results
 538
 539     vpp-perf-results-3n-hsw:
 540       csit-vpp-perf-report-coverage-2009-3n-hsw:
 541         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
 542         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
 543         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
 544         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
 545         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
 546         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
 547         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
 548         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
 549         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
 550         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
 551         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
 552         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
 553         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
 554         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
 555         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
 556         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
 557         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
 558         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
 559         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
 560         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
 561         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
 562         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
 563         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
 564         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
 565         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
 566         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
 567         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
 568         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
 569         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
 570         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
 571         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
 572         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
 573         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
 574         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
 575         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
 576
 577     vpp-perf-results-3n-skx:
 578       csit-vpp-perf-report-coverage-2009-3n-skx:
 579         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
 580         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
 581         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
 582         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
 583         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
 584         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
 585         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
 586         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
 587         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
 588         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
 589         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
 590         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
 591         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
 592         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
 593         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
 594         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
 595         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
 596         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
 597         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
 598         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
 599         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
 600         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
 601         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
 602         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
 603         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
 604         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
 605         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
 606         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
 607         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
 608         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
 609         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
 610         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
 611         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
 612         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
 613         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
 614         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
 615
 616     vpp-perf-results-2n-skx:
 617       csit-vpp-perf-report-coverage-2009-2n-skx:
 618         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
 619         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
 620         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
 621         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
 622         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
 623         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
 624         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
 625         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
 626         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
 627         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
 628         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
 629         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
 630         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
 631         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
 632         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
 633         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
 634         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
 635
 636     vpp-perf-results-2n-clx:
 637       csit-vpp-perf-report-coverage-2009-2n-clx:
 638         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
 639         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
 640         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
 641         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
 642         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
 643         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
 644         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
 645         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
 646         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
 647         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
 648         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
 649         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
 650         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
 651         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
 652         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
 653         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
 654         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
 655
 656     vpp-perf-results-3n-tsh:
 657       csit-vpp-perf-report-iterative-2009-3n-tsh:
 658         - 14  # rls2009 NDRPDR iter env 5
 659
 660     vpp-perf-results-3n-dnv:
 661       csit-vpp-perf-report-coverage-2009-3n-dnv:
 662         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
 663         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
 664         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
 665         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
 666         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
 667         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
 668         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
 669         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
 670         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
 671
 672     vpp-perf-results-2n-dnv:
 673       csit-vpp-perf-report-coverage-2009-2n-dnv:
 674         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
 675         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
 676         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
 677         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
 678         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
 679         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
 680
 681     vpp-mrr-results-3n-hsw:
 682       csit-vpp-perf-report-iterative-2009-3n-hsw:
 683         - 23  # rls2009 MRR iter env 5
 684
 685     vpp-mrr-results-3n-skx:
 686       csit-vpp-perf-report-iterative-2009-3n-skx:
 687         - 24  # rls2009 MRR iter env 5
 688
 689     vpp-mrr-results-2n-skx:
 690       csit-vpp-perf-report-iterative-2009-2n-skx:
 691         - 120 # rls2009 MRR iter env 5
 692
 693     vpp-mrr-results-2n-clx:
 694       csit-vpp-perf-report-iterative-2009-2n-clx:
 695         - 125 # rls2009 MRR iter env 5
 696
 697     vpp-mrr-results-3n-tsh:
 698       csit-vpp-perf-report-iterative-2009-3n-tsh:
 699         - 15  # rls2009 MRR iter env 5
 700
 701     vpp-mrr-results-3n-dnv:
 702       csit-vpp-perf-report-iterative-2009-3n-dnv:
 703         - 22  # rls2009 MRR iter env 5
 704
 705     vpp-mrr-results-2n-dnv:
 706       csit-vpp-perf-report-iterative-2009-2n-dnv:
 707         - 13  # rls2009 MRR iter env 5
 708
 709     vpp-device-results-ubuntu:
 710       csit-vpp-device-2009-ubuntu1804-1n-skx:
 711         - 131 # rls2009 env 5
 712
 713     dpdk-perf-results-3n-hsw:
 714       csit-dpdk-perf-report-iterative-2009-3n-hsw:
 715         - 6   # NDRPDR iter env5
 716
 717     dpdk-perf-results-3n-skx:
 718       csit-dpdk-perf-report-iterative-2009-3n-skx:
 719         - 4   # NDRPDR sel env5
 720
 721     dpdk-perf-results-2n-skx:
 722       csit-dpdk-perf-report-iterative-2009-2n-skx:
 723         - 4   # NDRPDR iter env5
 724
 725     dpdk-perf-results-2n-clx:
 726       csit-dpdk-perf-report-iterative-2009-2n-clx:
 727         - 4   # NDRPDR iter env5
 728
 729 #    dpdk-perf-results-2n-dnv:
 730 #      # No data
 731 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 732
 733 #    dpdk-perf-results-3n-dnv:
 734 #      # No data
 735 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 736
 737     dpdk-perf-results-3n-tsh:
 738       csit-dpdk-perf-report-iterative-2009-3n-tsh:
 739         - 1   # NDRPDR iter env5
 740
 741 ###########################################################################
 742     # Tables (more than one data set)
 743
 744     # Performance changes
 745
 746     vpp-performance-changes-3n-hsw-h1:
 747       csit-vpp-perf-report-iterative-2005-3n-hsw:
 748         - 31  # NDRPDR sel 2001.0-4
 749         - 32  # NDRPDR sel 2001.0-4
 750         - 33  # NDRPDR sel 2001.0-4
 751         - 34  # NDRPDR sel 2001.0-4
 752         - 35  # NDRPDR sel 2001.0-4
 753         - 36  # NDRPDR sel 2001.0-4
 754         - 38  # NDRPDR sel 2001.0-4
 755     vpp-performance-changes-3n-hsw-ref-env4:
 756       csit-vpp-perf-report-iterative-2005-3n-hsw:
 757         - 20  # NDRPDR sel env 4
 758         - 21  # NDRPDR sel env 4
 759         - 22  # NDRPDR sel env 4
 760         - 23  # NDRPDR sel env 4
 761         - 24  # NDRPDR sel env 4
 762         - 25  # NDRPDR sel env 4
 763         - 26  # NDRPDR sel env 4
 764         - 27  # NDRPDR sel env 4
 765         - 28  # NDRPDR sel env 4
 766         - 29  # NDRPDR sel env 4
 767     vpp-performance-changes-3n-hsw-ref-env5:
 768       csit-vpp-perf-report-iterative-2009-3n-hsw:
 769         - 9   # rls2005 NDRPDR iter env 5
 770         - 10  # rls2005 NDRPDR iter env 5
 771         - 11  # rls2005 NDRPDR iter env 5
 772         - 12  # rls2005 NDRPDR iter env 5
 773         - 13  # rls2005 NDRPDR iter env 5
 774         - 14  # rls2005 NDRPDR iter env 5
 775         - 15  # rls2005 NDRPDR iter env 5
 776         - 16  # rls2005 NDRPDR iter env 5
 777         - 17  # rls2005 NDRPDR iter env 5
 778         - 19  # rls2005 NDRPDR iter env 5
 779     vpp-performance-changes-3n-hsw-cmp:
 780       csit-vpp-perf-report-iterative-2009-3n-hsw:
 781         - 21  # rls2009 NDRPDR iter env 5
 782         - 22  # rls2009 NDRPDR iter env 5
 783         - 24  # rls2009 NDRPDR iter env 5
 784         - 25  # rls2009 NDRPDR iter env 5
 785         - 26  # rls2009 NDRPDR iter env 5
 786         - 27  # rls2009 NDRPDR iter env 5
 787         - 28  # rls2009 NDRPDR iter env 5
 788         - 29  # rls2009 NDRPDR iter env 5
 789         - 30  # rls2009 NDRPDR iter env 5
 790         - 31  # rls2009 NDRPDR iter env 5
 791
 792     vpp-performance-changes-3n-skx-h1:
 793       csit-vpp-perf-report-iterative-2005-3n-skx:
 794         - 50  # NDRPDR sel 2001.0-4
 795         - 51  # NDRPDR sel 2001.0-4
 796         - 52  # NDRPDR sel 2001.0-4
 797         - 53  # NDRPDR sel 2001.0-4
 798         - 54  # NDRPDR sel 2001.0-4
 799     vpp-performance-changes-3n-skx-ref-env4:
 800       csit-vpp-perf-report-iterative-2005-3n-skx:
 801         - 42  # NDRPDR sel env 4
 802         - 43  # NDRPDR sel env 4
 803         - 44  # NDRPDR sel env 4
 804         - 45  # NDRPDR sel env 4
 805         - 47  # NDRPDR sel env 4
 806         - 55  # NDRPDR sel env 4
 807         - 56  # NDRPDR sel env 4
 808         - 57  # NDRPDR sel env 4
 809         - 61  # NDRPDR sel env 4
 810         - 62  # NDRPDR sel env 4
 811     vpp-performance-changes-3n-skx-ref-env5:
 812       csit-vpp-perf-report-iterative-2009-3n-skx:
 813         - 13  # rls2005 NDRPDR iter env 5
 814         - 18  # rls2005 NDRPDR iter env 5
 815         - 19  # rls2005 NDRPDR iter env 5
 816         - 41  # rls2005 NDRPDR iter env 5
 817         - 43  # rls2005 NDRPDR iter env 5
 818         - 44  # rls2005 NDRPDR iter env 5
 819         - 45  # rls2005 NDRPDR iter env 5
 820         - 46  # rls2005 NDRPDR iter env 5
 821         - 48  # rls2005 NDRPDR iter env 5
 822         - 49  # rls2005 NDRPDR iter env 5
 823     vpp-performance-changes-3n-skx-cmp:
 824       csit-vpp-perf-report-iterative-2009-3n-skx:
 825         - 26  # rls2009 NDRPDR iter env 5
 826         - 27  # rls2009 NDRPDR iter env 5
 827         - 28  # rls2009 NDRPDR iter env 5
 828         - 29  # rls2009 NDRPDR iter env 5
 829         - 35  # rls2009 NDRPDR iter env 5
 830         - 36  # rls2009 NDRPDR iter env 5
 831         - 37  # rls2009 NDRPDR iter env 5
 832         - 38  # rls2009 NDRPDR iter env 5
 833         - 39  # rls2009 NDRPDR iter env 5
 834         - 40  # rls2009 NDRPDR iter env 5
 835
 836     vpp-performance-changes-2n-skx-h1:
 837       csit-vpp-perf-report-iterative-2005-2n-skx:
 838         - 100 # NDRPDR sel 2001.0-4
 839         - 101 # NDRPDR sel 2001.0-4
 840         - 102 # NDRPDR sel 2001.0-4
 841         - 103 # NDRPDR sel 2001.0-4
 842         - 104 # NDRPDR sel 2001.0-4
 843         - 105 # NDRPDR sel 2001.0-4
 844     vpp-performance-changes-2n-skx-ref-env4:
 845       csit-vpp-perf-report-iterative-2005-2n-skx:
 846         - 88  # NDRPDR sel env 4
 847         - 89  # NDRPDR sel env 4
 848         - 90  # NDRPDR sel env 4
 849         - 91  # NDRPDR sel env 4
 850         - 92  # NDRPDR sel env 4
 851         - 93  # NDRPDR sel env 4
 852         - 94  # NDRPDR sel env 4
 853         - 125 # NDRPDR sel env 4
 854         - 126 # NDRPDR sel env 4
 855         - 127 # NDRPDR sel env 4
 856     vpp-performance-changes-2n-skx-ref-env5:
 857       csit-vpp-perf-report-iterative-2009-2n-skx:
 858         - 13  # rls2005 NDRPDR iter env 5
 859         - 16  # rls2005 NDRPDR iter env 5
 860         - 17  # rls2005 NDRPDR iter env 5
 861         - 18  # rls2005 NDRPDR iter env 5
 862         - 19  # rls2005 NDRPDR iter env 5
 863         - 21  # rls2005 NDRPDR iter env 5
 864         - 22  # rls2005 NDRPDR iter env 5
 865         - 23  # rls2005 NDRPDR iter env 5
 866         - 24  # rls2005 NDRPDR iter env 5
 867         - 25  # rls2005 NDRPDR iter env 5
 868     vpp-performance-changes-2n-skx-cmp:
 869       csit-vpp-perf-report-iterative-2009-2n-skx:
 870         - 35  # rls2009 NDRPDR iter env 5
 871         - 36  # rls2009 NDRPDR iter env 5
 872         - 37  # rls2009 NDRPDR iter env 5
 873         - 39  # rls2009 NDRPDR iter env 5
 874         - 40  # rls2009 NDRPDR iter env 5
 875         - 42  # rls2009 NDRPDR iter env 5
 876         - 43  # rls2009 NDRPDR iter env 5
 877         - 44  # rls2009 NDRPDR iter env 5
 878         - 46  # rls2009 NDRPDR iter env 5
 879         - 48  # rls2009 NDRPDR iter env 5
 880         - 110 # rls2009 NDRPDR iter NAT44 env 5
 881         - 111 # rls2009 NDRPDR iter NAT44 env 5
 882         - 112 # rls2009 NDRPDR iter NAT44 env 5
 883         - 113 # rls2009 NDRPDR iter NAT44 env 5
 884         - 114 # rls2009 NDRPDR iter NAT44 env 5
 885         - 115 # rls2009 NDRPDR iter NAT44 env 5
 886         - 116 # rls2009 NDRPDR iter NAT44 env 5
 887         - 118 # rls2009 NDRPDR iter NAT44 env 5
 888         - 119 # rls2009 NDRPDR iter NAT44 env 5
 889         - 121 # rls2009 NDRPDR iter NAT44 env 5
 890
 891     vpp-performance-changes-2n-clx-h1:
 892       csit-vpp-perf-report-iterative-2005-2n-clx:
 893         - 73  # NDRPDR sel 2001.0-4
 894         - 74  # NDRPDR sel 2001.0-4
 895         - 75  # NDRPDR sel 2001.0-4
 896         - 76  # NDRPDR sel 2001.0-4
 897         - 77  # NDRPDR sel 2001.0-4
 898         - 78  # NDRPDR sel 2001.0-4
 899         - 79  # NDRPDR sel 2001.0-4
 900         - 80  # NDRPDR sel 2001.0-4
 901     vpp-performance-changes-2n-clx-ref-env4:
 902       csit-vpp-perf-report-iterative-2005-2n-clx:
 903         - 62  # NDRPDR sel env 4
 904         - 63  # NDRPDR sel env 4
 905         - 64  # NDRPDR sel env 4
 906         - 65  # NDRPDR sel env 4
 907         - 66  # NDRPDR sel env 4
 908         - 68  # NDRPDR sel env 4
 909         - 69  # NDRPDR sel env 4
 910         - 70  # NDRPDR sel env 4
 911         - 103 # NDRPDR sel env 4
 912         - 104 # NDRPDR sel env 4
 913     vpp-performance-changes-2n-clx-ref-env5:
 914       csit-vpp-perf-report-iterative-2009-2n-clx:
 915         - 13  # rls2005 NDRPDR iter env 5
 916         - 15  # rls2005 NDRPDR iter env 5
 917         - 17  # rls2005 NDRPDR iter env 5
 918         - 18  # rls2005 NDRPDR iter env 5
 919         - 19  # rls2005 NDRPDR iter env 5
 920         - 20  # rls2005 NDRPDR iter env 5
 921         - 21  # rls2005 NDRPDR iter env 5
 922         - 22  # rls2005 NDRPDR iter env 5
 923         - 23  # rls2005 NDRPDR iter env 5
 924         - 24  # rls2005 NDRPDR iter env 5
 925     vpp-performance-changes-2n-clx-cmp:
 926       csit-vpp-perf-report-iterative-2009-2n-clx:
 927         - 36  # rls2009 NDRPDR iter env 5
 928         - 39  # rls2009 NDRPDR iter env 5
 929         - 40  # rls2009 NDRPDR iter env 5
 930         - 65  # rls2009 NDRPDR iter env 5
 931         - 66  # rls2009 NDRPDR iter env 5
 932         - 79  # rls2009 NDRPDR iter env 5
 933         - 82  # rls2009 NDRPDR iter env 5
 934         - 88  # rls2009 NDRPDR iter env 5
 935         - 89  # rls2009 NDRPDR iter env 5
 936         - 90  # rls2009 NDRPDR iter env 5
 937         - 114 # rls2009 NDRPDR iter NAT44 env 5
 938         - 115 # rls2009 NDRPDR iter NAT44 env 5
 939         - 116 # rls2009 NDRPDR iter NAT44 env 5
 940         - 117 # rls2009 NDRPDR iter NAT44 env 5
 941         - 118 # rls2009 NDRPDR iter NAT44 env 5
 942         - 119 # rls2009 NDRPDR iter NAT44 env 5
 943         - 121 # rls2009 NDRPDR iter NAT44 env 5
 944         - 122 # rls2009 NDRPDR iter NAT44 env 5
 945         - 123 # rls2009 NDRPDR iter NAT44 env 5
 946         - 126 # rls2009 NDRPDR iter NAT44 env 5
 947
 948     vpp-performance-changes-2n-dnv-h1:
 949       csit-vpp-perf-verify-2001-2n-dnv:
 950         - 4   # NDRPDR sel
 951         - 5   # NDRPDR sel
 952         - 6   # NDRPDR sel
 953         - 7   # NDRPDR sel
 954         - 8   # NDRPDR sel
 955         - 9   # NDRPDR sel
 956         - 10  # NDRPDR sel
 957         - 11  # NDRPDR sel
 958         - 13  # NDRPDR sel
 959         - 16  # NDRPDR sel
 960     vpp-performance-changes-2n-dnv-ref:
 961       csit-vpp-perf-report-iterative-2009-2n-dnv:
 962         - 16  # rls2005 NDRPDR iter env 5
 963         - 17  # rls2005 NDRPDR iter env 5
 964         - 18  # rls2005 NDRPDR iter env 5
 965         - 19  # rls2005 NDRPDR iter env 5
 966         - 21  # rls2005 NDRPDR iter env 5
 967         - 24  # rls2005 NDRPDR iter env 5
 968         - 27  # rls2005 NDRPDR iter env 5
 969         - 28  # rls2005 NDRPDR iter env 5
 970         - 29  # rls2005 NDRPDR iter env 5
 971         - 30  # rls2005 NDRPDR iter env 5
 972     vpp-performance-changes-2n-dnv-cmp:
 973       csit-vpp-perf-report-iterative-2009-2n-dnv:
 974         - 3   # rls2009 NDRPDR iter env 5
 975         - 5   # rls2009 NDRPDR iter env 5
 976         - 6   # rls2009 NDRPDR iter env 5
 977         - 7   # rls2009 NDRPDR iter env 5
 978         - 9   # rls2009 NDRPDR iter env 5
 979         - 10  # rls2009 NDRPDR iter env 5
 980         - 11  # rls2009 NDRPDR iter env 5
 981         - 12  # rls2009 NDRPDR iter env 5
 982         - 14  # rls2009 NDRPDR iter env 5
 983         - 15  # rls2009 NDRPDR iter env 5
 984
 985     vpp-performance-changes-3n-dnv-h1:
 986       csit-vpp-perf-verify-2001-3n-dnv:
 987         - 5   # NDRPDR sel
 988         - 6   # NDRPDR sel
 989         - 7   # NDRPDR sel
 990         - 8   # NDRPDR sel
 991         - 9   # NDRPDR sel
 992         - 10  # NDRPDR sel
 993         - 12  # NDRPDR sel
 994         - 16  # NDRPDR sel
 995         - 17  # NDRPDR sel
 996         - 18  # NDRPDR sel
 997     vpp-performance-changes-3n-dnv-ref:
 998       csit-vpp-perf-report-iterative-2009-3n-dnv:
 999         - 16  # rls2005 NDRPDR iter env 5
1000         - 23  # rls2005 NDRPDR iter env 5
1001         - 25  # rls2005 NDRPDR iter env 5
1002         - 26  # rls2005 NDRPDR iter env 5
1003         - 27  # rls2005 NDRPDR iter env 5
1004         - 28  # rls2005 NDRPDR iter env 5
1005         - 29  # rls2005 NDRPDR iter env 5
1006         - 30  # rls2005 NDRPDR iter env 5
1007         - 31  # rls2005 NDRPDR iter env 5
1008         - 32  # rls2005 NDRPDR iter env 5
1009     vpp-performance-changes-3n-dnv-cmp:
1010       csit-vpp-perf-report-iterative-2009-3n-dnv:
1011         - 3   # rls2009 NDRPDR iter env 5
1012         - 6   # rls2009 NDRPDR iter env 5
1013         - 7   # rls2009 NDRPDR iter env 5
1014         - 8   # rls2009 NDRPDR iter env 5
1015         - 10  # rls2009 NDRPDR iter env 5
1016         - 11  # rls2009 NDRPDR iter env 5
1017         - 12  # rls2009 NDRPDR iter env 5
1018         - 14  # rls2009 NDRPDR iter env 5
1019         - 15  # rls2009 NDRPDR iter env 5
1020         - 24  # rls2009 NDRPDR iter env 5
1021
1022     vpp-performance-changes-3n-tsh-h1:
1023       csit-vpp-perf-report-iterative-2005-3n-tsh:
1024         - 28  # NDRPDR sel 2001.0-4
1025         - 29  # NDRPDR sel 2001.0-4
1026         - 31  # NDRPDR sel 2001.0-4
1027     vpp-performance-changes-3n-tsh-ref-env4:
1028       csit-vpp-perf-report-iterative-2005-3n-tsh:
1029         - 23  # NDRPDR sel env 4
1030         - 25  # NDRPDR sel env 4
1031         - 33  # NDRPDR sel env 4
1032         - 34  # NDRPDR sel env 4
1033         - 35  # NDRPDR sel env 4
1034         - 36  # NDRPDR sel env 4
1035         - 37  # NDRPDR sel env 4
1036         - 38  # NDRPDR sel env 4
1037         - 39  # NDRPDR sel env 4
1038         - 40  # NDRPDR sel env 4
1039     vpp-performance-changes-3n-tsh-ref-env5:
1040       csit-vpp-perf-report-iterative-2009-3n-tsh:
1041         - 8   # rls2005 NDRPDR iter env 5
1042         - 11  # rls2005 NDRPDR iter env 5
1043         - 12  # rls2005 NDRPDR iter env 5
1044         - 24  # rls2005 NDRPDR iter env 5
1045         - 27  # rls2005 NDRPDR iter env 5
1046         - 29  # rls2005 NDRPDR iter env 5
1047         - 31  # rls2005 NDRPDR iter env 5
1048         - 39  # rls2005 NDRPDR iter env 5
1049         - 40  # rls2005 NDRPDR iter env 5
1050         - 42  # rls2005 NDRPDR iter env 5
1051     vpp-performance-changes-3n-tsh-cmp:
1052       csit-vpp-perf-report-iterative-2009-3n-tsh:
1053         - 14  # rls2009 NDRPDR iter env 5
1054         - 20  # rls2009 NDRPDR iter env 5
1055         - 21  # rls2009 NDRPDR iter env 5
1056         - 22  # rls2009 NDRPDR iter env 5
1057         - 23  # rls2009 NDRPDR iter env 5
1058         - 28  # rls2009 NDRPDR iter env 5
1059         - 30  # rls2009 NDRPDR iter env 5
1060         - 33  # rls2009 NDRPDR iter env 5
1061         - 38  # rls2009 NDRPDR iter env 5
1062         - 41  # rls2009 NDRPDR iter env 5
1063
1064     vpp-soak-vs-ndr-2n-skx-ref:
1065       csit-vpp-perf-report-iterative-2009-2n-skx:
1066         - 35  # rls2009 NDRPDR iter env 5
1067         - 36  # rls2009 NDRPDR iter env 5
1068         - 37  # rls2009 NDRPDR iter env 5
1069         - 39  # rls2009 NDRPDR iter env 5
1070         - 40  # rls2009 NDRPDR iter env 5
1071         - 42  # rls2009 NDRPDR iter env 5
1072         - 43  # rls2009 NDRPDR iter env 5
1073         - 44  # rls2009 NDRPDR iter env 5
1074         - 46  # rls2009 NDRPDR iter env 5
1075         - 48  # rls2009 NDRPDR iter env 5
1076     vpp-soak-vs-ndr-2n-skx-cmp:
1077       csit-vpp-perf-report-iterative-2009-2n-skx:
1078         - 33  # rls2009 soak env 5
1079         - 34  # rls2009 soak env 5
1080     vpp-soak-vs-ndr-2n-skx:
1081       csit-vpp-perf-report-iterative-2009-2n-skx:
1082         - 35  # rls2009 NDRPDR iter env 5
1083         - 36  # rls2009 NDRPDR iter env 5
1084         - 37  # rls2009 NDRPDR iter env 5
1085         - 39  # rls2009 NDRPDR iter env 5
1086         - 40  # rls2009 NDRPDR iter env 5
1087         - 42  # rls2009 NDRPDR iter env 5
1088         - 43  # rls2009 NDRPDR iter env 5
1089         - 44  # rls2009 NDRPDR iter env 5
1090         - 46  # rls2009 NDRPDR iter env 5
1091         - 48  # rls2009 NDRPDR iter env 5
1092         - 33  # rls2009 soak env 5
1093         - 34  # rls2009 soak env 5
1094
1095     vpp-soak-vs-ndr-2n-clx-ref:
1096       csit-vpp-perf-report-iterative-2009-2n-clx:
1097         - 36  # rls2009 NDRPDR iter env 5
1098         - 39  # rls2009 NDRPDR iter env 5
1099         - 40  # rls2009 NDRPDR iter env 5
1100         - 65  # rls2009 NDRPDR iter env 5
1101         - 66  # rls2009 NDRPDR iter env 5
1102         - 79  # rls2009 NDRPDR iter env 5
1103         - 82  # rls2009 NDRPDR iter env 5
1104         - 88  # rls2009 NDRPDR iter env 5
1105         - 89  # rls2009 NDRPDR iter env 5
1106         - 90  # rls2009 NDRPDR iter env 5
1107     vpp-soak-vs-ndr-2n-clx-cmp:
1108       csit-vpp-perf-report-iterative-2009-2n-clx:
1109         - 33  # rls2009 soak env 5
1110         - 34  # rls2009 soak env 5
1111     vpp-soak-vs-ndr-2n-clx:
1112       csit-vpp-perf-report-iterative-2009-2n-clx:
1113         - 36  # rls2009 NDRPDR iter env 5
1114         - 39  # rls2009 NDRPDR iter env 5
1115         - 40  # rls2009 NDRPDR iter env 5
1116         - 65  # rls2009 NDRPDR iter env 5
1117         - 66  # rls2009 NDRPDR iter env 5
1118         - 79  # rls2009 NDRPDR iter env 5
1119         - 82  # rls2009 NDRPDR iter env 5
1120         - 88  # rls2009 NDRPDR iter env 5
1121         - 89  # rls2009 NDRPDR iter env 5
1122         - 90  # rls2009 NDRPDR iter env 5
1123         - 33  # rls2009 soak env 5
1124         - 34  # rls2009 soak env 5
1125
1126     vpp-performance-changes-3n-hsw-mrr-h1:
1127       csit-vpp-perf-verify-2001-3n-hsw:
1128         - 17  # MRR sel
1129     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1130       csit-vpp-perf-report-iterative-2005-3n-hsw:
1131         - 30  # MRR env 4
1132     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1133       csit-vpp-perf-report-iterative-2009-3n-hsw:
1134         - 18  # rls2005 MRR iter env 5
1135     vpp-performance-changes-3n-hsw-mrr-cmp:
1136       csit-vpp-perf-report-iterative-2009-3n-hsw:
1137         - 23  # rls2009 MRR iter env 5
1138
1139     vpp-performance-changes-3n-skx-mrr-h1:
1140       csit-vpp-perf-verify-2001-3n-skx:
1141         - 50  # MRR sel
1142         - 53  # MRR sel addition
1143     vpp-performance-changes-3n-skx-mrr-ref-env4:
1144       csit-vpp-perf-report-iterative-2005-3n-skx:
1145         - 49  # MRR sel env 4
1146     vpp-performance-changes-3n-skx-mrr-ref-env5:
1147       csit-vpp-perf-report-iterative-2009-3n-skx:
1148         - 17  # rls2005 MRR iter env 5
1149     vpp-performance-changes-3n-skx-mrr-cmp:
1150       csit-vpp-perf-report-iterative-2009-3n-skx:
1151         - 24  # rls2009 MRR iter env 5
1152
1153     vpp-performance-changes-2n-skx-mrr-h1:
1154       csit-vpp-perf-verify-2001-2n-skx:
1155         - 101 # MRR sel
1156         - 128 # MRR sel addition
1157     vpp-performance-changes-2n-skx-mrr-ref-env4:
1158       csit-vpp-perf-report-iterative-2005-2n-skx:
1159         - 99  # MRR sel env 4
1160     vpp-performance-changes-2n-skx-mrr-ref-env5:
1161       csit-vpp-perf-report-iterative-2009-2n-skx:
1162         - 20  # rls2005 MRR iter env 5
1163     vpp-performance-changes-2n-skx-mrr-cmp:
1164       csit-vpp-perf-report-iterative-2009-2n-skx:
1165         - 120 # rls2009 MRR iter env 5
1166
1167     vpp-performance-changes-2n-clx-mrr-h1:
1168       csit-vpp-perf-verify-2001-2n-clx:
1169         - 39  # MRR
1170     vpp-performance-changes-2n-clx-mrr-ref-env4:
1171       csit-vpp-perf-report-iterative-2005-2n-clx:
1172         - 72   # MRR sel env 4
1173     vpp-performance-changes-2n-clx-mrr-ref-env5:
1174       csit-vpp-perf-report-iterative-2009-2n-clx:
1175         - 77  # rls2005 MRR iter env 5
1176     vpp-performance-changes-2n-clx-mrr-cmp:
1177       csit-vpp-perf-report-iterative-2009-2n-clx:
1178         - 125 # rls2009 MRR iter env 5
1179
1180     vpp-performance-changes-2n-dnv-mrr-h1:
1181       csit-vpp-perf-verify-2001-2n-dnv:
1182         - 12  # MRR sel
1183     vpp-performance-changes-2n-dnv-mrr-ref:
1184       csit-vpp-perf-report-iterative-2009-2n-dnv:
1185         - 23  # rls2005 MRR iter env 5
1186     vpp-performance-changes-2n-dnv-mrr-cmp:
1187       csit-vpp-perf-report-iterative-2009-2n-dnv:
1188         - 13  # rls2009 MRR iter env 5
1189
1190     vpp-performance-changes-3n-dnv-mrr-h1:
1191       csit-vpp-perf-verify-2001-3n-dnv:
1192         - 11  # MRR sel
1193     vpp-performance-changes-3n-dnv-mrr-ref:
1194       csit-vpp-perf-report-iterative-2009-3n-dnv:
1195         - 19  # rls2005 MRR iter env 5
1196     vpp-performance-changes-3n-dnv-mrr-cmp:
1197       csit-vpp-perf-report-iterative-2009-3n-dnv:
1198         - 22  # rls2009 MRR iter env 5
1199
1200     vpp-performance-changes-3n-tsh-mrr-h1:
1201       csit-vpp-perf-verify-2001-3n-tsh:
1202         - 9   # MRR sel
1203     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1204       csit-vpp-perf-report-iterative-2005-3n-tsh:
1205         - 27  # MRR sel env 4
1206     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1207       csit-vpp-perf-report-iterative-2009-3n-tsh:
1208         - 13  # rls2005 MRR iter env 5
1209     vpp-performance-changes-3n-tsh-mrr-cmp:
1210       csit-vpp-perf-report-iterative-2009-3n-tsh:
1211         - 15  # rls2009 MRR iter env 5
1212
1213     dpdk-performance-changes-3n-hsw-h1:
1214       csit-dpdk-perf-verify-2001-3n-hsw:
1215         - 4   # NDRPDR sel
1216         - 5   # NDRPDR sel
1217         - 6   # NDRPDR sel
1218         - 7   # NDRPDR sel
1219         - 8   # NDRPDR sel
1220         - 9   # NDRPDR sel
1221         - 10  # NDRPDR sel
1222         - 11  # NDRPDR sel
1223         - 12  # NDRPDR sel
1224         - 13  # NDRPDR sel
1225         - 15  # NDRPDR sel
1226         - 16  # NDRPDR sel
1227         - 17  # NDRPDR sel
1228         - 18  # NDRPDR sel
1229         - 19  # NDRPDR sel
1230         - 20  # NDRPDR sel
1231         - 21  # NDRPDR sel
1232         - 22  # NDRPDR sel
1233         - 23  # NDRPDR sel
1234         - 24  # NDRPDR sel
1235     dpdk-performance-changes-3n-hsw-ref:
1236       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1237         - 25  # NDRPDR iter
1238         - 26  # NDRPDR iter
1239         - 27  # NDRPDR iter
1240         - 28  # NDRPDR iter
1241         - 29  # NDRPDR iter
1242         - 30  # NDRPDR iter
1243         - 31  # NDRPDR iter
1244         - 32  # NDRPDR iter
1245         - 33  # NDRPDR iter
1246         - 34  # NDRPDR iter
1247     dpdk-performance-changes-3n-hsw-cmp:
1248       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1249         - 6   # NDRPDR iter env5
1250         - 7   # NDRPDR iter env5
1251         - 8   # NDRPDR iter env5
1252         - 9   # NDRPDR iter env5
1253         - 10  # NDRPDR iter env5
1254         - 11  # NDRPDR iter env5
1255         - 12  # NDRPDR iter env5
1256         - 13  # NDRPDR iter env5
1257         - 14  # NDRPDR iter env5
1258         - 15  # NDRPDR iter env5
1259
1260     dpdk-performance-changes-3n-skx-h1:
1261       csit-dpdk-perf-verify-2001-3n-skx:
1262         - 29  # NDRPDR sel xxv710
1263         - 33  # NDRPDR sel xxv710
1264         - 34  # NDRPDR sel xxv710
1265         - 35  # NDRPDR sel xxv710
1266         - 36  # NDRPDR sel xxv710
1267         - 37  # NDRPDR sel xxv710
1268         - 41  # NDRPDR sel xxv710
1269         - 42  # NDRPDR sel xxv710
1270         - 43  # NDRPDR sel xxv710
1271         - 45  # NDRPDR sel xxv710
1272         - 30  # NDRPDR sel x710
1273         - 31  # NDRPDR sel x710
1274         - 32  # NDRPDR sel x710
1275         - 38  # NDRPDR sel x710
1276         - 39  # NDRPDR sel x710
1277         - 40  # NDRPDR sel x710
1278         - 44  # NDRPDR sel x710
1279         - 46  # NDRPDR sel x710
1280         - 47  # NDRPDR sel x710
1281         - 48  # NDRPDR sel x710
1282     dpdk-performance-changes-3n-skx-ref:
1283       csit-dpdk-perf-report-iterative-2005-3n-skx:
1284         - 28  # NDRPDR iter
1285         - 29  # NDRPDR iter
1286         - 30  # NDRPDR iter
1287         - 31  # NDRPDR iter
1288         - 32  # NDRPDR iter
1289         - 33  # NDRPDR iter
1290         - 34  # NDRPDR iter
1291         - 35  # NDRPDR iter
1292         - 36  # NDRPDR iter
1293         - 37  # NDRPDR iter
1294     dpdk-performance-changes-3n-skx-cmp:
1295       csit-dpdk-perf-report-iterative-2009-3n-skx:
1296         - 4   # NDRPDR sel env5
1297         - 5   # NDRPDR sel env5
1298         - 6   # NDRPDR sel env5
1299         - 7   # NDRPDR sel env5
1300         - 8   # NDRPDR sel env5
1301         - 9   # NDRPDR sel env5
1302         - 14  # NDRPDR sel env5
1303         - 11  # NDRPDR sel env5
1304         - 12  # NDRPDR sel env5
1305         - 13  # NDRPDR sel env5
1306
1307     dpdk-performance-changes-2n-skx-h1:
1308       csit-dpdk-perf-verify-2001-2n-skx:
1309         - 35  # NDRPDR sel xxv710
1310         - 36  # NDRPDR sel xxv710
1311         - 37  # NDRPDR sel xxv710
1312         - 41  # NDRPDR sel xxv710
1313         - 42  # NDRPDR sel xxv710
1314         - 43  # NDRPDR sel xxv710
1315         - 46  # NDRPDR sel xxv710
1316         - 47  # NDRPDR sel xxv710
1317         - 52  # NDRPDR sel xxv710
1318         - 53  # NDRPDR sel xxv710
1319         - 38  # NDRPDR sel x710
1320         - 39  # NDRPDR sel x710
1321         - 40  # NDRPDR sel x710
1322         - 44  # NDRPDR sel x710
1323         - 45  # NDRPDR sel x710
1324         - 48  # NDRPDR sel x710
1325         - 49  # NDRPDR sel x710
1326         - 50  # NDRPDR sel x710
1327         - 51  # NDRPDR sel x710
1328         - 54  # NDRPDR sel x710
1329     dpdk-performance-changes-2n-skx-ref:
1330       csit-dpdk-perf-report-iterative-2005-2n-skx:
1331         - 20  # NDRPDR iter
1332         - 21  # NDRPDR iter
1333         - 22  # NDRPDR iter
1334         - 23  # NDRPDR iter
1335         - 24  # NDRPDR iter
1336         - 25  # NDRPDR iter
1337         - 26  # NDRPDR iter
1338         - 27  # NDRPDR iter
1339         - 28  # NDRPDR iter
1340         - 29  # NDRPDR iter
1341     dpdk-performance-changes-2n-skx-cmp:
1342       csit-dpdk-perf-report-iterative-2009-2n-skx:
1343         - 4   # NDRPDR iter env5
1344         - 5   # NDRPDR iter env5
1345         - 6   # NDRPDR iter env5
1346         - 7   # NDRPDR iter env5
1347         - 8   # NDRPDR iter env5
1348         - 9   # NDRPDR iter env5
1349         - 10  # NDRPDR iter env5
1350         - 11  # NDRPDR iter env5
1351         - 12  # NDRPDR iter env5
1352         - 13  # NDRPDR iter env5
1353
1354     dpdk-performance-changes-2n-clx-h1:
1355       csit-dpdk-perf-verify-2001-2n-clx:
1356         - 15  # NDRPDR sel
1357         - 16  # NDRPDR sel
1358         - 17  # NDRPDR sel
1359         - 18  # NDRPDR sel
1360         - 19  # NDRPDR sel
1361         - 20  # NDRPDR sel
1362         - 21  # NDRPDR sel
1363         - 22  # NDRPDR sel
1364         - 23  # NDRPDR sel
1365         - 24  # NDRPDR sel
1366         - 25  # NDRPDR sel
1367         - 26  # NDRPDR sel
1368         - 27  # NDRPDR sel
1369         - 28  # NDRPDR sel
1370         - 29  # NDRPDR sel
1371         - 30  # NDRPDR sel
1372         - 31  # NDRPDR sel
1373         - 32  # NDRPDR sel
1374         - 33  # NDRPDR sel
1375         - 34  # NDRPDR sel
1376     dpdk-performance-changes-2n-clx-ref:
1377       csit-dpdk-perf-report-iterative-2005-2n-clx:
1378         - 20  # NDRPDR iter
1379         - 21  # NDRPDR iter
1380         - 22  # NDRPDR iter
1381         - 23  # NDRPDR iter
1382         - 24  # NDRPDR iter
1383         - 25  # NDRPDR iter
1384         - 26  # NDRPDR iter
1385         - 27  # NDRPDR iter
1386         - 28  # NDRPDR iter
1387         - 29  # NDRPDR iter
1388     dpdk-performance-changes-2n-clx-cmp:
1389       csit-dpdk-perf-report-iterative-2009-2n-clx:
1390         - 4   # NDRPDR iter env5
1391         - 5   # NDRPDR iter env5
1392         - 6   # NDRPDR iter env5
1393         - 7   # NDRPDR iter env5
1394         - 8   # NDRPDR iter env5
1395         - 9   # NDRPDR iter env5
1396         - 10  # NDRPDR iter env5
1397         - 11  # NDRPDR iter env5
1398         - 12  # NDRPDR iter env5
1399         - 13  # NDRPDR iter env5
1400
1401 #    dpdk-performance-changes-2n-dnv-h1:
1402 #      csit-dpdk-perf-verify-2001-2n-dnv:
1403 #        - 9   # NDRPDR sel
1404 #        - 10  # NDRPDR sel
1405 #        - 11  # NDRPDR sel
1406 #        - 12  # NDRPDR sel
1407 #        - 13  # NDRPDR sel
1408 #        - 14  # NDRPDR sel
1409 #        - 15  # NDRPDR sel
1410 #        - 16  # NDRPDR sel
1411 #        - 17  # NDRPDR sel
1412 #        - 18  # NDRPDR sel
1413 #    dpdk-performance-changes-2n-dnv-ref:
1414 #      # No data
1415 #    dpdk-performance-changes-2n-dnv-cmp:
1416 #      # No data
1417 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1418
1419 #    dpdk-performance-changes-3n-dnv-h1:
1420 #      csit-dpdk-perf-verify-2001-3n-dnv:
1421 #        - 12  # NDRPDR sel
1422 #        - 13  # NDRPDR sel
1423 #        - 14  # NDRPDR sel
1424 #        - 15  # NDRPDR sel
1425 #        - 16  # NDRPDR sel
1426 #        - 17  # NDRPDR sel
1427 #        - 18  # NDRPDR sel
1428 #        - 19  # NDRPDR sel
1429 #        - 20  # NDRPDR sel
1430 #        - 22  # NDRPDR sel
1431 #    dpdk-performance-changes-3n-dnv-ref:
1432 #      # No data
1433 #    dpdk-performance-changes-3n-dnv-cmp:
1434 #      # No data
1435 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1436
1437     dpdk-performance-changes-3n-tsh-h1:
1438       csit-dpdk-perf-verify-2001-3n-tsh:
1439         - 3   # NDRPDR sel
1440         - 4   # NDRPDR sel
1441         - 5   # NDRPDR sel
1442         - 9   # NDRPDR sel
1443         - 10  # NDRPDR sel
1444         - 11  # NDRPDR sel
1445         - 12  # NDRPDR sel
1446         - 14  # NDRPDR sel
1447         - 15  # NDRPDR sel
1448         - 18  # NDRPDR sel
1449     dpdk-performance-changes-3n-tsh-ref:
1450       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1451         - 5   # NDRPDR sel
1452     dpdk-performance-changes-3n-tsh-cmp:
1453       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1454         - 1   # NDRPDR iter env5
1455         - 2   # NDRPDR iter env5
1456         - 3   # NDRPDR iter env5
1457         - 4   # NDRPDR iter env5
1458         - 5   # NDRPDR iter env5
1459         - 6   # NDRPDR iter env5
1460         - 7   # NDRPDR iter env5
1461         - 9   # NDRPDR iter env5
1462         - 10  # NDRPDR iter env5
1463         - 11  # NDRPDR iter env5
1464
1465     # Compare testbeds
1466
1467     vpp-compare-testbeds-ref:
1468       csit-vpp-perf-report-iterative-2009-3n-hsw:
1469         - 21  # rls2009 NDRPDR iter env 5
1470         - 22  # rls2009 NDRPDR iter env 5
1471         - 24  # rls2009 NDRPDR iter env 5
1472         - 25  # rls2009 NDRPDR iter env 5
1473         - 26  # rls2009 NDRPDR iter env 5
1474         - 27  # rls2009 NDRPDR iter env 5
1475         - 28  # rls2009 NDRPDR iter env 5
1476         - 29  # rls2009 NDRPDR iter env 5
1477         - 30  # rls2009 NDRPDR iter env 5
1478         - 31  # rls2009 NDRPDR iter env 5
1479     vpp-compare-testbeds-cmp:
1480       csit-vpp-perf-report-iterative-2009-3n-skx:
1481         - 26  # rls2009 NDRPDR iter env 5
1482         - 27  # rls2009 NDRPDR iter env 5
1483         - 28  # rls2009 NDRPDR iter env 5
1484         - 29  # rls2009 NDRPDR iter env 5
1485         - 35  # rls2009 NDRPDR iter env 5
1486         - 36  # rls2009 NDRPDR iter env 5
1487         - 37  # rls2009 NDRPDR iter env 5
1488         - 38  # rls2009 NDRPDR iter env 5
1489         - 39  # rls2009 NDRPDR iter env 5
1490         - 40  # rls2009 NDRPDR iter env 5
1491
1492     vpp-compare-testbeds-skx-clx-ref:
1493       csit-vpp-perf-report-iterative-2009-2n-skx:
1494         - 35  # rls2009 NDRPDR iter env 5
1495         - 36  # rls2009 NDRPDR iter env 5
1496         - 37  # rls2009 NDRPDR iter env 5
1497         - 39  # rls2009 NDRPDR iter env 5
1498         - 40  # rls2009 NDRPDR iter env 5
1499         - 42  # rls2009 NDRPDR iter env 5
1500         - 43  # rls2009 NDRPDR iter env 5
1501         - 44  # rls2009 NDRPDR iter env 5
1502         - 46  # rls2009 NDRPDR iter env 5
1503         - 48  # rls2009 NDRPDR iter env 5
1504         - 110 # rls2009 NDRPDR iter NAT44 env 5
1505         - 111 # rls2009 NDRPDR iter NAT44 env 5
1506         - 112 # rls2009 NDRPDR iter NAT44 env 5
1507         - 113 # rls2009 NDRPDR iter NAT44 env 5
1508         - 114 # rls2009 NDRPDR iter NAT44 env 5
1509         - 115 # rls2009 NDRPDR iter NAT44 env 5
1510         - 116 # rls2009 NDRPDR iter NAT44 env 5
1511         - 118 # rls2009 NDRPDR iter NAT44 env 5
1512         - 119 # rls2009 NDRPDR iter NAT44 env 5
1513         - 121 # rls2009 NDRPDR iter NAT44 env 5
1514     vpp-compare-testbeds-skx-clx-cmp:
1515       csit-vpp-perf-report-iterative-2009-2n-clx:
1516         - 36  # rls2009 NDRPDR iter env 5
1517         - 39  # rls2009 NDRPDR iter env 5
1518         - 40  # rls2009 NDRPDR iter env 5
1519         - 65  # rls2009 NDRPDR iter env 5
1520         - 66  # rls2009 NDRPDR iter env 5
1521         - 79  # rls2009 NDRPDR iter env 5
1522         - 82  # rls2009 NDRPDR iter env 5
1523         - 88  # rls2009 NDRPDR iter env 5
1524         - 89  # rls2009 NDRPDR iter env 5
1525         - 90  # rls2009 NDRPDR iter env 5
1526         - 114 # rls2009 NDRPDR iter NAT44 env 5
1527         - 115 # rls2009 NDRPDR iter NAT44 env 5
1528         - 116 # rls2009 NDRPDR iter NAT44 env 5
1529         - 117 # rls2009 NDRPDR iter NAT44 env 5
1530         - 118 # rls2009 NDRPDR iter NAT44 env 5
1531         - 119 # rls2009 NDRPDR iter NAT44 env 5
1532         - 121 # rls2009 NDRPDR iter NAT44 env 5
1533         - 122 # rls2009 NDRPDR iter NAT44 env 5
1534         - 123 # rls2009 NDRPDR iter NAT44 env 5
1535         - 126 # rls2009 NDRPDR iter NAT44 env 5
1536
1537     vpp-compare-testbeds-hsw-clx-ref:
1538       csit-vpp-perf-report-iterative-2009-3n-hsw:
1539         - 21  # rls2009 NDRPDR iter env 5
1540         - 22  # rls2009 NDRPDR iter env 5
1541         - 24  # rls2009 NDRPDR iter env 5
1542         - 25  # rls2009 NDRPDR iter env 5
1543         - 26  # rls2009 NDRPDR iter env 5
1544         - 27  # rls2009 NDRPDR iter env 5
1545         - 28  # rls2009 NDRPDR iter env 5
1546         - 29  # rls2009 NDRPDR iter env 5
1547         - 30  # rls2009 NDRPDR iter env 5
1548         - 31  # rls2009 NDRPDR iter env 5
1549     vpp-compare-testbeds-hsw-clx-cmp:
1550       csit-vpp-perf-report-iterative-2009-2n-clx:
1551         - 36  # rls2009 NDRPDR iter env 5
1552         - 39  # rls2009 NDRPDR iter env 5
1553         - 40  # rls2009 NDRPDR iter env 5
1554         - 65  # rls2009 NDRPDR iter env 5
1555         - 66  # rls2009 NDRPDR iter env 5
1556         - 79  # rls2009 NDRPDR iter env 5
1557         - 82  # rls2009 NDRPDR iter env 5
1558         - 88  # rls2009 NDRPDR iter env 5
1559         - 89  # rls2009 NDRPDR iter env 5
1560         - 90  # rls2009 NDRPDR iter env 5
1561
1562     vpp-compare-testbeds-mrr-ref:
1563       csit-vpp-perf-report-iterative-2009-3n-hsw:
1564         - 23  # rls2009 MRR iter env 5
1565     vpp-compare-testbeds-mrr-cmp:
1566       csit-vpp-perf-report-iterative-2009-3n-skx:
1567         - 24  # rls2009 MRR iter env 5
1568
1569     vpp-compare-testbeds-mrr-skx-clx-ref:
1570       csit-vpp-perf-report-iterative-2009-2n-skx:
1571         - 120 # rls2009 MRR iter env 5
1572     vpp-compare-testbeds-mrr-skx-clx-cmp:
1573       csit-vpp-perf-report-iterative-2009-2n-clx:
1574         - 125 # rls2009 MRR iter env 5
1575
1576     vpp-compare-testbeds-mrr-hsw-clx-ref:
1577       csit-vpp-perf-report-iterative-2009-3n-hsw:
1578         - 23  # rls2009 MRR iter env 5
1579     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1580       csit-vpp-perf-report-iterative-2009-2n-clx:
1581         - 125 # rls2009 MRR iter env 5
1582
1583     dpdk-compare-testbeds-ref:
1584       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1585         - 6   # NDRPDR iter env5
1586         - 7   # NDRPDR iter env5
1587         - 8   # NDRPDR iter env5
1588         - 9   # NDRPDR iter env5
1589         - 10  # NDRPDR iter env5
1590         - 11  # NDRPDR iter env5
1591         - 12  # NDRPDR iter env5
1592         - 13  # NDRPDR iter env5
1593         - 14  # NDRPDR iter env5
1594         - 15  # NDRPDR iter env5
1595     dpdk-compare-testbeds-cmp:
1596       csit-dpdk-perf-report-iterative-2009-3n-skx:
1597         - 4   # NDRPDR sel env5
1598         - 5   # NDRPDR sel env5
1599         - 6   # NDRPDR sel env5
1600         - 7   # NDRPDR sel env5
1601         - 8   # NDRPDR sel env5
1602         - 9   # NDRPDR sel env5
1603         - 14  # NDRPDR sel env5
1604         - 11  # NDRPDR sel env5
1605         - 12  # NDRPDR sel env5
1606         - 13  # NDRPDR sel env5
1607
1608     dpdk-compare-testbeds-skx-clx-ref:
1609       csit-dpdk-perf-report-iterative-2009-2n-skx:
1610         - 4   # NDRPDR iter env5
1611         - 5   # NDRPDR iter env5
1612         - 6   # NDRPDR iter env5
1613         - 7   # NDRPDR iter env5
1614         - 8   # NDRPDR iter env5
1615         - 9   # NDRPDR iter env5
1616         - 10  # NDRPDR iter env5
1617         - 11  # NDRPDR iter env5
1618         - 12  # NDRPDR iter env5
1619         - 13  # NDRPDR iter env5
1620     dpdk-compare-testbeds-skx-clx-cmp:
1621       csit-dpdk-perf-report-iterative-2009-2n-clx:
1622         - 4   # NDRPDR iter env5
1623         - 5   # NDRPDR iter env5
1624         - 6   # NDRPDR iter env5
1625         - 7   # NDRPDR iter env5
1626         - 8   # NDRPDR iter env5
1627         - 9   # NDRPDR iter env5
1628         - 10  # NDRPDR iter env5
1629         - 11  # NDRPDR iter env5
1630         - 12  # NDRPDR iter env5
1631         - 13  # NDRPDR iter env5
1632
1633     # Compare topologies
1634
1635     vpp-compare-topologies-ref:
1636       csit-vpp-perf-report-iterative-2009-3n-skx:
1637         - 26  # rls2009 NDRPDR iter env 5
1638         - 27  # rls2009 NDRPDR iter env 5
1639         - 28  # rls2009 NDRPDR iter env 5
1640         - 29  # rls2009 NDRPDR iter env 5
1641         - 35  # rls2009 NDRPDR iter env 5
1642         - 36  # rls2009 NDRPDR iter env 5
1643         - 37  # rls2009 NDRPDR iter env 5
1644         - 38  # rls2009 NDRPDR iter env 5
1645         - 39  # rls2009 NDRPDR iter env 5
1646         - 40  # rls2009 NDRPDR iter env 5
1647     vpp-compare-topologies-cmp:
1648       csit-vpp-perf-report-iterative-2009-2n-skx:
1649         - 35  # rls2009 NDRPDR iter env 5
1650         - 36  # rls2009 NDRPDR iter env 5
1651         - 37  # rls2009 NDRPDR iter env 5
1652         - 39  # rls2009 NDRPDR iter env 5
1653         - 40  # rls2009 NDRPDR iter env 5
1654         - 42  # rls2009 NDRPDR iter env 5
1655         - 43  # rls2009 NDRPDR iter env 5
1656         - 44  # rls2009 NDRPDR iter env 5
1657         - 46  # rls2009 NDRPDR iter env 5
1658         - 48  # rls2009 NDRPDR iter env 5
1659
1660     vpp-compare-topologies-mrr-ref:
1661       csit-vpp-perf-report-iterative-2009-3n-skx:
1662         - 24  # rls2009 MRR iter env 5
1663     vpp-compare-topologies-mrr-cmp:
1664       csit-vpp-perf-report-iterative-2009-2n-skx:
1665         - 120 # rls2009 MRR iter env 5
1666
1667     dpdk-compare-topologies-ref:
1668       csit-dpdk-perf-report-iterative-2009-3n-skx:
1669         - 4   # NDRPDR sel env5
1670         - 5   # NDRPDR sel env5
1671         - 6   # NDRPDR sel env5
1672         - 7   # NDRPDR sel env5
1673         - 8   # NDRPDR sel env5
1674         - 9   # NDRPDR sel env5
1675         - 14  # NDRPDR sel env5
1676         - 11  # NDRPDR sel env5
1677         - 12  # NDRPDR sel env5
1678         - 13  # NDRPDR sel env5
1679     dpdk-compare-topologies-cmp:
1680       csit-dpdk-perf-report-iterative-2009-2n-skx:
1681         - 4   # NDRPDR iter env5
1682         - 5   # NDRPDR iter env5
1683         - 6   # NDRPDR iter env5
1684         - 7   # NDRPDR iter env5
1685         - 8   # NDRPDR iter env5
1686         - 9   # NDRPDR iter env5
1687         - 10  # NDRPDR iter env5
1688         - 11  # NDRPDR iter env5
1689         - 12  # NDRPDR iter env5
1690         - 13  # NDRPDR iter env5
1691
1692   plot-layouts:
1693
1694     plot-soak-throughput:
1695       titlefont:
1696         size: 16
1697       xaxis:
1698         title: "<b>Test Cases [Index]</b>"
1699         titlefont:
1700           size: 14
1701         autorange: True
1702         fixedrange: False
1703         gridcolor: "rgb(230, 230, 230)"
1704         linecolor: "rgb(220, 220, 220)"
1705         linewidth: 1
1706         showgrid: True
1707         showline: True
1708         showticklabels: True
1709         tickcolor: "rgb(220, 220, 220)"
1710         tickmode: "linear"
1711         tickfont:
1712           size: 14
1713         zeroline: False
1714       yaxis:
1715         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1716         titlefont:
1717           size: 14
1718         gridcolor: "rgb(230, 230, 230)"
1719         hoverformat: ".4r"
1720         tickformat: ".3r"
1721         linecolor: "rgb(220, 220, 220)"
1722         linewidth: 1
1723         showgrid: True
1724         showline: True
1725         showticklabels: True
1726         tickcolor: "rgb(220, 220, 220)"
1727         tickfont:
1728           size: 14
1729         zeroline: False
1730         range: [0,50]
1731       autosize: False
1732       margin:
1733         t: 50
1734         b: 0
1735         l: 80
1736         r: 20
1737       showlegend: True
1738       legend:
1739         orientation: "h"
1740         font:
1741           size: 14
1742       width: 700
1743       height: 900
1744       paper_bgcolor: "#fff"
1745       plot_bgcolor: "#fff"
1746       hoverlabel:
1747         namelength: -1
1748
1749     plot-service-density:
1750       titlefont:
1751         size: 16
1752       xaxis:
1753         side: "top"
1754         autorange: True
1755         fixedrange: False
1756         showgrid: False
1757         showline: False
1758         showticklabels: False
1759         ticks: ""
1760         ticklen: 0
1761         tickwidth: 0
1762         zeroline: False
1763       yaxis:
1764         autorange: "reversed"
1765         showgrid: False
1766         showline: False
1767         showticklabels: False
1768         ticks: ""
1769         ticklen: 0
1770         tickwidth: 0
1771         zeroline: False
1772       showlegend: False
1773       paper_bgcolor: "#fff"
1774       plot_bgcolor: "#fff"
1775       width: 700
1776       height: 700
1777       hoverlabel:
1778         namelength: -1
1779
1780     plot-hoststack:
1781       titlefont:
1782         size: 16
1783       xaxis:
1784         title: "<b>Test Cases [Index]</b>"
1785         titlefont:
1786           size: 14
1787         autorange: True
1788         fixedrange: False
1789         gridcolor: "rgb(230, 230, 230)"
1790         linecolor: "rgb(220, 220, 220)"
1791         linewidth: 1
1792         showgrid: True
1793         showline: True
1794         showticklabels: True
1795         tickcolor: "rgb(220, 220, 220)"
1796         tickmode: "linear"
1797         tickfont:
1798           size: 14
1799         zeroline: False
1800       yaxis:
1801         title: "<b>Bandwidth [Gbps]</b>"
1802         titlefont:
1803           size: 14
1804         gridcolor: "rgb(230, 230, 230)"
1805         hoverformat: ".4s"
1806         linecolor: "rgb(220, 220, 220)"
1807         linewidth: 1
1808         rangemode: "tozero"
1809         showgrid: True
1810         showline: True
1811         showticklabels: True
1812         tickcolor: "rgb(230, 230, 230)"
1813         tickformat: ".3s"
1814         tickfont:
1815           size: 14
1816         zeroline: False
1817       autosize: False
1818       margin:
1819         t: 50
1820         b: 20
1821         l: 80
1822         r: 20
1823       showlegend: True
1824       legend:
1825         orientation: "h"
1826         font:
1827           size: 14
1828       width: 700
1829       height: 800
1830       paper_bgcolor: "#fff"
1831       plot_bgcolor: "#fff"
1832       hoverlabel:
1833         namelength: -1
1834
1835     plot-throughput:
1836       titlefont:
1837         size: 16
1838       xaxis:
1839         title: "<b>Test Cases [Index]</b>"
1840         titlefont:
1841           size: 14
1842         autorange: True
1843         fixedrange: False
1844         gridcolor: "rgb(230, 230, 230)"
1845         linecolor: "rgb(220, 220, 220)"
1846         linewidth: 1
1847         showgrid: True
1848         showline: True
1849         showticklabels: True
1850         tickcolor: "rgb(220, 220, 220)"
1851         tickmode: "linear"
1852         tickfont:
1853           size: 14
1854         zeroline: False
1855       yaxis:
1856         title: "<b>Packet Throughput [Mpps]</b>"
1857         titlefont:
1858           size: 14
1859         gridcolor: "rgb(230, 230, 230)"
1860         hoverformat: ".4r"
1861         tickformat: ".3r"
1862         linecolor: "rgb(220, 220, 220)"
1863         linewidth: 1
1864         showgrid: True
1865         showline: True
1866         showticklabels: True
1867         tickcolor: "rgb(220, 220, 220)"
1868         tickfont:
1869           size: 14
1870         zeroline: False
1871         range: [0,50]
1872       autosize: False
1873       margin:
1874         t: 50
1875         b: 0
1876         l: 80
1877         r: 20
1878       showlegend: True
1879       legend:
1880         orientation: "h"
1881         font:
1882           size: 14
1883       width: 700
1884       height: 900
1885       paper_bgcolor: "#fff"
1886       plot_bgcolor: "#fff"
1887       hoverlabel:
1888         namelength: -1
1889
1890     plot-throughput-gbps:
1891       titlefont:
1892         size: 16
1893       xaxis:
1894         title: "<b>Test Cases [Index]</b>"
1895         titlefont:
1896           size: 14
1897         autorange: True
1898         fixedrange: False
1899         gridcolor: "rgb(230, 230, 230)"
1900         linecolor: "rgb(220, 220, 220)"
1901         linewidth: 1
1902         showgrid: True
1903         showline: True
1904         showticklabels: True
1905         tickcolor: "rgb(220, 220, 220)"
1906         tickmode: "linear"
1907         tickfont:
1908           size: 14
1909         zeroline: False
1910       yaxis:
1911         title: "<b>Packet Throughput [Gbps]</b>"
1912         titlefont:
1913           size: 14
1914         gridcolor: "rgb(230, 230, 230)"
1915         hoverformat: ".4r"
1916         tickformat: ".3r"
1917         linecolor: "rgb(220, 220, 220)"
1918         linewidth: 1
1919         showgrid: True
1920         showline: True
1921         showticklabels: True
1922         tickcolor: "rgb(220, 220, 220)"
1923         tickfont:
1924           size: 14
1925         zeroline: False
1926         range: [0,10]
1927       autosize: False
1928       margin:
1929         t: 50
1930         b: 0
1931         l: 80
1932         r: 20
1933       showlegend: True
1934       legend:
1935         orientation: "h"
1936         font:
1937           size: 14
1938       width: 700
1939       height: 900
1940       paper_bgcolor: "#fff"
1941       plot_bgcolor: "#fff"
1942       hoverlabel:
1943         namelength: -1
1944
1945     plot-cps:
1946       titlefont:
1947         size: 16
1948       xaxis:
1949         title: "<b>Test Cases [Index]</b>"
1950         titlefont:
1951           size: 14
1952         autorange: True
1953         fixedrange: False
1954         gridcolor: "rgb(230, 230, 230)"
1955         linecolor: "rgb(220, 220, 220)"
1956         linewidth: 1
1957         showgrid: True
1958         showline: True
1959         showticklabels: True
1960         tickcolor: "rgb(220, 220, 220)"
1961         tickmode: "linear"
1962         tickfont:
1963           size: 14
1964         zeroline: False
1965       yaxis:
1966         title: "<b>Connection Rate [Mcps]</b>"
1967         titlefont:
1968           size: 14
1969         gridcolor: "rgb(230, 230, 230)"
1970         hoverformat: ".4r"
1971         tickformat: ".3s"
1972         linecolor: "rgb(220, 220, 220)"
1973         linewidth: 1
1974         showgrid: True
1975         showline: True
1976         showticklabels: True
1977         tickcolor: "rgb(220, 220, 220)"
1978         tickfont:
1979           size: 14
1980         zeroline: False
1981         range: [0,10]
1982       autosize: False
1983       margin:
1984         t: 50
1985         b: 0
1986         l: 80
1987         r: 20
1988       showlegend: True
1989       legend:
1990         orientation: "h"
1991         font:
1992           size: 14
1993       width: 700
1994       height: 900
1995       paper_bgcolor: "#fff"
1996       plot_bgcolor: "#fff"
1997       hoverlabel:
1998         namelength: -1
1999
2000     plot-throughput-speedup-analysis:
2001       titlefont:
2002         size: 16
2003       xaxis:
2004         title: "<b>Number of Cores [Qty]</b>"
2005         titlefont:
2006           size: 14
2007         autorange: True
2008         fixedrange: False
2009         gridcolor: "rgb(230, 230, 230)"
2010         linecolor: "rgb(220, 220, 220)"
2011         linewidth: 1
2012         showgrid: True
2013         showline: True
2014         showticklabels: True
2015         tickcolor: "rgb(238, 238, 238)"
2016         tickmode: "linear"
2017         tickfont:
2018           size: 14
2019         zeroline: False
2020       yaxis:
2021         title: "<b>Packet Throughput [Mpps]</b>"
2022         titlefont:
2023           size: 14
2024         type: "linear"
2025         gridcolor: "rgb(230, 230, 230)"
2026         hoverformat: ".4s"
2027         linecolor: "rgb(220, 220, 220)"
2028         linewidth: 1
2029         showgrid: True
2030         showline: True
2031         showticklabels: True
2032         tickcolor: "rgb(220, 220, 220)"
2033         tickformat: ".4s"
2034         tickfont:
2035           size: 14
2036         zeroline: True
2037         rangemode: "tozero"
2038         range: [0,100]
2039       legend:
2040         orientation: "h"
2041         font:
2042           size: 14
2043         xanchor: "left"
2044         yanchor: "top"
2045         x: 0
2046         y: -0.2
2047         bgcolor: "rgba(255, 255, 255, 0)"
2048         bordercolor: "rgba(255, 255, 255, 0)"
2049         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2050       autosize: False
2051       margin:
2052           't': 50
2053           'b': 150
2054           'l': 85
2055           'r': 10
2056       showlegend: True
2057       width: 700
2058       height: 700
2059       paper_bgcolor: "#fff"
2060       plot_bgcolor: "#fff"
2061       hoverlabel:
2062         namelength: -1
2063       annotations: [
2064         {
2065           text: "_ _          __          ...",
2066           align: "left",
2067           showarrow: False,
2068           xref: "paper",
2069           yref: "paper",
2070           xanchor: "left",
2071           yanchor: "top",
2072           x: 0,
2073           y: -0.14,
2074           font: {
2075             family: "Consolas, Courier New",
2076             size: 13
2077           },
2078         },
2079         {
2080           text: "    Perfect     Measured     Limit",
2081           align: "left",
2082           showarrow: False,
2083           xref: "paper",
2084           yref: "paper",
2085           xanchor: "left",
2086           yanchor: "top",
2087           x: 0,
2088           y: -0.15,
2089           font: {
2090             family: "Consolas, Courier New",
2091             size: 13
2092           },
2093         },
2094       ]
2095
2096     plot-throughput-speedup-analysis-gbps:
2097       titlefont:
2098         size: 16
2099       xaxis:
2100         title: "<b>Number of Cores [Qty]</b>"
2101         titlefont:
2102           size: 14
2103         autorange: True
2104         fixedrange: False
2105         gridcolor: "rgb(230, 230, 230)"
2106         linecolor: "rgb(220, 220, 220)"
2107         linewidth: 1
2108         showgrid: True
2109         showline: True
2110         showticklabels: True
2111         tickcolor: "rgb(238, 238, 238)"
2112         tickmode: "linear"
2113         tickfont:
2114           size: 14
2115         zeroline: False
2116       yaxis:
2117         title: "<b>Packet Throughput [Gbps]</b>"
2118         titlefont:
2119           size: 14
2120         type: "linear"
2121         gridcolor: "rgb(230, 230, 230)"
2122         hoverformat: ".4s"
2123         linecolor: "rgb(220, 220, 220)"
2124         linewidth: 1
2125         showgrid: True
2126         showline: True
2127         showticklabels: True
2128         tickcolor: "rgb(220, 220, 220)"
2129         tickformat: ".4s"
2130         tickfont:
2131           size: 14
2132         zeroline: True
2133         rangemode: "tozero"
2134         range: [0,100]
2135       legend:
2136         orientation: "h"
2137         font:
2138           size: 14
2139         xanchor: "left"
2140         yanchor: "top"
2141         x: 0
2142         y: -0.2
2143         bgcolor: "rgba(255, 255, 255, 0)"
2144         bordercolor: "rgba(255, 255, 255, 0)"
2145         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2146       autosize: False
2147       margin:
2148           't': 50
2149           'b': 150
2150           'l': 85
2151           'r': 10
2152       showlegend: True
2153       width: 700
2154       height: 700
2155       paper_bgcolor: "#fff"
2156       plot_bgcolor: "#fff"
2157       hoverlabel:
2158         namelength: -1
2159       annotations: [
2160         {
2161           text: "_ _          __",
2162           align: "left",
2163           showarrow: False,
2164           xref: "paper",
2165           yref: "paper",
2166           xanchor: "left",
2167           yanchor: "top",
2168           x: 0,
2169           y: -0.13,
2170           font: {
2171             family: "Consolas, Courier New",
2172             size: 13
2173           },
2174         },
2175         {
2176           text: "    Perfect     Measured",
2177           align: "left",
2178           showarrow: False,
2179           xref: "paper",
2180           yref: "paper",
2181           xanchor: "left",
2182           yanchor: "top",
2183           x: 0,
2184           y: -0.15,
2185           font: {
2186             family: "Consolas, Courier New",
2187             size: 13
2188           },
2189         },
2190       ]
2191
2192     plot-throughput-speedup-analysis-cps:
2193       titlefont:
2194         size: 16
2195       xaxis:
2196         title: "<b>Number of Cores [Qty]</b>"
2197         titlefont:
2198           size: 14
2199         autorange: True
2200         fixedrange: False
2201         gridcolor: "rgb(230, 230, 230)"
2202         linecolor: "rgb(220, 220, 220)"
2203         linewidth: 1
2204         showgrid: True
2205         showline: True
2206         showticklabels: True
2207         tickcolor: "rgb(238, 238, 238)"
2208         tickmode: "linear"
2209         tickfont:
2210           size: 14
2211         zeroline: False
2212       yaxis:
2213         title: "<b>Connection Rate [Mcps]</b>"
2214         titlefont:
2215           size: 14
2216         type: "linear"
2217         gridcolor: "rgb(230, 230, 230)"
2218         hoverformat: ".4s"
2219         linecolor: "rgb(220, 220, 220)"
2220         linewidth: 1
2221         showgrid: True
2222         showline: True
2223         showticklabels: True
2224         tickcolor: "rgb(220, 220, 220)"
2225         tickformat: ".4s"
2226         tickfont:
2227           size: 14
2228         zeroline: True
2229         rangemode: "tozero"
2230         range: [0,100]
2231       legend:
2232         orientation: "h"
2233         font:
2234           size: 14
2235         xanchor: "left"
2236         yanchor: "top"
2237         x: 0
2238         y: -0.2
2239         bgcolor: "rgba(255, 255, 255, 0)"
2240         bordercolor: "rgba(255, 255, 255, 0)"
2241         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2242       autosize: False
2243       margin:
2244           't': 50
2245           'b': 150
2246           'l': 85
2247           'r': 10
2248       showlegend: True
2249       width: 700
2250       height: 700
2251       paper_bgcolor: "#fff"
2252       plot_bgcolor: "#fff"
2253       hoverlabel:
2254         namelength: -1
2255       annotations: [
2256         {
2257           text: "_ _          __",
2258           align: "left",
2259           showarrow: False,
2260           xref: "paper",
2261           yref: "paper",
2262           xanchor: "left",
2263           yanchor: "top",
2264           x: 0,
2265           y: -0.13,
2266           font: {
2267             family: "Consolas, Courier New",
2268             size: 13
2269           },
2270         },
2271         {
2272           text: "    Perfect     Measured",
2273           align: "left",
2274           showarrow: False,
2275           xref: "paper",
2276           yref: "paper",
2277           xanchor: "left",
2278           yanchor: "top",
2279           x: 0,
2280           y: -0.15,
2281           font: {
2282             family: "Consolas, Courier New",
2283             size: 13
2284           },
2285         },
2286       ]
2287
2288     plot-latency:
2289       titlefont:
2290         size: 16
2291       xaxis:
2292         title: "<b>Direction</b>"
2293         titlefont:
2294           size: 14
2295         autorange: True
2296         fixedrange: False
2297         gridcolor: "rgb(230, 230, 230)"
2298         linecolor: "rgb(220, 220, 220)"
2299         linewidth: 1
2300         showgrid: True
2301         showline: True
2302         showticklabels: False
2303         tickcolor: "rgb(220, 220, 220)"
2304         tickmode: "linear"
2305         tickfont:
2306           size: 14
2307         zeroline: False
2308       yaxis:
2309         title: "<b>Packet Latency [uSec]</b>"
2310         titlefont:
2311           size: 14
2312         type: "linear"
2313         gridcolor: "rgb(230, 230, 230)"
2314         hoverformat: ".4s"
2315         linecolor: "rgb(220, 220, 220)"
2316         linewidth: 1
2317         showgrid: True
2318         showline: True
2319         showticklabels: True
2320         tickcolor: "rgb(220, 220, 220)"
2321         tickformat: ".4s"
2322         tickfont:
2323           size: 14
2324         zeroline: True
2325         rangemode: "tozero"
2326       legend:
2327         orientation: "h"
2328         font:
2329           size: 14
2330         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2331       autosize: False
2332       margin:
2333           't': 50
2334           'b': 150
2335           'l': 80
2336           'r': 10
2337       showlegend: True
2338       width: 700
2339       height: 700
2340       paper_bgcolor: "#fff"
2341       plot_bgcolor: "#fff"
2342       hoverlabel:
2343         namelength: -1
2344
2345     plot-hdrh-latency:
2346       title:
2347         text: ""
2348         xanchor: "center"
2349         x: 0.5
2350         font:
2351           size: 16
2352       width: 700
2353       plot_bgcolor: "white"
2354       annotations:
2355         - font:
2356             size: 14
2357           showarrow: False
2358           text: "<b>Packet Latency [uSec]</b>"
2359           x: 1
2360           xanchor: "right"
2361           xref: "paper"
2362           y: -0.045
2363           yanchor: "top"
2364           yref: "paper"
2365         - font:
2366             size: 14
2367           showarrow: False
2368           text: "<b>Probability [%]</b>"
2369           textangle: 270
2370           x: -0.06
2371           xanchor: "center"
2372           xref: "paper"
2373           y: 0.5
2374           yanchor: "middle"
2375           yref: "paper"
2376         - font:
2377             size: 14
2378           showarrow: False
2379           text: "<b>Direction: E-W</b>"
2380           x: 0.24
2381           xanchor: "center"
2382           xref: "paper"
2383           y: 1.05
2384           yanchor: "bottom"
2385           yref: "paper"
2386         - font:
2387             size: 14
2388           showarrow: False
2389           text: "<b>Direction: W-E</b>"
2390           x: 0.74
2391           xanchor: "center"
2392           xref: "paper"
2393           y: 1.05
2394           yanchor: "bottom"
2395           yref: "paper"
2396
2397     plot-hdrh-latency-percentile:
2398       title:
2399         text: ""
2400         xanchor: "center"
2401         x: 0.5
2402         font:
2403           size: 16
2404       xaxis:
2405         type: "log"
2406         title: "<b>Percentile [%]</b>"
2407         titlefont:
2408           size: 14
2409         autorange: True
2410         fixedrange: False
2411         gridcolor: "rgb(230, 230, 230)"
2412         linecolor: "rgb(220, 220, 220)"
2413         linewidth: 1
2414         showgrid: True
2415         showline: True
2416         showticklabels: True
2417         tickcolor: "rgb(220, 220, 220)"
2418         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2419         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2420         tickfont:
2421           size: 14
2422       yaxis:
2423         title: "<b>Packet Latency [uSec]</b>"
2424         titlefont:
2425           size: 14
2426         gridcolor: "rgb(230, 230, 230)"
2427         linecolor: "rgb(220, 220, 220)"
2428         linewidth: 1
2429         showgrid: True
2430         showline: True
2431         showticklabels: True
2432         tickcolor: "rgb(220, 220, 220)"
2433         tickfont:
2434           size: 14
2435       autosize: False
2436       showlegend: True
2437       legend:
2438         traceorder: "normal"
2439         orientation: "h"
2440         font:
2441           size: 14
2442         xanchor: "left"
2443         yanchor: "top"
2444         x: 0
2445         y: -0.15
2446         bgcolor: "rgba(255, 255, 255, 0)"
2447         bordercolor: "rgba(255, 255, 255, 0)"
2448       width: 700
2449       height: 700
2450       paper_bgcolor: "white"
2451       plot_bgcolor: "white"
2452
2453     plot-hdrh-latency-by-percentile:
2454       title:
2455         text: "<b>Latency by Percentile Distribution</b>"
2456         xanchor: "center"
2457         x: 0.5
2458         font:
2459           size: 18
2460       showlegend: True
2461       legend:
2462         traceorder: "normal"
2463         orientation: "h"
2464         font:
2465           size: 16
2466         xanchor: "left"
2467         yanchor: "top"
2468         x: 0
2469         y: -0.2
2470         bgcolor: "rgba(255, 255, 255, 0)"
2471         bordercolor: "rgba(255, 255, 255, 0)"
2472       xaxis:
2473         type: "linear"
2474         title: "<b>Percentile [%]</b>"
2475         titlefont:
2476           size: 14
2477         autorange: False
2478         fixedrange: False
2479         range: [0, 100]
2480         gridcolor: "rgb(230, 230, 230)"
2481         linecolor: "rgb(220, 220, 220)"
2482         linewidth: 1
2483         showgrid: True
2484         showline: True
2485         showticklabels: True
2486         tickcolor: "rgb(220, 220, 220)"
2487         tickvals: [0, 25, 50, 75, 100]
2488         ticktext: [0, 25, 50, 75, 100]
2489         tickfont:
2490           size: 14
2491       yaxis:
2492         title: "<b>One-Way Latency per Direction [uSec]</b>"
2493         titlefont:
2494           size: 14
2495         gridcolor: "rgb(230, 230, 230)"
2496         linecolor: "rgb(220, 220, 220)"
2497         linewidth: 1
2498         showgrid: True
2499         showline: True
2500         showticklabels: True
2501         tickcolor: "rgb(220, 220, 220)"
2502         tickfont:
2503           size: 14
2504       width: 700
2505       height: 700
2506       paper_bgcolor: "white"
2507       plot_bgcolor: "white"
2508
2509 - type: "static"
2510   src-path: "{DIR[RST]}"
2511   dst-path: "{DIR[WORKING,SRC]}"
2512
2513 - type: "input"
2514   general:
2515     file-name: "output_info.xml.gz"
2516     file-format: ".gz"
2517     arch-file-format:
2518       - ".gz"
2519       - ".zip"
2520     download-path: "{job}/{build}/archives/{filename}"
2521     extract: "output.xml"
2522
2523     zip-file-name: "robot-plugin.zip"
2524     zip-file-format: ".zip"
2525     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2526     zip-extract: "robot-plugin/output.xml"
2527
2528   builds:
2529
2530     csit-vpp-perf-verify-2001-3n-hsw:
2531       - 17  # MRR sel
2532     csit-vpp-perf-report-iterative-2005-3n-hsw:
2533       - 20  # NDRPDR sel env 4
2534       - 21  # NDRPDR sel env 4
2535       - 22  # NDRPDR sel env 4
2536       - 23  # NDRPDR sel env 4
2537       - 24  # NDRPDR sel env 4
2538       - 25  # NDRPDR sel env 4
2539       - 26  # NDRPDR sel env 4
2540       - 27  # NDRPDR sel env 4
2541       - 28  # NDRPDR sel env 4
2542       - 29  # NDRPDR sel env 4
2543       - 30  # MRR env 4
2544       - 31  # NDRPDR sel 2001.0-4
2545       - 32  # NDRPDR sel 2001.0-4
2546       - 33  # NDRPDR sel 2001.0-4
2547       - 34  # NDRPDR sel 2001.0-4
2548       - 35  # NDRPDR sel 2001.0-4
2549       - 36  # NDRPDR sel 2001.0-4
2550       - 38  # NDRPDR sel 2001.0-4
2551     csit-vpp-perf-report-iterative-2009-3n-hsw:
2552       - 18  # rls2005 MRR iter env 5
2553       - 9   # rls2005 NDRPDR iter env 5
2554       - 10  # rls2005 NDRPDR iter env 5
2555       - 11  # rls2005 NDRPDR iter env 5
2556       - 12  # rls2005 NDRPDR iter env 5
2557       - 13  # rls2005 NDRPDR iter env 5
2558       - 14  # rls2005 NDRPDR iter env 5
2559       - 15  # rls2005 NDRPDR iter env 5
2560       - 16  # rls2005 NDRPDR iter env 5
2561       - 17  # rls2005 NDRPDR iter env 5
2562       - 19  # rls2005 NDRPDR iter env 5
2563       - 23  # rls2009 MRR iter env 5
2564       - 21  # rls2009 NDRPDR iter env 5
2565       - 22  # rls2009 NDRPDR iter env 5
2566       - 24  # rls2009 NDRPDR iter env 5
2567       - 25  # rls2009 NDRPDR iter env 5
2568       - 26  # rls2009 NDRPDR iter env 5
2569       - 27  # rls2009 NDRPDR iter env 5
2570       - 28  # rls2009 NDRPDR iter env 5
2571       - 29  # rls2009 NDRPDR iter env 5
2572       - 30  # rls2009 NDRPDR iter env 5
2573       - 31  # rls2009 NDRPDR iter env 5
2574       - 32  # rls2009 Hoststack iter env 5
2575       - 33  # rls2009 Hoststack iter env 5
2576       - 34  # rls2009 Hoststack iter env 5
2577       - 35  # rls2009 Hoststack iter env 5
2578       - 36  # rls2009 Hoststack iter env 5
2579       - 37  # rls2009 Hoststack iter env 5
2580       - 38  # rls2009 Hoststack iter env 5
2581       - 39  # rls2009 Hoststack iter env 5
2582       - 40  # rls2009 Hoststack iter env 5
2583       - 41  # rls2009 Hoststack iter env 5
2584     csit-vpp-perf-report-coverage-2009-3n-hsw:
2585       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2586       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2587       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2588       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2589       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2590       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2591       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2592       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2593       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2594       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2595       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2596       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2597       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2598       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2599       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2600       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2601       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2602       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2603       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2604       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2605       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2606       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2607       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2608       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2609       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2610       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2611       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2612       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2613       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2614       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2615       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2616       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2617       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2618       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2619       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2620
2621     csit-vpp-perf-verify-2001-3n-skx:
2622       - 50  # MRR sel
2623       - 53  # MRR sel addition
2624     csit-vpp-perf-report-iterative-2005-3n-skx:
2625       - 4   # NDRPDR sel
2626       - 5   # NDRPDR sel ??? all x710 failed
2627       - 33  # NDRPDR sel
2628       - 28  # NDRPDR sel
2629       - 34  # NDRPDR sel
2630       - 42  # NDRPDR sel env 4
2631       - 43  # NDRPDR sel env 4
2632       - 44  # NDRPDR sel env 4
2633       - 45  # NDRPDR sel env 4
2634       - 47  # NDRPDR sel env 4
2635       - 55  # NDRPDR sel env 4
2636       - 56  # NDRPDR sel env 4
2637       - 57  # NDRPDR sel env 4
2638       - 61  # NDRPDR sel env 4
2639       - 62  # NDRPDR sel env 4
2640       - 50  # NDRPDR sel 2001.0-4
2641       - 51  # NDRPDR sel 2001.0-4
2642       - 52  # NDRPDR sel 2001.0-4
2643       - 53  # NDRPDR sel 2001.0-4
2644       - 54  # NDRPDR sel 2001.0-4
2645       - 49  # MRR sel env 4
2646     csit-vpp-perf-report-iterative-2009-3n-skx:
2647       - 17  # rls2005 MRR iter env 5
2648       - 13  # rls2005 NDRPDR iter env 5
2649       - 18  # rls2005 NDRPDR iter env 5
2650       - 19  # rls2005 NDRPDR iter env 5
2651       - 41  # rls2005 NDRPDR iter env 5
2652       - 43  # rls2005 NDRPDR iter env 5
2653       - 44  # rls2005 NDRPDR iter env 5
2654       - 45  # rls2005 NDRPDR iter env 5
2655       - 46  # rls2005 NDRPDR iter env 5
2656       - 48  # rls2005 NDRPDR iter env 5
2657       - 49  # rls2005 NDRPDR iter env 5
2658       - 24  # rls2009 MRR iter env 5
2659       - 26  # rls2009 NDRPDR iter env 5
2660       - 27  # rls2009 NDRPDR iter env 5
2661       - 28  # rls2009 NDRPDR iter env 5
2662       - 29  # rls2009 NDRPDR iter env 5
2663       - 35  # rls2009 NDRPDR iter env 5
2664       - 36  # rls2009 NDRPDR iter env 5
2665       - 37  # rls2009 NDRPDR iter env 5
2666       - 38  # rls2009 NDRPDR iter env 5
2667       - 39  # rls2009 NDRPDR iter env 5
2668       - 40  # rls2009 NDRPDR iter env 5
2669     csit-vpp-perf-report-coverage-2009-3n-skx:
2670       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2671       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2672       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2673       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2674       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2675       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2676       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2677       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2678       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2679       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2680       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2681       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2682       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2683       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2684       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2685       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2686       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2687       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2688       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2689       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2690       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2691       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2692       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2693       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2694       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2695       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2696       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2697       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2698       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2699       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2700       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2701       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2702       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2703       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2704       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2705       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2706
2707     csit-vpp-perf-verify-2001-2n-skx:
2708       - 101  # MRR sel - old
2709       - 128  # MRR sel addition - old
2710     csit-vpp-perf-report-iterative-2005-2n-skx:
2711       - 88  # NDRPDR sel env 4
2712       - 89  # NDRPDR sel env 4
2713       - 90  # NDRPDR sel env 4
2714       - 91  # NDRPDR sel env 4
2715       - 92  # NDRPDR sel env 4
2716       - 93  # NDRPDR sel env 4
2717       - 94  # NDRPDR sel env 4
2718       - 125 # NDRPDR sel env 4
2719       - 126 # NDRPDR sel env 4
2720       - 127 # NDRPDR sel env 4
2721       - 100 # NDRPDR sel 2001.0-4
2722       - 101 # NDRPDR sel 2001.0-4
2723       - 102 # NDRPDR sel 2001.0-4
2724       - 103 # NDRPDR sel 2001.0-4
2725       - 104 # NDRPDR sel 2001.0-4
2726       - 105 # NDRPDR sel 2001.0-4
2727       - 99  # MRR sel env 4
2728     csit-vpp-perf-report-iterative-2009-2n-skx:
2729       - 20  # rls2005 MRR iter env 5
2730       - 13  # rls2005 NDRPDR iter env 5
2731       - 16  # rls2005 NDRPDR iter env 5
2732       - 17  # rls2005 NDRPDR iter env 5
2733       - 18  # rls2005 NDRPDR iter env 5
2734       - 19  # rls2005 NDRPDR iter env 5
2735       - 21  # rls2005 NDRPDR iter env 5
2736       - 22  # rls2005 NDRPDR iter env 5
2737       - 23  # rls2005 NDRPDR iter env 5
2738       - 24  # rls2005 NDRPDR iter env 5
2739       - 25  # rls2005 NDRPDR iter env 5
2740       - 120 # rls2009 MRR iter env 5
2741       - 35  # rls2009 NDRPDR iter env 5
2742       - 36  # rls2009 NDRPDR iter env 5
2743       - 37  # rls2009 NDRPDR iter env 5
2744       - 39  # rls2009 NDRPDR iter env 5
2745       - 40  # rls2009 NDRPDR iter env 5
2746       - 42  # rls2009 NDRPDR iter env 5
2747       - 43  # rls2009 NDRPDR iter env 5
2748       - 44  # rls2009 NDRPDR iter env 5
2749       - 46  # rls2009 NDRPDR iter env 5
2750       - 48  # rls2009 NDRPDR iter env 5
2751       - 110 # rls2009 NDRPDR iter NAT44 env 5
2752       - 111 # rls2009 NDRPDR iter NAT44 env 5
2753       - 112 # rls2009 NDRPDR iter NAT44 env 5
2754       - 113 # rls2009 NDRPDR iter NAT44 env 5
2755       - 114 # rls2009 NDRPDR iter NAT44 env 5
2756       - 115 # rls2009 NDRPDR iter NAT44 env 5
2757       - 116 # rls2009 NDRPDR iter NAT44 env 5
2758       - 118 # rls2009 NDRPDR iter NAT44 env 5
2759       - 119 # rls2009 NDRPDR iter NAT44 env 5
2760       - 121 # rls2009 NDRPDR iter NAT44 env 5
2761       - 38  # rls2009 nf-density iter env 5
2762       - 41  # rls2009 nf-density iter env 5
2763       - 45  # rls2009 nf-density iter env 5
2764       - 47  # rls2009 nf-density iter env 5
2765       - 49  # rls2009 nf-density iter env 5
2766       - 63  # rls2009 nf-density iter env 5
2767       - 65  # rls2009 nf-density iter env 5
2768       - 66  # rls2009 nf-density iter env 5
2769       - 71  # rls2009 nf-density iter env 5
2770       - 72  # rls2009 nf-density iter env 5
2771       - 50  # rls2009 MRR nf-density iter env 5
2772       - 27  # rls2009 reconf env 5
2773       - 28  # rls2009 reconf env 5
2774       - 29  # rls2009 reconf env 5
2775       - 30  # rls2009 reconf env 5
2776       - 31  # rls2009 reconf env 5
2777       - 32  # rls2009 reconf env 5
2778       - 61  # rls2009 reconf env 5
2779       - 62  # rls2009 reconf env 5
2780       - 68  # rls2009 reconf env 5
2781       - 70  # rls2009 reconf env 5
2782       - 33  # rls2009 soak env 5
2783       - 34  # rls2009 soak env 5
2784     csit-vpp-perf-report-coverage-2009-2n-skx:
2785       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2786       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2787       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2788       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2789       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2790       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2791       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2792       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2793       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2794       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2795       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2796       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2797       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2798       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2799       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2800       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2801       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2802
2803     csit-vpp-perf-verify-2001-2n-clx:
2804       - 39  # MRR
2805     csit-vpp-perf-report-iterative-2005-2n-clx:
2806       - 62  # NDRPDR sel env 4
2807       - 63  # NDRPDR sel env 4
2808       - 64  # NDRPDR sel env 4
2809       - 65  # NDRPDR sel env 4
2810       - 66  # NDRPDR sel env 4
2811       - 68  # NDRPDR sel env 4
2812       - 69  # NDRPDR sel env 4
2813       - 70  # NDRPDR sel env 4
2814       - 103 # NDRPDR sel env 4
2815       - 104 # NDRPDR sel env 4
2816       - 73  # NDRPDR sel 2001.0-4
2817       - 74  # NDRPDR sel 2001.0-4
2818       - 75  # NDRPDR sel 2001.0-4
2819       - 76  # NDRPDR sel 2001.0-4
2820       - 77  # NDRPDR sel 2001.0-4
2821       - 78  # NDRPDR sel 2001.0-4
2822       - 79  # NDRPDR sel 2001.0-4
2823       - 80  # NDRPDR sel 2001.0-4
2824       - 72  # MRR env 4
2825     csit-vpp-perf-report-iterative-2009-2n-clx:
2826       - 77  # rls2005 MRR iter env 5
2827       - 13  # rls2005 NDRPDR iter env 5
2828       - 15  # rls2005 NDRPDR iter env 5
2829       - 17  # rls2005 NDRPDR iter env 5
2830       - 18  # rls2005 NDRPDR iter env 5
2831       - 19  # rls2005 NDRPDR iter env 5
2832       - 20  # rls2005 NDRPDR iter env 5
2833       - 21  # rls2005 NDRPDR iter env 5
2834       - 22  # rls2005 NDRPDR iter env 5
2835       - 23  # rls2005 NDRPDR iter env 5
2836       - 24  # rls2005 NDRPDR iter env 5
2837       - 125 # rls2009 MRR iter env 5
2838       - 36  # rls2009 NDRPDR iter env 5
2839       - 39  # rls2009 NDRPDR iter env 5
2840       - 40  # rls2009 NDRPDR iter env 5
2841       - 65  # rls2009 NDRPDR iter env 5
2842       - 66  # rls2009 NDRPDR iter env 5
2843       - 79  # rls2009 NDRPDR iter env 5
2844       - 82  # rls2009 NDRPDR iter env 5
2845       - 88  # rls2009 NDRPDR iter env 5
2846       - 89  # rls2009 NDRPDR iter env 5
2847       - 90  # rls2009 NDRPDR iter env 5
2848       - 114 # rls2009 NDRPDR iter NAT44 env 5
2849       - 115 # rls2009 NDRPDR iter NAT44 env 5
2850       - 116 # rls2009 NDRPDR iter NAT44 env 5
2851       - 117 # rls2009 NDRPDR iter NAT44 env 5
2852       - 118 # rls2009 NDRPDR iter NAT44 env 5
2853       - 119 # rls2009 NDRPDR iter NAT44 env 5
2854       - 121 # rls2009 NDRPDR iter NAT44 env 5
2855       - 122 # rls2009 NDRPDR iter NAT44 env 5
2856       - 123 # rls2009 NDRPDR iter NAT44 env 5
2857       - 126 # rls2009 NDRPDR iter NAT44 env 5
2858       - 37  # rls2009 nf-density iter env 5
2859       - 43  # rls2009 nf-density iter env 5
2860       - 69  # rls2009 nf-density iter env 5
2861       - 70  # rls2009 nf-density iter env 5
2862       - 71  # rls2009 nf-density iter env 5
2863       - 72  # rls2009 nf-density iter env 5
2864       - 73  # rls2009 nf-density iter env 5
2865       - 74  # rls2009 nf-density iter env 5
2866       - 75  # rls2009 nf-density iter env 5
2867       - 76  # rls2009 nf-density iter env 5
2868       - 45  # rls2009 MRR nf-density iter env 5
2869       - 25  # rls2009 reconf env 5
2870       - 27  # rls2009 reconf env 5
2871       - 28  # rls2009 reconf env 5
2872       - 29  # rls2009 reconf env 5
2873       - 30  # rls2009 reconf env 5
2874       - 30  # rls2009 reconf env 5
2875       - 32  # rls2009 reconf env 5
2876       - 48  # rls2009 reconf env 5
2877       - 53  # rls2009 reconf env 5
2878       - 68  # rls2009 reconf env 5
2879       - 33  # rls2009 soak env 5
2880       - 34  # rls2009 soak env 5
2881     csit-vpp-perf-report-coverage-2009-2n-clx:
2882       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2883       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2884       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2885       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2886       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2887       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2888       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2889       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2890       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2891       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2892       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2893       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2894       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2895       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2896       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2897       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2898       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2899
2900     csit-vpp-perf-verify-2001-3n-tsh:
2901       - 9   # MRR sel
2902     csit-vpp-perf-report-iterative-2005-3n-tsh:
2903       - 23  # NDRPDR sel env 4
2904       - 25  # NDRPDR sel env 4
2905       - 33  # NDRPDR sel env 4
2906       - 34  # NDRPDR sel env 4
2907       - 35  # NDRPDR sel env 4
2908       - 36  # NDRPDR sel env 4
2909       - 37  # NDRPDR sel env 4
2910       - 38  # NDRPDR sel env 4
2911       - 39  # NDRPDR sel env 4
2912       - 40  # NDRPDR sel env 4
2913       - 28  # NDRPDR sel 2001.0-4
2914       - 29  # NDRPDR sel 2001.0-4
2915       - 31  # NDRPDR sel 2001.0-4
2916       - 27  # MRR sel env 4
2917     csit-vpp-perf-report-iterative-2009-3n-tsh:
2918       - 8   # rls2005 NDRPDR iter env 5
2919       - 11  # rls2005 NDRPDR iter env 5
2920       - 12  # rls2005 NDRPDR iter env 5
2921       - 24  # rls2005 NDRPDR iter env 5
2922       - 27  # rls2005 NDRPDR iter env 5
2923       - 29  # rls2005 NDRPDR iter env 5
2924       - 31  # rls2005 NDRPDR iter env 5
2925       - 39  # rls2005 NDRPDR iter env 5
2926       - 40  # rls2005 NDRPDR iter env 5
2927       - 42  # rls2005 NDRPDR iter env 5
2928       - 13  # rls2005 MRR iter env 5
2929       - 14  # rls2009 NDRPDR iter env 5
2930       - 20  # rls2009 NDRPDR iter env 5
2931       - 21  # rls2009 NDRPDR iter env 5
2932       - 22  # rls2009 NDRPDR iter env 5
2933       - 23  # rls2009 NDRPDR iter env 5
2934       - 28  # rls2009 NDRPDR iter env 5
2935       - 30  # rls2009 NDRPDR iter env 5
2936       - 33  # rls2009 NDRPDR iter env 5
2937       - 38  # rls2009 NDRPDR iter env 5
2938       - 41  # rls2009 NDRPDR iter env 5
2939       - 15  # rls2009 MRR iter env 5
2940
2941     csit-vpp-perf-verify-2001-3n-dnv:
2942       - 5   # NDRPDR sel
2943       - 6   # NDRPDR sel
2944       - 7   # NDRPDR sel
2945       - 8   # NDRPDR sel
2946       - 9   # NDRPDR sel
2947       - 10  # NDRPDR sel
2948       - 12  # NDRPDR sel
2949       - 16  # NDRPDR sel
2950       - 17  # NDRPDR sel
2951       - 18  # NDRPDR sel
2952       - 11  # MRR sel
2953     csit-vpp-perf-report-iterative-2009-3n-dnv:
2954       - 16  # rls2005 NDRPDR iter env 5
2955       - 23  # rls2005 NDRPDR iter env 5
2956       - 25  # rls2005 NDRPDR iter env 5
2957       - 26  # rls2005 NDRPDR iter env 5
2958       - 27  # rls2005 NDRPDR iter env 5
2959       - 28  # rls2005 NDRPDR iter env 5
2960       - 29  # rls2005 NDRPDR iter env 5
2961       - 30  # rls2005 NDRPDR iter env 5
2962       - 31  # rls2005 NDRPDR iter env 5
2963       - 32  # rls2005 NDRPDR iter env 5
2964       - 19  # rls2005 MRR iter env 5
2965       - 3   # rls2009 NDRPDR iter env 5
2966       - 6   # rls2009 NDRPDR iter env 5
2967       - 7   # rls2009 NDRPDR iter env 5
2968       - 8   # rls2009 NDRPDR iter env 5
2969       - 10  # rls2009 NDRPDR iter env 5
2970       - 11  # rls2009 NDRPDR iter env 5
2971       - 12  # rls2009 NDRPDR iter env 5
2972       - 14  # rls2009 NDRPDR iter env 5
2973       - 15  # rls2009 NDRPDR iter env 5
2974       - 24  # rls2009 NDRPDR iter env 5
2975       - 22  # rls2009 MRR iter env 5
2976     csit-vpp-perf-report-coverage-2009-3n-dnv:
2977       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
2978       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
2979       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
2980       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
2981       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
2982       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
2983       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
2984       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
2985       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
2986
2987     csit-vpp-perf-verify-2001-2n-dnv:
2988       - 4   # NDRPDR sel
2989       - 5   # NDRPDR sel
2990       - 6   # NDRPDR sel
2991       - 7   # NDRPDR sel
2992       - 8   # NDRPDR sel
2993       - 9   # NDRPDR sel
2994       - 10  # NDRPDR sel
2995       - 11  # NDRPDR sel
2996       - 13  # NDRPDR sel
2997       - 16  # NDRPDR sel
2998       - 12  # MRR sel
2999     csit-vpp-perf-report-iterative-2009-2n-dnv:
3000       - 16  # rls2005 NDRPDR iter env 5
3001       - 17  # rls2005 NDRPDR iter env 5
3002       - 18  # rls2005 NDRPDR iter env 5
3003       - 19  # rls2005 NDRPDR iter env 5
3004       - 21  # rls2005 NDRPDR iter env 5
3005       - 24  # rls2005 NDRPDR iter env 5
3006       - 27  # rls2005 NDRPDR iter env 5
3007       - 28  # rls2005 NDRPDR iter env 5
3008       - 29  # rls2005 NDRPDR iter env 5
3009       - 30  # rls2005 NDRPDR iter env 5
3010       - 23  # rls2005 MRR iter env 5
3011       - 3   # rls2009 NDRPDR iter env 5
3012       - 5   # rls2009 NDRPDR iter env 5
3013       - 6   # rls2009 NDRPDR iter env 5
3014       - 7   # rls2009 NDRPDR iter env 5
3015       - 9   # rls2009 NDRPDR iter env 5
3016       - 10  # rls2009 NDRPDR iter env 5
3017       - 11  # rls2009 NDRPDR iter env 5
3018       - 12  # rls2009 NDRPDR iter env 5
3019       - 14  # rls2009 NDRPDR iter env 5
3020       - 15  # rls2009 NDRPDR iter env 5
3021       - 13  # rls2009 MRR iter env 5
3022     csit-vpp-perf-report-coverage-2009-2n-dnv:
3023       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3024       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3025       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3026       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3027       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3028       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3029
3030     csit-dpdk-perf-verify-2001-3n-hsw:
3031       - 4   # NDRPDR sel
3032       - 5   # NDRPDR sel
3033       - 6   # NDRPDR sel
3034       - 7   # NDRPDR sel
3035       - 8   # NDRPDR sel
3036       - 9   # NDRPDR sel
3037       - 10  # NDRPDR sel
3038       - 11  # NDRPDR sel
3039       - 12  # NDRPDR sel
3040       - 13  # NDRPDR sel
3041       - 15  # NDRPDR sel
3042       - 16  # NDRPDR sel
3043       - 17  # NDRPDR sel
3044       - 18  # NDRPDR sel
3045       - 19  # NDRPDR sel
3046       - 20  # NDRPDR sel
3047       - 21  # NDRPDR sel
3048       - 22  # NDRPDR sel
3049       - 23  # NDRPDR sel
3050       - 24  # NDRPDR sel
3051     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3052       - 25  # NDRPDR iter
3053       - 26  # NDRPDR iter
3054       - 27  # NDRPDR iter
3055       - 28  # NDRPDR iter
3056       - 29  # NDRPDR iter
3057       - 30  # NDRPDR iter
3058       - 31  # NDRPDR iter
3059       - 32  # NDRPDR iter
3060       - 33  # NDRPDR iter
3061       - 34  # NDRPDR iter
3062     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3063       - 6   # NDRPDR iter env5
3064       - 7   # NDRPDR iter env5
3065       - 8   # NDRPDR iter env5
3066       - 9   # NDRPDR iter env5
3067       - 10  # NDRPDR iter env5
3068       - 11  # NDRPDR iter env5
3069       - 12  # NDRPDR iter env5
3070       - 13  # NDRPDR iter env5
3071       - 14  # NDRPDR iter env5
3072       - 15  # NDRPDR iter env5
3073
3074     csit-dpdk-perf-verify-2001-3n-skx:
3075       - 29  # NDRPDR sel xxv710
3076       - 33  # NDRPDR sel xxv710
3077       - 34  # NDRPDR sel xxv710
3078       - 35  # NDRPDR sel xxv710
3079       - 36  # NDRPDR sel xxv710
3080       - 37  # NDRPDR sel xxv710
3081       - 41  # NDRPDR sel xxv710
3082       - 42  # NDRPDR sel xxv710
3083       - 43  # NDRPDR sel xxv710
3084       - 45  # NDRPDR sel xxv710
3085       - 30  # NDRPDR sel x710
3086       - 31  # NDRPDR sel x710
3087       - 32  # NDRPDR sel x710
3088       - 38  # NDRPDR sel x710
3089       - 39  # NDRPDR sel x710
3090       - 40  # NDRPDR sel x710
3091       - 44  # NDRPDR sel x710
3092       - 46  # NDRPDR sel x710
3093       - 47  # NDRPDR sel x710
3094       - 48  # NDRPDR sel x710
3095     csit-dpdk-perf-report-iterative-2005-3n-skx:
3096       - 28  # NDRPDR iter
3097       - 29  # NDRPDR iter
3098       - 30  # NDRPDR iter
3099       - 31  # NDRPDR iter
3100       - 32  # NDRPDR iter
3101       - 33  # NDRPDR iter
3102       - 34  # NDRPDR iter
3103       - 35  # NDRPDR iter
3104       - 36  # NDRPDR iter
3105       - 37  # NDRPDR iter
3106     csit-dpdk-perf-report-iterative-2009-3n-skx:
3107       - 4   # NDRPDR sel env5
3108       - 5   # NDRPDR sel env5
3109       - 6   # NDRPDR sel env5
3110       - 7   # NDRPDR sel env5
3111       - 8   # NDRPDR sel env5
3112       - 9   # NDRPDR sel env5
3113       - 14  # NDRPDR sel env5
3114       - 11  # NDRPDR sel env5
3115       - 12  # NDRPDR sel env5
3116       - 13  # NDRPDR sel env5
3117
3118     csit-dpdk-perf-verify-2001-2n-skx:
3119       - 35  # NDRPDR sel xxv710
3120       - 36  # NDRPDR sel xxv710
3121       - 37  # NDRPDR sel xxv710
3122       - 41  # NDRPDR sel xxv710
3123       - 42  # NDRPDR sel xxv710
3124       - 43  # NDRPDR sel xxv710
3125       - 46  # NDRPDR sel xxv710
3126       - 47  # NDRPDR sel xxv710
3127       - 52  # NDRPDR sel xxv710
3128       - 53  # NDRPDR sel xxv710
3129       - 38  # NDRPDR sel x710
3130       - 39  # NDRPDR sel x710
3131       - 40  # NDRPDR sel x710
3132       - 44  # NDRPDR sel x710
3133       - 45  # NDRPDR sel x710
3134       - 48  # NDRPDR sel x710
3135       - 49  # NDRPDR sel x710
3136       - 50  # NDRPDR sel x710
3137       - 51  # NDRPDR sel x710
3138       - 54  # NDRPDR sel x710
3139     csit-dpdk-perf-report-iterative-2005-2n-skx:
3140       - 20  # NDRPDR iter
3141       - 21  # NDRPDR iter
3142       - 22  # NDRPDR iter
3143       - 23  # NDRPDR iter
3144       - 24  # NDRPDR iter
3145       - 25  # NDRPDR iter
3146       - 26  # NDRPDR iter
3147       - 27  # NDRPDR iter
3148       - 28  # NDRPDR iter
3149       - 29  # NDRPDR iter
3150     csit-dpdk-perf-report-iterative-2009-2n-skx:
3151       - 4   # NDRPDR iter env5
3152       - 5   # NDRPDR iter env5
3153       - 6   # NDRPDR iter env5
3154       - 7   # NDRPDR iter env5
3155       - 8   # NDRPDR iter env5
3156       - 9   # NDRPDR iter env5
3157       - 10  # NDRPDR iter env5
3158       - 11  # NDRPDR iter env5
3159       - 12  # NDRPDR iter env5
3160       - 13  # NDRPDR iter env5
3161
3162     csit-dpdk-perf-verify-2001-2n-clx:
3163       - 15  # NDRPDR sel
3164       - 16  # NDRPDR sel
3165       - 17  # NDRPDR sel
3166       - 18  # NDRPDR sel
3167       - 19  # NDRPDR sel
3168       - 20  # NDRPDR sel
3169       - 21  # NDRPDR sel
3170       - 22  # NDRPDR sel
3171       - 23  # NDRPDR sel
3172       - 24  # NDRPDR sel
3173       - 25  # NDRPDR sel
3174       - 26  # NDRPDR sel
3175       - 27  # NDRPDR sel
3176       - 28  # NDRPDR sel
3177       - 29  # NDRPDR sel
3178       - 30  # NDRPDR sel
3179       - 31  # NDRPDR sel
3180       - 32  # NDRPDR sel
3181       - 33  # NDRPDR sel
3182       - 34  # NDRPDR sel
3183     csit-dpdk-perf-report-iterative-2005-2n-clx:
3184       - 20  # NDRPDR iter
3185       - 21  # NDRPDR iter
3186       - 22  # NDRPDR iter
3187       - 23  # NDRPDR iter
3188       - 24  # NDRPDR iter
3189       - 25  # NDRPDR iter