resources/tools/presentation/specification.yaml

   1 - type: "environment"
   2
   3   paths:
   4     # Top level directories:
   5     ## Working directory
   6     DIR[WORKING]: "_tmp"
   7     ## Build directories
   8     DIR[BUILD,HTML]: "_build"
   9     DIR[BUILD,LATEX]: "_build_latex"
  10
  11     # Static .rst files
  12     DIR[RST]: "../../../docs/report"
  13
  14     # Working directories
  15     ## Input data files (.zip, .xml)
  16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  17     ## Static source files from git
  18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  20
  21     # Static html content
  22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  26
  27     # Detailed test results
  28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
  33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
  34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
  35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
  36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
  37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
  38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
  39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
  43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
  44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
  45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
  46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
  47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
  48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
  49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
  53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
  54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
  55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
  56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
  57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
  58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  59
  60     # Detailed test configurations
  61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
  63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
  67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
  68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
  69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
  70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
  71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
  72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
  73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
  77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
  78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
  79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
  80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
  81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
  82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  83
  84     # Detailed tests operational data
  85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
  87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
  91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
  92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
  93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
  94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
  95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
  96
  97     # Latencies:
  98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
 100
 101     # .css patch file to fix tables generated by Sphinx
 102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
 103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
 104
 105   urls:
 106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
 107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
 108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
 109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
 110     DIR[NEXUS,DOC]: "report/_static/archive"
 111
 112   make-dirs:
 113   # List the directories which are created while preparing the environment.
 114   # All directories MUST be defined in "paths" section.
 115   - "DIR[WORKING,DATA]"
 116   - "DIR[STATIC,VPP]"
 117   - "DIR[STATIC,DPDK]"
 118   - "DIR[STATIC,ARCH]"
 119   - "DIR[BUILD,LATEX]"
 120   - "DIR[WORKING,SRC]"
 121   - "DIR[WORKING,SRC,STATIC]"
 122
 123   remove-dirs:
 124   # List the directories which are deleted while cleaning the environment.
 125   # All directories MUST be defined in "paths" section.
 126   #- "DIR[BUILD,HTML]"
 127   - "DIR[WORKING,DATA]"
 128
 129   build-dirs:
 130   # List the directories where the results (build) is stored.
 131   # All directories MUST be defined in "paths" section.
 132   - "DIR[BUILD,HTML]"
 133   - "DIR[BUILD,LATEX]"
 134
 135 - type: "configuration"
 136
 137   mapping-file: "mapping_report.yaml"
 138
 139   limits:
 140     nic:
 141       x520: 24460000
 142       x553: 29761905
 143       x710: 35800000
 144       xxv710: 35800000
 145       xl710: 35800000
 146       cx556a: 148809523.81
 147
 148     link:
 149       10ge: 14880952.38
 150       25ge: 37202380.95
 151       40ge: 59523809.52
 152       100ge: 148809523.81
 153
 154     pci:
 155       pci-g3-x8: 74404761.90
 156       pci-g3-x16: 148809523.81
 157
 158   data-sets:
 159
 160     ###########################################################################
 161     # Plots:
 162
 163     # 3n-hsw
 164
 165     plot-vpp-throughput-lat-tsa-3n-hsw:
 166       csit-vpp-perf-report-iterative-2101-3n-hsw:
 167         - 64  # rls2101.rel NDRPDR iter env 6
 168         - 71  # rls2101.rel NDRPDR iter env 6
 169         - 73  # rls2101.rel NDRPDR iter env 6
 170         - 74  # rls2101.rel NDRPDR iter env 6
 171         - 80  # rls2101.rel NDRPDR iter env 6
 172         - 81  # rls2101.rel NDRPDR iter env 6
 173         - 82  # rls2101.rel NDRPDR iter env 6
 174         - 83  # rls2101.rel NDRPDR iter env 6
 175         - 88  # rls2101.rel NDRPDR iter env 6
 176         - 89  # rls2101.rel NDRPDR iter env 6
 177         - 128 # rls2101.rel NDRPDR iter RND env 6
 178         - 129 # rls2101.rel NDRPDR iter RND env 6
 179         - 130 # rls2101.rel NDRPDR iter RND env 6
 180         - 131 # rls2101.rel NDRPDR iter RND env 6
 181         - 132 # rls2101.rel NDRPDR iter RND env 6
 182         - 133 # rls2101.rel NDRPDR iter RND env 6
 183         - 134 # rls2101.rel NDRPDR iter RND env 6
 184         - 135 # rls2101.rel NDRPDR iter RND env 6
 185         - 136 # rls2101.rel NDRPDR iter RND env 6
 186         - 137 # rls2101.rel NDRPDR iter RND env 6
 187
 188     plot-vpp-hdrh-lat-3n-hsw:
 189       csit-vpp-perf-report-iterative-2101-3n-hsw:
 190         - 89  # rls2101.rel NDRPDR iter env 6
 191
 192     plot-vpp-hdrh-lat-3n-hsw-rnd:
 193       csit-vpp-perf-report-iterative-2101-3n-hsw:
 194         - 128 # rls2101.rel NDRPDR iter RND env 6
 195
 196     plot-vpp-ipsec-reconf-3n-hsw:
 197       csit-vpp-perf-report-iterative-2101-3n-hsw:
 198         - 65  # rls2101.rel NDRPDR reconf iter env 6
 199         - 68  # rls2101.rel NDRPDR reconf iter env 6
 200         - 77  # rls2101.rel NDRPDR reconf iter env 6
 201         - 84  # rls2101.rel NDRPDR reconf iter env 6
 202         - 90  # rls2101.rel NDRPDR reconf iter env 6
 203         - 96  # rls2101.rel NDRPDR reconf iter env 6
 204         - 101 # rls2101.rel NDRPDR reconf iter env 6
 205         - 104 # rls2101.rel NDRPDR reconf iter env 6
 206         - 105 # rls2101.rel NDRPDR reconf iter env 6
 207         - 106 # rls2101.rel NDRPDR reconf iter env 6
 208         - 107 # rls2101.rel NDRPDR reconf iter env 6
 209         - 108 # rls2101.rel NDRPDR reconf iter env 6
 210         - 110 # rls2101.rel NDRPDR reconf iter env 6
 211         - 111 # rls2101.rel NDRPDR reconf iter env 6
 212         - 112 # rls2101.rel NDRPDR reconf iter env 6
 213         - 113 # rls2101.rel NDRPDR reconf iter env 6
 214         - 114 # rls2101.rel NDRPDR reconf iter env 6
 215         - 115 # rls2101.rel NDRPDR reconf iter env 6
 216         - 116 # rls2101.rel NDRPDR reconf iter env 6
 217         - 117 # rls2101.rel NDRPDR reconf iter env 6
 218
 219     plot-vpp-hoststack-3n-hsw:
 220       csit-vpp-perf-report-iterative-2101-3n-hsw:
 221         - 69  # rls2101.rel Hoststack iter env 6
 222         - 70  # rls2101.rel Hoststack iter env 6
 223         - 75  # rls2101.rel Hoststack iter env 6
 224         - 76  # rls2101.rel Hoststack iter env 6
 225         - 78  # rls2101.rel Hoststack iter env 6
 226         - 79  # rls2101.rel Hoststack iter env 6
 227         - 85  # rls2101.rel Hoststack iter env 6
 228         - 86  # rls2101.rel Hoststack iter env 6
 229         - 87  # rls2101.rel Hoststack iter env 6
 230         - 91  # rls2101.rel Hoststack iter env 6
 231         - 92  # rls2101.rel Hoststack iter env 6
 232         - 93  # rls2101.rel Hoststack iter env 6
 233         - 94  # rls2101.rel Hoststack iter env 6
 234         - 95  # rls2101.rel Hoststack iter env 6
 235         - 97  # rls2101.rel Hoststack iter env 6
 236         - 98  # rls2101.rel Hoststack iter env 6
 237         - 99  # rls2101.rel Hoststack iter env 6
 238         - 100 # rls2101.rel Hoststack iter env 6
 239         - 102 # rls2101.rel Hoststack iter env 6
 240         - 103 # rls2101.rel Hoststack iter env 6
 241
 242     plot-dpdk-throughput-latency-3n-hsw:
 243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 244         - 11  # rls2101 NDRPDR iter env 6
 245         - 12  # rls2101 NDRPDR iter env 6
 246         - 13  # rls2101 NDRPDR iter env 6
 247         - 14  # rls2101 NDRPDR iter env 6
 248         - 16  # rls2101 NDRPDR iter env 6
 249         - 17  # rls2101 NDRPDR iter env 6
 250         - 18  # rls2101 NDRPDR iter env 6
 251         - 19  # rls2101 NDRPDR iter env 6
 252         - 20  # rls2101 NDRPDR iter env 6
 253         - 21  # rls2101 NDRPDR iter env 6
 254
 255     plot-dpdk-hdrh-lat-3n-hsw:
 256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 257         - 11  # rls2101 NDRPDR iter env 6
 258
 259     # 3n-skx
 260
 261     plot-vpp-throughput-lat-tsa-3n-skx:
 262       csit-vpp-perf-report-iterative-2101-3n-skx:
 263         - 36  # rls2101.rel NDRPDR iter env 6
 264         - 37  # rls2101.rel NDRPDR iter env 6
 265         - 38  # rls2101.rel NDRPDR iter env 6
 266         - 39  # rls2101.rel NDRPDR iter env 6
 267         - 40  # rls2101.rel NDRPDR iter env 6
 268         - 41  # rls2101.rel NDRPDR iter env 6
 269         - 42  # rls2101.rel NDRPDR iter env 6
 270         - 47  # rls2101.rel NDRPDR iter env 6
 271         - 48  # rls2101.rel NDRPDR iter env 6
 272         - 50  # rls2101.rel NDRPDR iter env 6
 273
 274     plot-vpp-hdrh-lat-3n-skx:
 275       csit-vpp-perf-report-iterative-2101-3n-skx:
 276         - 36  # rls2101.rel NDRPDR iter env 6
 277
 278 #    plot-vpp-nfv-3n-skx-ndrpdr:
 279 #      # No data
 280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
 281
 282 #    plot-vpp-nfv-3n-skx-mrr:
 283 #      # No data
 284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
 285
 286     plot-dpdk-throughput-latency-3n-skx:
 287       csit-dpdk-perf-report-iterative-2101-3n-skx:
 288         - 12  # rls2101 NDRPDR iter env 6
 289         - 14  # rls2101 NDRPDR iter env 6
 290         - 15  # rls2101 NDRPDR iter env 6
 291         - 17  # rls2101 NDRPDR iter env 6
 292         - 19  # rls2101 NDRPDR iter env 6
 293         - 20  # rls2101 NDRPDR iter env 6
 294         - 21  # rls2101 NDRPDR iter env 6
 295         - 22  # rls2101 NDRPDR iter env 6
 296         - 25  # rls2101 NDRPDR iter env 6
 297         - 26  # rls2101 NDRPDR iter env 6
 298
 299     plot-dpdk-hdrh-lat-3n-skx:
 300       csit-dpdk-perf-report-iterative-2101-3n-skx:
 301         - 12  # rls2101 NDRPDR iter env 6
 302
 303     # 2n-skx
 304
 305     plot-vpp-throughput-lat-tsa-2n-skx:
 306       csit-vpp-perf-report-iterative-2101-2n-skx:
 307         - 63  # rls2101.rel NDRPDR iter env 6
 308         - 69  # rls2101.rel NDRPDR iter env 6
 309         - 70  # rls2101.rel NDRPDR iter env 6
 310         - 75  # rls2101.rel NDRPDR iter env 6
 311         - 76  # rls2101.rel NDRPDR iter env 6
 312         - 77  # rls2101.rel NDRPDR iter env 6
 313         - 82  # rls2101.rel NDRPDR iter env 6
 314         - 85  # rls2101.rel NDRPDR iter env 6
 315         - 86  # rls2101.rel NDRPDR iter env 6
 316         - 94  # rls2101.rel NDRPDR iter env 6
 317         - 89  # rls2101.rel NDRPDR iter RND env 6
 318         - 90  # rls2101.rel NDRPDR iter RND env 6
 319         - 91  # rls2101.rel NDRPDR iter RND env 6
 320         - 92  # rls2101.rel NDRPDR iter RND env 6
 321         - 93  # rls2101.rel NDRPDR iter RND env 6
 322         - 96  # rls2101.rel NDRPDR iter RND env 6
 323         - 98  # rls2101.rel NDRPDR iter RND env 6
 324         - 99  # rls2101.rel NDRPDR iter RND env 6
 325         - 101 # rls2101.rel NDRPDR iter RND env 6
 326         - 102 # rls2101.rel NDRPDR iter RND env 6
 327         - 116 # rls2101.rel NDRPDR iter NAT env 6
 328         - 117 # rls2101.rel NDRPDR iter NAT env 6
 329         - 118 # rls2101.rel NDRPDR iter NAT env 6
 330         - 119 # rls2101.rel NDRPDR iter NAT env 6
 331         - 120 # rls2101.rel NDRPDR iter NAT env 6
 332         - 121 # rls2101.rel NDRPDR iter NAT env 6
 333         - 122 # rls2101.rel NDRPDR iter NAT env 6
 334         - 123 # rls2101.rel NDRPDR iter NAT env 6
 335         - 124 # rls2101.rel NDRPDR iter NAT env 6
 336         - 125 # rls2101.rel NDRPDR iter NAT env 6
 337
 338     plot-vpp-hdrh-lat-2n-skx:
 339       csit-vpp-perf-report-iterative-2101-2n-skx:
 340         - 94  # rls2101.rel NDRPDR iter env 6
 341
 342     plot-vpp-hdrh-lat-2n-skx-rnd:
 343       csit-vpp-perf-report-iterative-2101-2n-skx:
 344         - 89  # rls2101.rel NDRPDR iter RND env 6
 345
 346     plot-vpp-hdrh-lat-2n-skx-nat:
 347       csit-vpp-perf-report-iterative-2101-2n-skx:
 348         - 118 # rls2101.rel NDRPDR iter NAT env 6
 349
 350     plot-vpp-soak-2n-skx:
 351       csit-vpp-perf-report-iterative-2101-2n-skx:
 352         - 68  # rls2101.rel soak env 6
 353         - 73  # rls2101.rel soak env 6
 354
 355     plot-vpp-nfv-2n-skx-ndrpdr:
 356       csit-vpp-perf-report-iterative-2101-2n-skx:
 357         - 67  # rls2101.rel NDRPDR nf-density iter env 6
 358         - 72  # rls2101.rel NDRPDR nf-density iter env 6
 359         - 79  # rls2101.rel NDRPDR nf-density iter env 6
 360         - 83  # rls2101.rel NDRPDR nf-density iter env 6
 361         - 88  # rls2101.rel NDRPDR nf-density iter env 6
 362         - 97  # rls2101.rel NDRPDR nf-density iter env 6
 363         - 103 # rls2101.rel NDRPDR nf-density iter env 6
 364         - 108 # rls2101.rel NDRPDR nf-density iter env 6
 365         - 109 # rls2101.rel NDRPDR nf-density iter env 6
 366         - 110 # rls2101.rel NDRPDR nf-density iter env 6
 367
 368     plot-vpp-nfv-2n-skx-mrr:
 369       csit-vpp-perf-report-iterative-2101-2n-skx:
 370         - 65  # rls2101.rel MRR nf-density iter env 6
 371
 372     plot-vpp-nfv-reconf-2n-skx:
 373       csit-vpp-perf-report-iterative-2101-2n-skx:
 374         - 64  # rls2101.rel NDRPDR reconf iter env 6
 375         - 66  # rls2101.rel NDRPDR reconf iter env 6
 376         - 71  # rls2101.rel NDRPDR reconf iter env 6
 377         - 74  # rls2101.rel NDRPDR reconf iter env 6
 378         - 78  # rls2101.rel NDRPDR reconf iter env 6
 379         - 87  # rls2101.rel NDRPDR reconf iter env 6
 380         - 95  # rls2101.rel NDRPDR reconf iter env 6
 381         - 100 # rls2101.rel NDRPDR reconf iter env 6
 382         - 104 # rls2101.rel NDRPDR reconf iter env 6
 383         - 106 # rls2101.rel NDRPDR reconf iter env 6
 384
 385     plot-dpdk-throughput-latency-2n-skx:
 386       csit-dpdk-perf-report-iterative-2101-2n-skx:
 387         - 11  # rls2101 NDRPDR iter env 6
 388         - 12  # rls2101 NDRPDR iter env 6
 389         - 13  # rls2101 NDRPDR iter env 6
 390         - 14  # rls2101 NDRPDR iter env 6
 391         - 15  # rls2101 NDRPDR iter env 6
 392         - 17  # rls2101 NDRPDR iter env 6
 393         - 18  # rls2101 NDRPDR iter env 6
 394         - 19  # rls2101 NDRPDR iter env 6
 395         - 20  # rls2101 NDRPDR iter env 6
 396         - 21  # rls2101 NDRPDR iter env 6
 397
 398     plot-dpdk-hdrh-lat-2n-skx:
 399       csit-dpdk-perf-report-iterative-2101-2n-skx:
 400         - 11  # rls2101 NDRPDR iter env 6
 401
 402     # 2n-zn2
 403
 404     plot-vpp-throughput-lat-tsa-2n-zn2:
 405       csit-vpp-perf-report-iterative-2101-2n-zn2:
 406         - 31  # rls2101.rel NDRPDR iter env 6
 407         - 32  # rls2101.rel NDRPDR iter env 6
 408         - 33  # rls2101.rel NDRPDR iter env 6
 409         - 34  # rls2101.rel NDRPDR iter env 6
 410         - 35  # rls2101.rel NDRPDR iter env 6
 411         - 36  # rls2101.rel NDRPDR iter env 6
 412         - 37  # rls2101.rel NDRPDR iter env 6
 413         - 38  # rls2101.rel NDRPDR iter env 6
 414         - 44  # rls2101.rel NDRPDR iter env 6
 415         - 49  # rls2101.rel NDRPDR iter env 6
 416         - 39  # rls2101.rel NDRPDR iter RND env 6
 417         - 40  # rls2101.rel NDRPDR iter RND env 6
 418         - 41  # rls2101.rel NDRPDR iter RND env 6
 419         - 42  # rls2101.rel NDRPDR iter RND env 6
 420         - 43  # rls2101.rel NDRPDR iter RND env 6
 421         - 45  # rls2101.rel NDRPDR iter RND env 6
 422         - 48  # rls2101.rel NDRPDR iter RND env 6
 423         - 50  # rls2101.rel NDRPDR iter RND env 6
 424         - 51  # rls2101.rel NDRPDR iter RND env 6
 425         - 52  # rls2101.rel NDRPDR iter RND env 6
 426
 427     plot-vpp-hdrh-lat-2n-zn2:
 428       csit-vpp-perf-report-iterative-2101-2n-zn2:
 429         - 31  # rls2101.rel NDRPDR iter env 6
 430
 431     plot-vpp-hdrh-lat-2n-zn2-rnd:
 432       csit-vpp-perf-report-iterative-2101-2n-zn2:
 433         - 40  # rls2101.rel NDRPDR iter RND env 6
 434
 435     plot-dpdk-throughput-latency-2n-zn2:
 436       csit-dpdk-perf-report-iterative-2101-2n-zn2:
 437         - 11  # rls2101 NDRPDR iter env 6
 438         - 12  # rls2101 NDRPDR iter env 6
 439         - 13  # rls2101 NDRPDR iter env 6
 440         - 14  # rls2101 NDRPDR iter env 6
 441         - 16  # rls2101 NDRPDR iter env 6
 442         - 17  # rls2101 NDRPDR iter env 6
 443         - 18  # rls2101 NDRPDR iter env 6
 444         - 19  # rls2101 NDRPDR iter env 6
 445         - 20  # rls2101 NDRPDR iter env 6
 446         - 21  # rls2101 NDRPDR iter env 6
 447
 448     plot-dpdk-hdrh-lat-2n-zn2:
 449       csit-dpdk-perf-report-iterative-2101-2n-zn2:
 450         - 11  # rls2101 NDRPDR iter env 6
 451
 452     # 2n-clx
 453
 454     plot-vpp-throughput-lat-tsa-2n-clx:
 455       csit-vpp-perf-report-iterative-2101-2n-clx:
 456         - 54  # rls2101.rel NDRPDR iter env 6
 457         - 59  # rls2101.rel NDRPDR iter env 6
 458         - 60  # rls2101.rel NDRPDR iter env 6
 459         - 63  # rls2101.rel NDRPDR iter env 6
 460         - 66  # rls2101.rel NDRPDR iter env 6
 461         - 68  # rls2101.rel NDRPDR iter env 6
 462         - 73  # rls2101.rel NDRPDR iter env 6
 463         - 75  # rls2101.rel NDRPDR iter env 6
 464         - 86  # rls2101.rel NDRPDR iter env 6
 465         - 90  # rls2101.rel NDRPDR iter env 6
 466         - 80  # rls2101.rel NDRPDR iter RND env 6
 467         - 87  # rls2101.rel NDRPDR iter RND env 6
 468         - 91  # rls2101.rel NDRPDR iter RND env 6
 469         - 92  # rls2101.rel NDRPDR iter RND env 6
 470         - 93  # rls2101.rel NDRPDR iter RND env 6
 471         - 94  # rls2101.rel NDRPDR iter RND env 6
 472         - 95  # rls2101.rel NDRPDR iter RND env 6
 473         - 100 # rls2101.rel NDRPDR iter RND env 6
 474         - 106 # rls2101.rel NDRPDR iter RND env 6
 475         - 108 # rls2101.rel NDRPDR iter RND env 6
 476         - 112 # rls2101.rel NDRPDR iter NAT env 6
 477         - 113 # rls2101.rel NDRPDR iter NAT env 6
 478         - 114 # rls2101.rel NDRPDR iter NAT env 6
 479         - 115 # rls2101.rel NDRPDR iter NAT env 6
 480         - 116 # rls2101.rel NDRPDR iter NAT env 6
 481         - 117 # rls2101.rel NDRPDR iter NAT env 6
 482         - 118 # rls2101.rel NDRPDR iter NAT env 6
 483         - 119 # rls2101.rel NDRPDR iter NAT env 6
 484         - 120 # rls2101.rel NDRPDR iter NAT env 6
 485         - 121 # rls2101.rel NDRPDR iter NAT env 6
 486         - 122 # rls2101.rel NDRPDR iter MLX env 6
 487         - 123 # rls2101.rel NDRPDR iter MLX env 6
 488         - 124 # rls2101.rel NDRPDR iter MLX env 6
 489         - 126 # rls2101.rel NDRPDR iter MLX env 6
 490         - 127 # rls2101.rel NDRPDR iter MLX env 6
 491         - 128 # rls2101.rel NDRPDR iter MLX env 6
 492         - 129 # rls2101.rel NDRPDR iter MLX env 6
 493         - 130 # rls2101.rel NDRPDR iter MLX env 6
 494         - 131 # rls2101.rel NDRPDR iter MLX env 6
 495         - 132 # rls2101.rel NDRPDR iter MLX env 6
 496
 497     plot-vpp-hdrh-lat-2n-clx:
 498       csit-vpp-perf-report-iterative-2101-2n-clx:
 499         - 75  # rls2101.rel NDRPDR iter env 6
 500
 501     plot-vpp-hdrh-lat-2n-clx-rnd:
 502       csit-vpp-perf-report-iterative-2101-2n-clx:
 503         - 87  # rls2101.rel NDRPDR iter RND env 6
 504
 505     plot-vpp-hdrh-lat-2n-clx-nat:
 506       csit-vpp-perf-report-iterative-2101-2n-clx:
 507         - 118 # rls2101.rel NDRPDR iter NAT env 6
 508
 509     plot-vpp-hdrh-lat-2n-clx-mlx:
 510       csit-vpp-perf-report-iterative-2101-2n-clx:
 511         - 127 # rls2101.rel NDRPDR iter MLX env 6
 512
 513     plot-vpp-nfv-2n-clx-ndrpdr:
 514       csit-vpp-perf-report-iterative-2101-2n-clx:
 515         - 57  # rls2101.rel NDRPDR nf-density iter env 6
 516         - 62  # rls2101.rel NDRPDR nf-density iter env 6
 517         - 70  # rls2101.rel NDRPDR nf-density iter env 6
 518         - 71  # rls2101.rel NDRPDR nf-density iter env 6
 519         - 82  # rls2101.rel NDRPDR nf-density iter env 6
 520         - 88  # rls2101.rel NDRPDR nf-density iter env 6
 521         - 89  # rls2101.rel NDRPDR nf-density iter env 6
 522         - 96  # rls2101.rel NDRPDR nf-density iter env 6
 523         - 97  # rls2101.rel NDRPDR nf-density iter env 6
 524         - 98  # rls2101.rel NDRPDR nf-density iter env 6
 525
 526     plot-vpp-nfv-2n-clx-mrr:
 527       csit-vpp-perf-report-iterative-2101-2n-clx:
 528         - 72  # rls2101.rel MRR nf-density iter env 6
 529
 530     plot-vpp-nfv-reconf-2n-clx:
 531       csit-vpp-perf-report-iterative-2101-2n-clx:
 532         - 55  # rls2101.rel NDRPDR reconf iter env 6
 533         - 64  # rls2101.rel NDRPDR reconf iter env 6
 534         - 76  # rls2101.rel NDRPDR reconf iter env 6
 535         - 83  # rls2101.rel NDRPDR reconf iter env 6
 536         - 99  # rls2101.rel NDRPDR reconf iter env 6
 537         - 101 # rls2101.rel NDRPDR reconf iter env 6
 538         - 102 # rls2101.rel NDRPDR reconf iter env 6
 539         - 107 # rls2101.rel NDRPDR reconf iter env 6
 540         - 109 # rls2101.rel NDRPDR reconf iter env 6
 541         - 110 # rls2101.rel NDRPDR reconf iter env 6
 542
 543     plot-vpp-soak-2n-clx:
 544       csit-vpp-perf-report-iterative-2101-2n-clx:
 545         - 58  # rls2101.rel soak env 6
 546         - 61  # rls2101.rel soak env 6
 547
 548     plot-dpdk-throughput-latency-2n-clx:
 549       csit-dpdk-perf-report-iterative-2101-2n-clx:
 550         - 12  # rls2101 NDRPDR iter env 6
 551         - 13  # rls2101 NDRPDR iter env 6
 552         - 14  # rls2101 NDRPDR iter env 6
 553         - 18  # rls2101 NDRPDR iter env 6
 554         - 22  # rls2101 NDRPDR iter env 6
 555
 556     plot-dpdk-hdrh-lat-2n-clx:
 557       csit-dpdk-perf-report-iterative-2101-2n-clx:
 558         - 12  # rls2101 NDRPDR iter env 6
 559
 560     # 3n-tsh
 561
 562     plot-vpp-throughput-lat-tsa-3n-tsh:
 563       csit-vpp-perf-report-iterative-2101-3n-tsh:
 564         - 23  # rls2101.rel NDRPDR iter env 6
 565         - 24  # rls2101.rel NDRPDR iter env 6
 566         - 25  # rls2101.rel NDRPDR iter env 6
 567         - 26  # rls2101.rel NDRPDR iter env 6
 568         - 27  # rls2101.rel NDRPDR iter env 6
 569         - 28  # rls2101.rel NDRPDR iter env 6
 570         - 29  # rls2101.rel NDRPDR iter env 6
 571         - 30  # rls2101.rel NDRPDR iter env 6
 572         - 31  # rls2101.rel NDRPDR iter env 6
 573         - 32  # rls2101.rel NDRPDR iter env 6
 574
 575     plot-vpp-hdrh-lat-3n-tsh:
 576       csit-vpp-perf-report-iterative-2101-3n-tsh:
 577         - 23  # rls2101.rel NDRPDR iter env 6
 578
 579     plot-dpdk-throughput-latency-3n-tsh:
 580       csit-dpdk-perf-report-iterative-2101-3n-tsh:
 581         - 11  # rls2101 NDRPDR iter env 6
 582         - 12  # rls2101 NDRPDR iter env 6
 583         - 13  # rls2101 NDRPDR iter env 6
 584         - 14  # rls2101 NDRPDR iter env 6
 585         - 16  # rls2101 NDRPDR iter env 6
 586         - 17  # rls2101 NDRPDR iter env 6
 587         - 18  # rls2101 NDRPDR iter env 6
 588         - 19  # rls2101 NDRPDR iter env 6
 589         - 20  # rls2101 NDRPDR iter env 6
 590         - 21  # rls2101 NDRPDR iter env 6
 591
 592     plot-dpdk-hdrh-lat-3n-tsh:
 593       csit-dpdk-perf-report-iterative-2101-3n-tsh:
 594         - 21  # rls2101 NDRPDR iter env 6
 595
 596     # 2n-tx2
 597
 598     plot-vpp-throughput-lat-tsa-2n-tx2:
 599       csit-vpp-perf-report-iterative-2101-2n-tx2:
 600         - 22  # rls2101.rel NDRPDR iter env 6
 601         - 23  # rls2101.rel NDRPDR iter env 6
 602         - 24  # rls2101.rel NDRPDR iter env 6
 603         - 25  # rls2101.rel NDRPDR iter env 6
 604         - 26  # rls2101.rel NDRPDR iter env 6
 605         - 27  # rls2101.rel NDRPDR iter env 6
 606         - 28  # rls2101.rel NDRPDR iter env 6
 607         - 29  # rls2101.rel NDRPDR iter env 6
 608         - 30  # rls2101.rel NDRPDR iter env 6
 609         - 31  # rls2101.rel NDRPDR iter env 6
 610
 611     plot-vpp-hdrh-lat-2n-tx2:
 612       csit-vpp-perf-report-iterative-2101-2n-tx2:
 613         - 29  # rls2101.rel NDRPDR iter env 6
 614
 615     plot-dpdk-throughput-latency-2n-tx2:
 616       csit-dpdk-perf-report-iterative-2101-2n-tx2:
 617         - 4   # rls2101 NDRPDR iter env 6
 618         - 6   # rls2101 NDRPDR iter env 6
 619         - 7   # rls2101 NDRPDR iter env 6
 620         - 8   # rls2101 NDRPDR iter env 6
 621         - 9   # rls2101 NDRPDR iter env 6
 622         - 10  # rls2101 NDRPDR iter env 6
 623         - 11  # rls2101 NDRPDR iter env 6
 624         - 12  # rls2101 NDRPDR iter env 6
 625         - 13  # rls2101 NDRPDR iter env 6
 626         - 14  # rls2101 NDRPDR iter env 6
 627
 628     plot-dpdk-hdrh-lat-2n-tx2:
 629       csit-dpdk-perf-report-iterative-2101-2n-tx2:
 630         - 4   # rls2101 NDRPDR iter env 6
 631
 632     # 3n-dnv
 633
 634     plot-vpp-throughput-lat-tsa-3n-dnv:
 635       csit-vpp-perf-report-iterative-2101-3n-dnv:
 636         - 33  # rls2101.rel NDRPDR iter env 6
 637         - 34  # rls2101.rel NDRPDR iter env 6
 638         - 35  # rls2101.rel NDRPDR iter env 6
 639         - 36  # rls2101.rel NDRPDR iter env 6
 640         - 37  # rls2101.rel NDRPDR iter env 6
 641         - 38  # rls2101.rel NDRPDR iter env 6
 642         - 39  # rls2101.rel NDRPDR iter env 6
 643         - 40  # rls2101.rel NDRPDR iter env 6
 644         - 41  # rls2101.rel NDRPDR iter env 6
 645         - 42  # rls2101.rel NDRPDR iter env 6
 646         - 43  # rls2101.rel NDRPDR iter RND env 6
 647         - 44  # rls2101.rel NDRPDR iter RND env 6
 648         - 45  # rls2101.rel NDRPDR iter RND env 6
 649         - 46  # rls2101.rel NDRPDR iter RND env 6
 650         - 47  # rls2101.rel NDRPDR iter RND env 6
 651         - 48  # rls2101.rel NDRPDR iter RND env 6
 652         - 49  # rls2101.rel NDRPDR iter RND env 6
 653         - 50  # rls2101.rel NDRPDR iter RND env 6
 654         - 51  # rls2101.rel NDRPDR iter RND env 6
 655         - 52  # rls2101.rel NDRPDR iter RND env 6
 656
 657 #    plot-dpdk-throughput-latency-3n-dnv:
 658 #      # No data
 659 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 660
 661     # 2n-dnv
 662
 663     plot-vpp-throughput-lat-tsa-2n-dnv:
 664       csit-vpp-perf-report-iterative-2101-2n-dnv:
 665         - 32  # rls2101.rel NDRPDR iter env 6
 666         - 33  # rls2101.rel NDRPDR iter env 6
 667         - 34  # rls2101.rel NDRPDR iter env 6
 668         - 35  # rls2101.rel NDRPDR iter env 6
 669         - 39  # rls2101.rel NDRPDR iter env 6
 670         - 41  # rls2101.rel NDRPDR iter env 6
 671         - 42  # rls2101.rel NDRPDR iter env 6
 672         - 43  # rls2101.rel NDRPDR iter env 6
 673         - 44  # rls2101.rel NDRPDR iter env 6
 674         - 45  # rls2101.rel NDRPDR iter env 6
 675         - 46  # rls2101.rel NDRPDR iter RND env 6
 676         - 47  # rls2101.rel NDRPDR iter RND env 6
 677         - 48  # rls2101.rel NDRPDR iter RND env 6
 678         - 49  # rls2101.rel NDRPDR iter RND env 6
 679         - 50  # rls2101.rel NDRPDR iter RND env 6
 680         - 51  # rls2101.rel NDRPDR iter RND env 6
 681         - 52  # rls2101.rel NDRPDR iter RND env 6
 682         - 53  # rls2101.rel NDRPDR iter RND env 6
 683         - 54  # rls2101.rel NDRPDR iter RND env 6
 684         - 55  # rls2101.rel NDRPDR iter RND env 6
 685
 686 #    plot-dpdk-throughput-latency-2n-dnv:
 687 #      # No data
 688 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 689
 690     ###########################################################################
 691     # Simple tables (only one data set):
 692
 693     # NIC Comparisons
 694
 695     vpp-nic-comparison-3n-skx:
 696       csit-vpp-perf-report-iterative-2101-3n-skx:
 697         - 36  # rls2101.rel NDRPDR iter env 6
 698         - 37  # rls2101.rel NDRPDR iter env 6
 699         - 38  # rls2101.rel NDRPDR iter env 6
 700         - 39  # rls2101.rel NDRPDR iter env 6
 701         - 40  # rls2101.rel NDRPDR iter env 6
 702         - 41  # rls2101.rel NDRPDR iter env 6
 703         - 42  # rls2101.rel NDRPDR iter env 6
 704         - 47  # rls2101.rel NDRPDR iter env 6
 705         - 48  # rls2101.rel NDRPDR iter env 6
 706         - 50  # rls2101.rel NDRPDR iter env 6
 707
 708     vpp-nic-comparison-2n-skx:
 709       csit-vpp-perf-report-iterative-2101-2n-skx:
 710         - 63  # rls2101.rel NDRPDR iter env 6
 711         - 69  # rls2101.rel NDRPDR iter env 6
 712         - 70  # rls2101.rel NDRPDR iter env 6
 713         - 75  # rls2101.rel NDRPDR iter env 6
 714         - 76  # rls2101.rel NDRPDR iter env 6
 715         - 77  # rls2101.rel NDRPDR iter env 6
 716         - 82  # rls2101.rel NDRPDR iter env 6
 717         - 85  # rls2101.rel NDRPDR iter env 6
 718         - 86  # rls2101.rel NDRPDR iter env 6
 719         - 94  # rls2101.rel NDRPDR iter env 6
 720         - 89  # rls2101.rel NDRPDR iter RND env 6
 721         - 90  # rls2101.rel NDRPDR iter RND env 6
 722         - 91  # rls2101.rel NDRPDR iter RND env 6
 723         - 92  # rls2101.rel NDRPDR iter RND env 6
 724         - 93  # rls2101.rel NDRPDR iter RND env 6
 725         - 96  # rls2101.rel NDRPDR iter RND env 6
 726         - 98  # rls2101.rel NDRPDR iter RND env 6
 727         - 99  # rls2101.rel NDRPDR iter RND env 6
 728         - 101 # rls2101.rel NDRPDR iter RND env 6
 729         - 102 # rls2101.rel NDRPDR iter RND env 6
 730         - 116 # rls2101.rel NDRPDR iter NAT env 6
 731         - 117 # rls2101.rel NDRPDR iter NAT env 6
 732         - 118 # rls2101.rel NDRPDR iter NAT env 6
 733         - 119 # rls2101.rel NDRPDR iter NAT env 6
 734         - 120 # rls2101.rel NDRPDR iter NAT env 6
 735         - 121 # rls2101.rel NDRPDR iter NAT env 6
 736         - 122 # rls2101.rel NDRPDR iter NAT env 6
 737         - 123 # rls2101.rel NDRPDR iter NAT env 6
 738         - 124 # rls2101.rel NDRPDR iter NAT env 6
 739         - 125 # rls2101.rel NDRPDR iter NAT env 6
 740
 741     vpp-nic-comparison-3n-skx-mrr:
 742       csit-vpp-perf-report-iterative-2101-3n-skx:
 743         - 35  # rls2101.rel MRR iter env 6
 744
 745     vpp-nic-comparison-2n-skx-mrr:
 746       csit-vpp-perf-report-iterative-2101-2n-skx:
 747         - 62  # rls2101.rel MRR iter env 6
 748
 749     # Results
 750
 751     vpp-perf-results-3n-hsw:
 752       csit-vpp-perf-report-coverage-2101-3n-hsw:
 753         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
 754         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
 755         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
 756         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
 757         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
 758         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
 759         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
 760         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
 761         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
 762         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
 763         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
 764         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
 765         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
 766         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
 767         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
 768         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
 769         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
 770         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
 771         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
 772         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
 773         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
 774         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
 775         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
 776         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
 777         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
 778         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
 779         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
 780         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
 781         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
 782         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
 783         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
 784         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
 785         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
 786         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
 787         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
 788
 789     vpp-perf-results-3n-skx:
 790       csit-vpp-perf-report-coverage-2101-3n-skx:
 791         - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
 792         - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
 793         - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
 794         - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
 795         - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
 796         - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
 797         - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
 798         - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
 799         - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
 800         - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
 801         - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
 802         - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
 803         - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
 804         - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
 805         - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
 806         - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
 807         - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
 808         - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
 809         - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
 810         - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
 811         - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
 812         - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
 813         - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
 814         - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
 815         - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
 816         - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
 817         - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
 818         - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
 819         - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
 820         - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
 821         - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
 822         - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
 823         - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
 824         - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
 825         - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
 826         - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
 827
 828     vpp-perf-results-2n-skx:
 829       csit-vpp-perf-report-coverage-2101-2n-skx:
 830         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
 831         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
 832         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
 833         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
 834         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
 835         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
 836         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
 837         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
 838         - 21  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
 839         - 22  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
 840         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
 841         - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
 842         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
 843         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
 844         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
 845         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
 846         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
 847         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
 848         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
 849
 850     vpp-perf-results-2n-zn2:
 851       csit-vpp-perf-report-coverage-2101-2n-zn2:
 852         - 1   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-00
 853         - 2   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-01
 854         - 3   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-02
 855         - 4   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-03
 856         - 5   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-04
 857         - 6   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-05
 858         - 17  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-00
 859         - 18  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-01
 860         - 8   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-00
 861         - 9   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-01
 862         - 10  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-00
 863         - 11  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-01
 864         - 12  # rls2101.rel NDRPDR cov env 6 2n-zn2-lb-00
 865         - 13  # rls2101.rel NDRPDR cov env 6 2n-zn2-memif-00
 866         - 14  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
 867         - 15  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
 868         - 16  # rls2101.rel NDRPDR cov env 6 2n-zn2-vts-00
 869
 870     vpp-perf-results-2n-clx:
 871       csit-vpp-perf-report-coverage-2101-2n-clx:
 872         - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
 873         - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
 874         - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
 875         - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
 876         - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
 877         - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
 878         - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
 879         - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
 880         - 19  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
 881         - 20  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
 882         - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
 883         - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
 884         - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
 885         - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
 886         - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
 887         - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
 888         - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
 889         - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
 890         - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
 891
 892     vpp-perf-results-3n-tsh:
 893       csit-vpp-perf-report-coverage-2101-3n-tsh:
 894         - 1   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-00
 895         - 2   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-01
 896         - 3   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-02
 897         - 4   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-03
 898         - 5   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-00
 899         - 6   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-01
 900         - 7   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-00
 901         - 8   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-01
 902         - 9   # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-00
 903         - 10  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-01
 904         - 11  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-02
 905         - 12  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-03
 906         - 13  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-04
 907         - 19  # rls2101.rel NDRPDR cov env 6 3n-tsh-memif-00
 908         - 15  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-00
 909         - 16  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-01
 910         - 17  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-00
 911         - 18  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-01
 912
 913     vpp-perf-results-2n-tx2:
 914       csit-vpp-perf-report-coverage-2101-2n-tx2:
 915         - 1   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-00
 916         - 2   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-01
 917         - 3   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-02
 918         - 4   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-03
 919         - 5   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-04
 920         - 6   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-05
 921         - 7   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-06
 922         - 8   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-00
 923         - 9   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-01
 924         - 10  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-00
 925         - 11  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-01
 926         - 12  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-02
 927         - 13  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-03
 928         - 15  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-04
 929
 930     vpp-perf-results-3n-dnv:
 931       csit-vpp-perf-report-coverage-2101-3n-dnv:
 932         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
 933         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
 934         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
 935         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
 936         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
 937         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
 938         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
 939         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
 940         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
 941
 942     vpp-perf-results-2n-dnv:
 943       csit-vpp-perf-report-coverage-2101-2n-dnv:
 944         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
 945         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
 946         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
 947         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
 948         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
 949         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
 950
 951     vpp-mrr-results-3n-hsw:
 952       csit-vpp-perf-report-iterative-2101-3n-hsw:
 953         - 63  # rls2101.rel MRR iter env 6
 954
 955     vpp-mrr-results-3n-skx:
 956       csit-vpp-perf-report-iterative-2101-3n-skx:
 957         - 35  # rls2101.rel MRR iter env 6
 958
 959     vpp-mrr-results-2n-skx:
 960       csit-vpp-perf-report-iterative-2101-2n-skx:
 961         - 62  # rls2101.rel MRR iter env 6
 962
 963     vpp-mrr-results-2n-zn2:
 964       csit-vpp-perf-report-iterative-2101-2n-zn2:
 965         - 30  # rls2101.rel MRR iter env 6
 966
 967     vpp-mrr-results-2n-clx:
 968       csit-vpp-perf-report-iterative-2101-2n-clx:
 969         - 53  # rls2101.rel MRR iter env 6
 970
 971     vpp-mrr-results-3n-tsh:
 972       csit-vpp-perf-report-iterative-2101-3n-tsh:
 973         - 22  # rls2101.rel MRR iter env 6
 974
 975     vpp-mrr-results-2n-tx2:
 976       csit-vpp-perf-report-iterative-2101-2n-tx2:
 977         - 21  # rls2101.rel MRR iter env 6
 978
 979     vpp-mrr-results-3n-dnv:
 980       csit-vpp-perf-report-iterative-2101-3n-dnv:
 981         - 32  # rls2101.rel MRR iter env 6
 982
 983     vpp-mrr-results-2n-dnv:
 984       csit-vpp-perf-report-iterative-2101-2n-dnv:
 985         - 31  # rls2101.rel MRR iter env 6
 986
 987     vpp-device-results-ubuntu:
 988       csit-vpp-device-2101-ubuntu1804-1n-skx:
 989         - 358  # rls2101.rel VPP DEV env 6
 990
 991     dpdk-perf-results-3n-hsw:
 992       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 993         - 11  # rls2101 NDRPDR iter env 6
 994
 995     dpdk-perf-results-3n-skx:
 996       csit-dpdk-perf-report-iterative-2101-3n-skx:
 997         - 12  # rls2101 NDRPDR iter env 6
 998
 999     dpdk-perf-results-2n-skx:
1000       csit-dpdk-perf-report-iterative-2101-2n-skx:
1001         - 11  # rls2101 NDRPDR iter env 6
1002
1003     dpdk-perf-results-2n-zn2:
1004       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1005         - 11  # rls2101 NDRPDR iter env 6
1006
1007     dpdk-perf-results-2n-clx:
1008       csit-dpdk-perf-report-iterative-2101-2n-clx:
1009         - 12  # rls2101 NDRPDR iter env 6
1010
1011 #    dpdk-perf-results-2n-dnv:
1012 #      # No data
1013 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1014
1015 #    dpdk-perf-results-3n-dnv:
1016 #      # No data
1017 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1018
1019     dpdk-perf-results-3n-tsh:
1020       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1021         - 21  # rls2101 NDRPDR iter env 6
1022
1023     dpdk-perf-results-2n-tx2:
1024       csit-dpdk-perf-report-iterative-2101-2n-tx2:
1025         - 4   # rls2101 NDRPDR iter env 6
1026
1027 ###########################################################################
1028     # Tables (more than one data set)
1029
1030     # Performance changes
1031
1032     vpp-performance-changes-3n-hsw-h1:
1033       csit-vpp-perf-report-iterative-2009-3n-hsw:
1034         - 9   # rls2005 NDRPDR iter env 5
1035         - 10  # rls2005 NDRPDR iter env 5
1036         - 11  # rls2005 NDRPDR iter env 5
1037         - 12  # rls2005 NDRPDR iter env 5
1038         - 13  # rls2005 NDRPDR iter env 5
1039         - 14  # rls2005 NDRPDR iter env 5
1040         - 15  # rls2005 NDRPDR iter env 5
1041         - 16  # rls2005 NDRPDR iter env 5
1042         - 17  # rls2005 NDRPDR iter env 5
1043         - 19  # rls2005 NDRPDR iter env 5
1044     vpp-performance-changes-3n-hsw-ref-env-old:
1045       csit-vpp-perf-report-iterative-2009-3n-hsw:
1046         - 21  # rls2009 NDRPDR iter env 5
1047         - 22  # rls2009 NDRPDR iter env 5
1048         - 24  # rls2009 NDRPDR iter env 5
1049         - 25  # rls2009 NDRPDR iter env 5
1050         - 26  # rls2009 NDRPDR iter env 5
1051         - 27  # rls2009 NDRPDR iter env 5
1052         - 28  # rls2009 NDRPDR iter env 5
1053         - 29  # rls2009 NDRPDR iter env 5
1054         - 30  # rls2009 NDRPDR iter env 5
1055         - 31  # rls2009 NDRPDR iter env 5
1056     vpp-performance-changes-3n-hsw-ref-env-new:
1057       csit-vpp-perf-report-iterative-2101-3n-hsw:
1058         - 19  # rls2009 NDRPDR iter env 6
1059         - 20  # rls2009 NDRPDR iter env 6
1060         - 21  # rls2009 NDRPDR iter env 6
1061         - 22  # rls2009 NDRPDR iter env 6
1062         - 23  # rls2009 NDRPDR iter env 6
1063         - 24  # rls2009 NDRPDR iter env 6
1064         - 25  # rls2009 NDRPDR iter env 6
1065         - 26  # rls2009 NDRPDR iter env 6
1066         - 27  # rls2009 NDRPDR iter env 6
1067         - 28  # rls2009 NDRPDR iter env 6
1068     vpp-performance-changes-3n-hsw-cmp:
1069       csit-vpp-perf-report-iterative-2101-3n-hsw:
1070         - 64  # rls2101.rel NDRPDR iter env 6
1071         - 71  # rls2101.rel NDRPDR iter env 6
1072         - 73  # rls2101.rel NDRPDR iter env 6
1073         - 74  # rls2101.rel NDRPDR iter env 6
1074         - 80  # rls2101.rel NDRPDR iter env 6
1075         - 81  # rls2101.rel NDRPDR iter env 6
1076         - 82  # rls2101.rel NDRPDR iter env 6
1077         - 83  # rls2101.rel NDRPDR iter env 6
1078         - 88  # rls2101.rel NDRPDR iter env 6
1079         - 89  # rls2101.rel NDRPDR iter env 6
1080         - 128 # rls2101.rel NDRPDR iter RND env 6
1081         - 129 # rls2101.rel NDRPDR iter RND env 6
1082         - 130 # rls2101.rel NDRPDR iter RND env 6
1083         - 131 # rls2101.rel NDRPDR iter RND env 6
1084         - 132 # rls2101.rel NDRPDR iter RND env 6
1085         - 133 # rls2101.rel NDRPDR iter RND env 6
1086         - 134 # rls2101.rel NDRPDR iter RND env 6
1087         - 135 # rls2101.rel NDRPDR iter RND env 6
1088         - 136 # rls2101.rel NDRPDR iter RND env 6
1089         - 137 # rls2101.rel NDRPDR iter RND env 6
1090
1091     vpp-performance-changes-3n-skx-h1:
1092       csit-vpp-perf-report-iterative-2009-3n-skx:
1093         - 13  # rls2005 NDRPDR iter env 5
1094         - 18  # rls2005 NDRPDR iter env 5
1095         - 19  # rls2005 NDRPDR iter env 5
1096         - 41  # rls2005 NDRPDR iter env 5
1097         - 43  # rls2005 NDRPDR iter env 5
1098         - 44  # rls2005 NDRPDR iter env 5
1099         - 45  # rls2005 NDRPDR iter env 5
1100         - 46  # rls2005 NDRPDR iter env 5
1101         - 48  # rls2005 NDRPDR iter env 5
1102         - 49  # rls2005 NDRPDR iter env 5
1103     vpp-performance-changes-3n-skx-ref-env-old:
1104       csit-vpp-perf-report-iterative-2009-3n-skx:
1105         - 26  # rls2009 NDRPDR iter env 5
1106         - 27  # rls2009 NDRPDR iter env 5
1107         - 28  # rls2009 NDRPDR iter env 5
1108         - 29  # rls2009 NDRPDR iter env 5
1109         - 35  # rls2009 NDRPDR iter env 5
1110         - 36  # rls2009 NDRPDR iter env 5
1111         - 37  # rls2009 NDRPDR iter env 5
1112         - 38  # rls2009 NDRPDR iter env 5
1113         - 39  # rls2009 NDRPDR iter env 5
1114         - 40  # rls2009 NDRPDR iter env 5
1115     vpp-performance-changes-3n-skx-ref-env-new:
1116       csit-vpp-perf-report-iterative-2101-3n-skx:
1117         - 14  # rls2009 NDRPDR iter env 6
1118         - 15  # rls2009 NDRPDR iter env 6
1119         - 16  # rls2009 NDRPDR iter env 6
1120         - 17  # rls2009 NDRPDR iter env 6
1121         - 18  # rls2009 NDRPDR iter env 6
1122         - 25  # rls2009 NDRPDR iter env 6
1123         - 26  # rls2009 NDRPDR iter env 6
1124         - 27  # rls2009 NDRPDR iter env 6
1125         - 29  # rls2009 NDRPDR iter env 6
1126         - 31  # rls2009 NDRPDR iter env 6
1127     vpp-performance-changes-3n-skx-cmp:
1128       csit-vpp-perf-report-iterative-2101-3n-skx:
1129         - 36  # rls2101.rel NDRPDR iter env 6
1130         - 37  # rls2101.rel NDRPDR iter env 6
1131         - 38  # rls2101.rel NDRPDR iter env 6
1132         - 39  # rls2101.rel NDRPDR iter env 6
1133         - 40  # rls2101.rel NDRPDR iter env 6
1134         - 41  # rls2101.rel NDRPDR iter env 6
1135         - 42  # rls2101.rel NDRPDR iter env 6
1136         - 47  # rls2101.rel NDRPDR iter env 6
1137         - 48  # rls2101.rel NDRPDR iter env 6
1138         - 50  # rls2101.rel NDRPDR iter env 6
1139
1140     vpp-performance-changes-2n-skx-h1:
1141       csit-vpp-perf-report-iterative-2009-2n-skx:
1142         - 13  # rls2005 NDRPDR iter env 5
1143         - 16  # rls2005 NDRPDR iter env 5
1144         - 17  # rls2005 NDRPDR iter env 5
1145         - 18  # rls2005 NDRPDR iter env 5
1146         - 19  # rls2005 NDRPDR iter env 5
1147         - 21  # rls2005 NDRPDR iter env 5
1148         - 22  # rls2005 NDRPDR iter env 5
1149         - 23  # rls2005 NDRPDR iter env 5
1150         - 24  # rls2005 NDRPDR iter env 5
1151         - 25  # rls2005 NDRPDR iter env 5
1152     vpp-performance-changes-2n-skx-ref-env-old:
1153       csit-vpp-perf-report-iterative-2009-2n-skx:
1154         - 35  # rls2009 NDRPDR iter env 5
1155         - 36  # rls2009 NDRPDR iter env 5
1156         - 37  # rls2009 NDRPDR iter env 5
1157         - 39  # rls2009 NDRPDR iter env 5
1158         - 40  # rls2009 NDRPDR iter env 5
1159         - 42  # rls2009 NDRPDR iter env 5
1160         - 43  # rls2009 NDRPDR iter env 5
1161         - 44  # rls2009 NDRPDR iter env 5
1162         - 46  # rls2009 NDRPDR iter env 5
1163         - 48  # rls2009 NDRPDR iter env 5
1164         - 110 # rls2009 NDRPDR iter NAT44 env 5
1165         - 111 # rls2009 NDRPDR iter NAT44 env 5
1166         - 112 # rls2009 NDRPDR iter NAT44 env 5
1167         - 113 # rls2009 NDRPDR iter NAT44 env 5
1168         - 114 # rls2009 NDRPDR iter NAT44 env 5
1169         - 115 # rls2009 NDRPDR iter NAT44 env 5
1170         - 116 # rls2009 NDRPDR iter NAT44 env 5
1171         - 118 # rls2009 NDRPDR iter NAT44 env 5
1172         - 119 # rls2009 NDRPDR iter NAT44 env 5
1173         - 121 # rls2009 NDRPDR iter NAT44 env 5
1174     vpp-performance-changes-2n-skx-ref-env-new:
1175       csit-vpp-perf-report-iterative-2101-2n-skx:
1176         - 22  # rls2009 NDRPDR iter env 6
1177         - 23  # rls2009 NDRPDR iter env 6
1178         - 24  # rls2009 NDRPDR iter env 6
1179         - 25  # rls2009 NDRPDR iter env 6
1180         - 26  # rls2009 NDRPDR iter env 6
1181         - 28  # rls2009 NDRPDR iter env 6
1182         - 39  # rls2009 NDRPDR iter env 6
1183         - 40  # rls2009 NDRPDR iter env 6
1184         - 41  # rls2009 NDRPDR iter env 6
1185         - 44  # rls2009 NDRPDR iter env 6
1186     vpp-performance-changes-2n-skx-cmp:
1187       csit-vpp-perf-report-iterative-2101-2n-skx:
1188         - 63  # rls2101.rel NDRPDR iter env 6
1189         - 69  # rls2101.rel NDRPDR iter env 6
1190         - 70  # rls2101.rel NDRPDR iter env 6
1191         - 75  # rls2101.rel NDRPDR iter env 6
1192         - 76  # rls2101.rel NDRPDR iter env 6
1193         - 77  # rls2101.rel NDRPDR iter env 6
1194         - 82  # rls2101.rel NDRPDR iter env 6
1195         - 85  # rls2101.rel NDRPDR iter env 6
1196         - 86  # rls2101.rel NDRPDR iter env 6
1197         - 94  # rls2101.rel NDRPDR iter env 6
1198         - 89  # rls2101.rel NDRPDR iter RND env 6
1199         - 90  # rls2101.rel NDRPDR iter RND env 6
1200         - 91  # rls2101.rel NDRPDR iter RND env 6
1201         - 92  # rls2101.rel NDRPDR iter RND env 6
1202         - 93  # rls2101.rel NDRPDR iter RND env 6
1203         - 96  # rls2101.rel NDRPDR iter RND env 6
1204         - 98  # rls2101.rel NDRPDR iter RND env 6
1205         - 99  # rls2101.rel NDRPDR iter RND env 6
1206         - 101 # rls2101.rel NDRPDR iter RND env 6
1207         - 102 # rls2101.rel NDRPDR iter RND env 6
1208         - 116 # rls2101.rel NDRPDR iter NAT env 6
1209         - 117 # rls2101.rel NDRPDR iter NAT env 6
1210         - 118 # rls2101.rel NDRPDR iter NAT env 6
1211         - 119 # rls2101.rel NDRPDR iter NAT env 6
1212         - 120 # rls2101.rel NDRPDR iter NAT env 6
1213         - 121 # rls2101.rel NDRPDR iter NAT env 6
1214         - 122 # rls2101.rel NDRPDR iter NAT env 6
1215         - 123 # rls2101.rel NDRPDR iter NAT env 6
1216         - 124 # rls2101.rel NDRPDR iter NAT env 6
1217         - 125 # rls2101.rel NDRPDR iter NAT env 6
1218
1219     vpp-performance-changes-2n-clx-h1:
1220       csit-vpp-perf-report-iterative-2009-2n-clx:
1221         - 13  # rls2005 NDRPDR iter env 5
1222         - 15  # rls2005 NDRPDR iter env 5
1223         - 17  # rls2005 NDRPDR iter env 5
1224         - 18  # rls2005 NDRPDR iter env 5
1225         - 19  # rls2005 NDRPDR iter env 5
1226         - 20  # rls2005 NDRPDR iter env 5
1227         - 21  # rls2005 NDRPDR iter env 5
1228         - 22  # rls2005 NDRPDR iter env 5
1229         - 23  # rls2005 NDRPDR iter env 5
1230         - 24  # rls2005 NDRPDR iter env 5
1231     vpp-performance-changes-2n-clx-ref-env-old:
1232       csit-vpp-perf-report-iterative-2009-2n-clx:
1233         - 36  # rls2009 NDRPDR iter env 5
1234         - 39  # rls2009 NDRPDR iter env 5
1235         - 40  # rls2009 NDRPDR iter env 5
1236         - 65  # rls2009 NDRPDR iter env 5
1237         - 66  # rls2009 NDRPDR iter env 5
1238         - 79  # rls2009 NDRPDR iter env 5
1239         - 82  # rls2009 NDRPDR iter env 5
1240         - 88  # rls2009 NDRPDR iter env 5
1241         - 89  # rls2009 NDRPDR iter env 5
1242         - 90  # rls2009 NDRPDR iter env 5
1243         - 114 # rls2009 NDRPDR iter NAT44 env 5
1244         - 115 # rls2009 NDRPDR iter NAT44 env 5
1245         - 116 # rls2009 NDRPDR iter NAT44 env 5
1246         - 117 # rls2009 NDRPDR iter NAT44 env 5
1247         - 118 # rls2009 NDRPDR iter NAT44 env 5
1248         - 119 # rls2009 NDRPDR iter NAT44 env 5
1249         - 121 # rls2009 NDRPDR iter NAT44 env 5
1250         - 122 # rls2009 NDRPDR iter NAT44 env 5
1251         - 123 # rls2009 NDRPDR iter NAT44 env 5
1252         - 126 # rls2009 NDRPDR iter NAT44 env 5
1253     vpp-performance-changes-2n-clx-ref-env-new:
1254       csit-vpp-perf-report-iterative-2101-2n-clx:
1255         - 16  # rls2009 NDRPDR iter env 6
1256         - 17  # rls2009 NDRPDR iter env 6
1257         - 18  # rls2009 NDRPDR iter env 6
1258         - 19  # rls2009 NDRPDR iter env 6
1259         - 20  # rls2009 NDRPDR iter env 6
1260         - 21  # rls2009 NDRPDR iter env 6
1261         - 32  # rls2009 NDRPDR iter env 6
1262         - 33  # rls2009 NDRPDR iter env 6
1263         - 34  # rls2009 NDRPDR iter env 6
1264         - 35  # rls2009 NDRPDR iter env 6
1265         - 146 # rls2009 NDRPDR MLX iter env 6
1266         - 147 # rls2009 NDRPDR MLX iter env 6
1267         - 148 # rls2009 NDRPDR MLX iter env 6
1268         - 149 # rls2009 NDRPDR MLX iter env 6
1269     vpp-performance-changes-2n-clx-cmp:
1270       csit-vpp-perf-report-iterative-2101-2n-clx:
1271         - 54  # rls2101.rel NDRPDR iter env 6
1272         - 59  # rls2101.rel NDRPDR iter env 6
1273         - 60  # rls2101.rel NDRPDR iter env 6
1274         - 63  # rls2101.rel NDRPDR iter env 6
1275         - 66  # rls2101.rel NDRPDR iter env 6
1276         - 68  # rls2101.rel NDRPDR iter env 6
1277         - 73  # rls2101.rel NDRPDR iter env 6
1278         - 75  # rls2101.rel NDRPDR iter env 6
1279         - 86  # rls2101.rel NDRPDR iter env 6
1280         - 90  # rls2101.rel NDRPDR iter env 6
1281         - 80  # rls2101.rel NDRPDR iter RND env 6
1282         - 87  # rls2101.rel NDRPDR iter RND env 6
1283         - 91  # rls2101.rel NDRPDR iter RND env 6
1284         - 92  # rls2101.rel NDRPDR iter RND env 6
1285         - 93  # rls2101.rel NDRPDR iter RND env 6
1286         - 94  # rls2101.rel NDRPDR iter RND env 6
1287         - 95  # rls2101.rel NDRPDR iter RND env 6
1288         - 100 # rls2101.rel NDRPDR iter RND env 6
1289         - 106 # rls2101.rel NDRPDR iter RND env 6
1290         - 108 # rls2101.rel NDRPDR iter RND env 6
1291         - 112 # rls2101.rel NDRPDR iter NAT env 6
1292         - 113 # rls2101.rel NDRPDR iter NAT env 6
1293         - 114 # rls2101.rel NDRPDR iter NAT env 6
1294         - 115 # rls2101.rel NDRPDR iter NAT env 6
1295         - 116 # rls2101.rel NDRPDR iter NAT env 6
1296         - 117 # rls2101.rel NDRPDR iter NAT env 6
1297         - 118 # rls2101.rel NDRPDR iter NAT env 6
1298         - 119 # rls2101.rel NDRPDR iter NAT env 6
1299         - 120 # rls2101.rel NDRPDR iter NAT env 6
1300         - 121 # rls2101.rel NDRPDR iter NAT env 6
1301         - 122 # rls2101.rel NDRPDR iter MLX env 6
1302         - 123 # rls2101.rel NDRPDR iter MLX env 6
1303         - 124 # rls2101.rel NDRPDR iter MLX env 6
1304         - 126 # rls2101.rel NDRPDR iter MLX env 6
1305         - 127 # rls2101.rel NDRPDR iter MLX env 6
1306         - 128 # rls2101.rel NDRPDR iter MLX env 6
1307         - 129 # rls2101.rel NDRPDR iter MLX env 6
1308         - 130 # rls2101.rel NDRPDR iter MLX env 6
1309         - 131 # rls2101.rel NDRPDR iter MLX env 6
1310         - 132 # rls2101.rel NDRPDR iter MLX env 6
1311
1312     vpp-performance-changes-2n-zn2-ref-env-old:
1313       csit-vpp-perf-report-iterative-2009-2n-zn2:
1314         - 17  # rls2009 NDRPDR iter env 5
1315         - 18  # rls2009 NDRPDR iter env 5
1316         - 31  # rls2009 NDRPDR iter env 5
1317         - 33  # rls2009 NDRPDR iter env 5
1318         - 34  # rls2009 NDRPDR iter env 5
1319     vpp-performance-changes-2n-zn2-ref-env-new:
1320       csit-vpp-perf-report-iterative-2101-2n-zn2:
1321         - 9   # rls2009 NDRPDR iter env 6
1322         - 10  # rls2009 NDRPDR iter env 6
1323         - 11  # rls2009 NDRPDR iter env 6
1324         - 12  # rls2009 NDRPDR iter env 6
1325         - 13  # rls2009 NDRPDR iter env 6
1326         - 20  # rls2009 NDRPDR iter env 6
1327         - 21  # rls2009 NDRPDR iter env 6
1328         - 22  # rls2009 NDRPDR iter env 6
1329         - 25  # rls2009 NDRPDR iter env 6
1330         - 26  # rls2009 NDRPDR iter env 6
1331     vpp-performance-changes-2n-zn2-cmp:
1332       csit-vpp-perf-report-iterative-2101-2n-zn2:
1333         - 31  # rls2101.rel NDRPDR iter env 6
1334         - 32  # rls2101.rel NDRPDR iter env 6
1335         - 33  # rls2101.rel NDRPDR iter env 6
1336         - 34  # rls2101.rel NDRPDR iter env 6
1337         - 35  # rls2101.rel NDRPDR iter env 6
1338         - 36  # rls2101.rel NDRPDR iter env 6
1339         - 37  # rls2101.rel NDRPDR iter env 6
1340         - 38  # rls2101.rel NDRPDR iter env 6
1341         - 44  # rls2101.rel NDRPDR iter env 6
1342         - 49  # rls2101.rel NDRPDR iter env 6
1343         - 39  # rls2101.rel NDRPDR iter RND env 6
1344         - 40  # rls2101.rel NDRPDR iter RND env 6
1345         - 41  # rls2101.rel NDRPDR iter RND env 6
1346         - 42  # rls2101.rel NDRPDR iter RND env 6
1347         - 43  # rls2101.rel NDRPDR iter RND env 6
1348         - 45  # rls2101.rel NDRPDR iter RND env 6
1349         - 48  # rls2101.rel NDRPDR iter RND env 6
1350         - 50  # rls2101.rel NDRPDR iter RND env 6
1351         - 51  # rls2101.rel NDRPDR iter RND env 6
1352         - 52  # rls2101.rel NDRPDR iter RND env 6
1353
1354     vpp-performance-changes-2n-dnv-h1:
1355       csit-vpp-perf-report-iterative-2009-2n-dnv:
1356         - 16  # rls2005 NDRPDR iter env 5
1357         - 17  # rls2005 NDRPDR iter env 5
1358         - 18  # rls2005 NDRPDR iter env 5
1359         - 19  # rls2005 NDRPDR iter env 5
1360         - 21  # rls2005 NDRPDR iter env 5
1361         - 24  # rls2005 NDRPDR iter env 5
1362         - 27  # rls2005 NDRPDR iter env 5
1363         - 28  # rls2005 NDRPDR iter env 5
1364         - 29  # rls2005 NDRPDR iter env 5
1365         - 30  # rls2005 NDRPDR iter env 5
1366     vpp-performance-changes-2n-dnv-ref-env-old:
1367       csit-vpp-perf-report-iterative-2009-2n-dnv:
1368         - 3   # rls2009 NDRPDR iter env 5
1369         - 5   # rls2009 NDRPDR iter env 5
1370         - 6   # rls2009 NDRPDR iter env 5
1371         - 7   # rls2009 NDRPDR iter env 5
1372         - 9   # rls2009 NDRPDR iter env 5
1373         - 10  # rls2009 NDRPDR iter env 5
1374         - 11  # rls2009 NDRPDR iter env 5
1375         - 12  # rls2009 NDRPDR iter env 5
1376         - 14  # rls2009 NDRPDR iter env 5
1377         - 15  # rls2009 NDRPDR iter env 5
1378     vpp-performance-changes-2n-dnv-ref-env-new:
1379       # TODO: Re-test in new env
1380       csit-vpp-perf-report-iterative-2009-2n-dnv:
1381         - 3   # rls2009 NDRPDR iter env 5
1382         - 5   # rls2009 NDRPDR iter env 5
1383         - 6   # rls2009 NDRPDR iter env 5
1384         - 7   # rls2009 NDRPDR iter env 5
1385         - 9   # rls2009 NDRPDR iter env 5
1386         - 10  # rls2009 NDRPDR iter env 5
1387         - 11  # rls2009 NDRPDR iter env 5
1388         - 12  # rls2009 NDRPDR iter env 5
1389         - 14  # rls2009 NDRPDR iter env 5
1390         - 15  # rls2009 NDRPDR iter env 5
1391     vpp-performance-changes-2n-dnv-cmp:
1392       csit-vpp-perf-report-iterative-2101-2n-dnv:
1393         - 32  # rls2101.rel NDRPDR iter env 6
1394         - 33  # rls2101.rel NDRPDR iter env 6
1395         - 34  # rls2101.rel NDRPDR iter env 6
1396         - 35  # rls2101.rel NDRPDR iter env 6
1397         - 39  # rls2101.rel NDRPDR iter env 6
1398         - 41  # rls2101.rel NDRPDR iter env 6
1399         - 42  # rls2101.rel NDRPDR iter env 6
1400         - 43  # rls2101.rel NDRPDR iter env 6
1401         - 44  # rls2101.rel NDRPDR iter env 6
1402         - 45  # rls2101.rel NDRPDR iter env 6
1403         - 46  # rls2101.rel NDRPDR iter RND env 6
1404         - 47  # rls2101.rel NDRPDR iter RND env 6
1405         - 48  # rls2101.rel NDRPDR iter RND env 6
1406         - 49  # rls2101.rel NDRPDR iter RND env 6
1407         - 50  # rls2101.rel NDRPDR iter RND env 6
1408         - 51  # rls2101.rel NDRPDR iter RND env 6
1409         - 52  # rls2101.rel NDRPDR iter RND env 6
1410         - 53  # rls2101.rel NDRPDR iter RND env 6
1411         - 54  # rls2101.rel NDRPDR iter RND env 6
1412         - 55  # rls2101.rel NDRPDR iter RND env 6
1413
1414     vpp-performance-changes-3n-dnv-h1:
1415       csit-vpp-perf-report-iterative-2009-3n-dnv:
1416         - 16  # rls2005 NDRPDR iter env 5
1417         - 23  # rls2005 NDRPDR iter env 5
1418         - 25  # rls2005 NDRPDR iter env 5
1419         - 26  # rls2005 NDRPDR iter env 5
1420         - 27  # rls2005 NDRPDR iter env 5
1421         - 28  # rls2005 NDRPDR iter env 5
1422         - 29  # rls2005 NDRPDR iter env 5
1423         - 30  # rls2005 NDRPDR iter env 5
1424         - 31  # rls2005 NDRPDR iter env 5
1425         - 32  # rls2005 NDRPDR iter env 5
1426     vpp-performance-changes-3n-dnv-ref-env-old:
1427       csit-vpp-perf-report-iterative-2009-3n-dnv:
1428         - 3   # rls2009 NDRPDR iter env 5
1429         - 6   # rls2009 NDRPDR iter env 5
1430         - 7   # rls2009 NDRPDR iter env 5
1431         - 8   # rls2009 NDRPDR iter env 5
1432         - 10  # rls2009 NDRPDR iter env 5
1433         - 11  # rls2009 NDRPDR iter env 5
1434         - 12  # rls2009 NDRPDR iter env 5
1435         - 14  # rls2009 NDRPDR iter env 5
1436         - 15  # rls2009 NDRPDR iter env 5
1437         - 24  # rls2009 NDRPDR iter env 5
1438     vpp-performance-changes-3n-dnv-ref-env-new:
1439       # TODO: Re-test in new env
1440       csit-vpp-perf-report-iterative-2009-3n-dnv:
1441         - 3   # rls2009 NDRPDR iter env 5
1442         - 6   # rls2009 NDRPDR iter env 5
1443         - 7   # rls2009 NDRPDR iter env 5
1444         - 8   # rls2009 NDRPDR iter env 5
1445         - 10  # rls2009 NDRPDR iter env 5
1446         - 11  # rls2009 NDRPDR iter env 5
1447         - 12  # rls2009 NDRPDR iter env 5
1448         - 14  # rls2009 NDRPDR iter env 5
1449         - 15  # rls2009 NDRPDR iter env 5
1450         - 24  # rls2009 NDRPDR iter env 5
1451     vpp-performance-changes-3n-dnv-cmp:
1452       csit-vpp-perf-report-iterative-2101-3n-dnv:
1453         - 33  # rls2101.rel NDRPDR iter env 6
1454         - 34  # rls2101.rel NDRPDR iter env 6
1455         - 35  # rls2101.rel NDRPDR iter env 6
1456         - 36  # rls2101.rel NDRPDR iter env 6
1457         - 37  # rls2101.rel NDRPDR iter env 6
1458         - 38  # rls2101.rel NDRPDR iter env 6
1459         - 39  # rls2101.rel NDRPDR iter env 6
1460         - 40  # rls2101.rel NDRPDR iter env 6
1461         - 41  # rls2101.rel NDRPDR iter env 6
1462         - 42  # rls2101.rel NDRPDR iter env 6
1463         - 43  # rls2101.rel NDRPDR iter RND env 6
1464         - 44  # rls2101.rel NDRPDR iter RND env 6
1465         - 45  # rls2101.rel NDRPDR iter RND env 6
1466         - 46  # rls2101.rel NDRPDR iter RND env 6
1467         - 47  # rls2101.rel NDRPDR iter RND env 6
1468         - 48  # rls2101.rel NDRPDR iter RND env 6
1469         - 49  # rls2101.rel NDRPDR iter RND env 6
1470         - 50  # rls2101.rel NDRPDR iter RND env 6
1471         - 51  # rls2101.rel NDRPDR iter RND env 6
1472         - 52  # rls2101.rel NDRPDR iter RND env 6
1473
1474     vpp-performance-changes-3n-tsh-h1:
1475       csit-vpp-perf-report-iterative-2009-3n-tsh:
1476         - 8   # rls2005 NDRPDR iter env 5
1477         - 11  # rls2005 NDRPDR iter env 5
1478         - 12  # rls2005 NDRPDR iter env 5
1479         - 24  # rls2005 NDRPDR iter env 5
1480         - 27  # rls2005 NDRPDR iter env 5
1481         - 29  # rls2005 NDRPDR iter env 5
1482         - 31  # rls2005 NDRPDR iter env 5
1483         - 39  # rls2005 NDRPDR iter env 5
1484         - 40  # rls2005 NDRPDR iter env 5
1485         - 42  # rls2005 NDRPDR iter env 5
1486     vpp-performance-changes-3n-tsh-ref-env-old:
1487       csit-vpp-perf-report-iterative-2009-3n-tsh:
1488         - 14  # rls2009 NDRPDR iter env 5
1489         - 20  # rls2009 NDRPDR iter env 5
1490         - 21  # rls2009 NDRPDR iter env 5
1491         - 22  # rls2009 NDRPDR iter env 5
1492         - 23  # rls2009 NDRPDR iter env 5
1493         - 28  # rls2009 NDRPDR iter env 5
1494         - 30  # rls2009 NDRPDR iter env 5
1495         - 33  # rls2009 NDRPDR iter env 5
1496         - 38  # rls2009 NDRPDR iter env 5
1497         - 41  # rls2009 NDRPDR iter env 5
1498     vpp-performance-changes-3n-tsh-ref-env-new:
1499       csit-vpp-perf-report-iterative-2101-3n-tsh:
1500         - 8   # rls2009 NDRPDR iter env 6
1501         - 13  # rls2009 NDRPDR iter env 6
1502         - 14  # rls2009 NDRPDR iter env 6
1503         - 15  # rls2009 NDRPDR iter env 6
1504         - 16  # rls2009 NDRPDR iter env 6
1505         - 17  # rls2009 NDRPDR iter env 6
1506         - 18  # rls2009 NDRPDR iter env 6
1507         - 19  # rls2009 NDRPDR iter env 6
1508         - 21  # rls2009 NDRPDR iter env 6
1509     vpp-performance-changes-3n-tsh-cmp:
1510       csit-vpp-perf-report-iterative-2101-3n-tsh:
1511         - 23  # rls2101.rel NDRPDR iter env 6
1512         - 24  # rls2101.rel NDRPDR iter env 6
1513         - 25  # rls2101.rel NDRPDR iter env 6
1514         - 26  # rls2101.rel NDRPDR iter env 6
1515         - 27  # rls2101.rel NDRPDR iter env 6
1516         - 28  # rls2101.rel NDRPDR iter env 6
1517         - 29  # rls2101.rel NDRPDR iter env 6
1518         - 30  # rls2101.rel NDRPDR iter env 6
1519         - 31  # rls2101.rel NDRPDR iter env 6
1520         - 32  # rls2101.rel NDRPDR iter env 6
1521
1522 #     vpp-performance-changes-2n-tx2-h1:
1523 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1524 #         -
1525 #     vpp-performance-changes-2n-tx2-ref-env-old:
1526 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1527 #         -
1528     vpp-performance-changes-2n-tx2-ref-env-new:
1529       csit-vpp-perf-report-iterative-2101-2n-tx2:
1530         - 6   # rls2009 NDRPDR iter env 6
1531         - 7   # rls2009 NDRPDR iter env 6
1532         - 11  # rls2009 NDRPDR iter env 6
1533         - 12  # rls2009 NDRPDR iter env 6
1534         - 13  # rls2009 NDRPDR iter env 6
1535         - 16  # rls2009 NDRPDR iter env 6
1536         - 17  # rls2009 NDRPDR iter env 6
1537         - 18  # rls2009 NDRPDR iter env 6
1538         - 19  # rls2009 NDRPDR iter env 6
1539         - 20  # rls2009 NDRPDR iter env 6
1540     vpp-performance-changes-2n-tx2-cmp:
1541       csit-vpp-perf-report-iterative-2101-2n-tx2:
1542         - 22  # rls2101.rel NDRPDR iter env 6
1543         - 23  # rls2101.rel NDRPDR iter env 6
1544         - 24  # rls2101.rel NDRPDR iter env 6
1545         - 25  # rls2101.rel NDRPDR iter env 6
1546         - 26  # rls2101.rel NDRPDR iter env 6
1547         - 27  # rls2101.rel NDRPDR iter env 6
1548         - 28  # rls2101.rel NDRPDR iter env 6
1549         - 29  # rls2101.rel NDRPDR iter env 6
1550         - 30  # rls2101.rel NDRPDR iter env 6
1551         - 31  # rls2101.rel NDRPDR iter env 6
1552
1553     vpp-soak-vs-ndr-2n-skx-ref:
1554       csit-vpp-perf-report-iterative-2101-2n-skx:
1555         - 63  # rls2101.rel NDRPDR iter env 6
1556         - 69  # rls2101.rel NDRPDR iter env 6
1557         - 70  # rls2101.rel NDRPDR iter env 6
1558         - 75  # rls2101.rel NDRPDR iter env 6
1559         - 76  # rls2101.rel NDRPDR iter env 6
1560         - 77  # rls2101.rel NDRPDR iter env 6
1561         - 82  # rls2101.rel NDRPDR iter env 6
1562         - 85  # rls2101.rel NDRPDR iter env 6
1563         - 86  # rls2101.rel NDRPDR iter env 6
1564         - 94  # rls2101.rel NDRPDR iter env 6
1565     vpp-soak-vs-ndr-2n-skx-cmp:
1566       csit-vpp-perf-report-iterative-2101-2n-skx:
1567         - 68  # rls2101.rel soak env 6
1568         - 73  # rls2101.rel soak env 6
1569     vpp-soak-vs-ndr-2n-skx:
1570       csit-vpp-perf-report-iterative-2101-2n-skx:
1571         - 63  # rls2101.rel NDRPDR iter env 6
1572         - 69  # rls2101.rel NDRPDR iter env 6
1573         - 70  # rls2101.rel NDRPDR iter env 6
1574         - 75  # rls2101.rel NDRPDR iter env 6
1575         - 76  # rls2101.rel NDRPDR iter env 6
1576         - 77  # rls2101.rel NDRPDR iter env 6
1577         - 82  # rls2101.rel NDRPDR iter env 6
1578         - 85  # rls2101.rel NDRPDR iter env 6
1579         - 86  # rls2101.rel NDRPDR iter env 6
1580         - 94  # rls2101.rel NDRPDR iter env 6
1581         - 68  # rls2101.rel soak env 6
1582         - 73  # rls2101.rel soak env 6
1583
1584     vpp-soak-vs-ndr-2n-clx-ref:
1585       csit-vpp-perf-report-iterative-2101-2n-clx:
1586         - 54  # rls2101.rel NDRPDR iter env 6
1587         - 59  # rls2101.rel NDRPDR iter env 6
1588         - 60  # rls2101.rel NDRPDR iter env 6
1589         - 63  # rls2101.rel NDRPDR iter env 6
1590         - 66  # rls2101.rel NDRPDR iter env 6
1591         - 68  # rls2101.rel NDRPDR iter env 6
1592         - 73  # rls2101.rel NDRPDR iter env 6
1593         - 75  # rls2101.rel NDRPDR iter env 6
1594         - 86  # rls2101.rel NDRPDR iter env 6
1595         - 90  # rls2101.rel NDRPDR iter env 6
1596     vpp-soak-vs-ndr-2n-clx-cmp:
1597       csit-vpp-perf-report-iterative-2101-2n-clx:
1598         - 58  # rls2101.rel soak env 6
1599         - 61  # rls2101.rel soak env 6
1600     vpp-soak-vs-ndr-2n-clx:
1601       csit-vpp-perf-report-iterative-2101-2n-clx:
1602         - 54  # rls2101.rel NDRPDR iter env 6
1603         - 59  # rls2101.rel NDRPDR iter env 6
1604         - 60  # rls2101.rel NDRPDR iter env 6
1605         - 63  # rls2101.rel NDRPDR iter env 6
1606         - 66  # rls2101.rel NDRPDR iter env 6
1607         - 68  # rls2101.rel NDRPDR iter env 6
1608         - 73  # rls2101.rel NDRPDR iter env 6
1609         - 75  # rls2101.rel NDRPDR iter env 6
1610         - 86  # rls2101.rel NDRPDR iter env 6
1611         - 90  # rls2101.rel NDRPDR iter env 6
1612         - 58  # rls2101.rel soak env 6
1613         - 61  # rls2101.rel soak env 6
1614
1615     vpp-performance-changes-3n-hsw-mrr-h1:
1616       csit-vpp-perf-report-iterative-2009-3n-hsw:
1617         - 18  # rls2005 MRR iter env 5
1618     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1619       csit-vpp-perf-report-iterative-2009-3n-hsw:
1620         - 23  # rls2009 MRR iter env 5
1621     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1622       csit-vpp-perf-report-iterative-2101-3n-hsw:
1623         - 17  # rls2009 MRR iter env 6
1624     vpp-performance-changes-3n-hsw-mrr-cmp:
1625       csit-vpp-perf-report-iterative-2101-3n-hsw:
1626         - 63  # rls2101.rel MRR iter env 6
1627
1628     vpp-performance-changes-3n-skx-mrr-h1:
1629       csit-vpp-perf-report-iterative-2009-3n-skx:
1630         - 17  # rls2005 MRR iter env 5
1631     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1632       csit-vpp-perf-report-iterative-2009-3n-skx:
1633         - 24  # rls2009 MRR iter env 5
1634     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1635       csit-vpp-perf-report-iterative-2101-3n-skx:
1636         - 34  # rls2009 MRR iter env 6
1637     vpp-performance-changes-3n-skx-mrr-cmp:
1638       csit-vpp-perf-report-iterative-2101-3n-skx:
1639         - 35  # rls2101.rel MRR iter env 6
1640
1641     vpp-performance-changes-2n-skx-mrr-h1:
1642       csit-vpp-perf-report-iterative-2009-2n-skx:
1643         - 20  # rls2005 MRR iter env 5
1644     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1645       csit-vpp-perf-report-iterative-2009-2n-skx:
1646         - 120 # rls2009 MRR iter env 5
1647     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1648       csit-vpp-perf-report-iterative-2101-2n-skx:
1649         - 21  # rls2009 MRR iter env 6
1650     vpp-performance-changes-2n-skx-mrr-cmp:
1651       csit-vpp-perf-report-iterative-2101-2n-skx:
1652         - 62  # rls2101.rel MRR iter env 6
1653
1654     vpp-performance-changes-2n-clx-mrr-h1:
1655       csit-vpp-perf-report-iterative-2009-2n-clx:
1656         - 77  # rls2005 MRR iter env 5
1657     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1658       csit-vpp-perf-report-iterative-2009-2n-clx:
1659         - 125 # rls2009 MRR iter env 5
1660     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1661       csit-vpp-perf-report-iterative-2101-2n-clx:
1662         - 15  # rls2009 MRR iter env 6
1663         - 142 # rls2009 MRR MLX iter env 6
1664     vpp-performance-changes-2n-clx-mrr-cmp:
1665       csit-vpp-perf-report-iterative-2101-2n-clx:
1666         - 53  # rls2101.rel MRR iter env 6
1667         - 133 # rls2101.rel MRR MLX iter env 6
1668
1669     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1670       csit-vpp-perf-report-iterative-2009-2n-zn2:
1671         - 15  # rls2009 MRR iter env 5
1672     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1673       csit-vpp-perf-report-iterative-2101-2n-zn2:
1674         - 8   # rls2009 MRR iter env6
1675     vpp-performance-changes-2n-zn2-mrr-cmp:
1676       csit-vpp-perf-report-iterative-2101-2n-zn2:
1677         - 30  # rls2101.rel MRR iter env 6
1678
1679     vpp-performance-changes-2n-dnv-mrr-h1:
1680       csit-vpp-perf-report-iterative-2009-2n-dnv:
1681         - 23  # rls2005 MRR iter env 5
1682     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1683       csit-vpp-perf-report-iterative-2009-2n-dnv:
1684         - 13  # rls2009 MRR iter env 5
1685     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1686       # TODO: Re-test in new env
1687       csit-vpp-perf-report-iterative-2009-2n-dnv:
1688         - 13  # rls2009 MRR iter env 5
1689     vpp-performance-changes-2n-dnv-mrr-cmp:
1690       csit-vpp-perf-report-iterative-2101-2n-dnv:
1691         - 31  # rls2101.rel MRR iter env 6
1692
1693     vpp-performance-changes-3n-dnv-mrr-h1:
1694       csit-vpp-perf-report-iterative-2009-3n-dnv:
1695         - 19  # rls2005 MRR iter env 5
1696     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1697       csit-vpp-perf-report-iterative-2009-3n-dnv:
1698         - 22  # rls2009 MRR iter env 5
1699     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1700       # TODO: Re-test in new env
1701       csit-vpp-perf-report-iterative-2009-3n-dnv:
1702         - 22  # rls2009 MRR iter env 5
1703     vpp-performance-changes-3n-dnv-mrr-cmp:
1704       csit-vpp-perf-report-iterative-2101-3n-dnv:
1705         - 32  # rls2101.rel MRR iter env 6
1706
1707     vpp-performance-changes-3n-tsh-mrr-h1:
1708       csit-vpp-perf-report-iterative-2009-3n-tsh:
1709         - 13  # rls2005 MRR iter env 5
1710     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1711       csit-vpp-perf-report-iterative-2009-3n-tsh:
1712         - 15  # rls2009 MRR iter env 5
1713     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1714       csit-vpp-perf-report-iterative-2101-3n-tsh:
1715         - 7   # rls2009 MRR iter env 6
1716     vpp-performance-changes-3n-tsh-mrr-cmp:
1717       csit-vpp-perf-report-iterative-2101-3n-tsh:
1718         - 22  # rls2101.rel MRR iter env 6
1719
1720 #     vpp-performance-changes-2n-tx2-mrr-h1:
1721 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1722 #         -
1723 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1724 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1725 #         -
1726     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1727       csit-vpp-perf-report-iterative-2101-2n-tx2:
1728         - 5   # rls2009 MRR iter env 6
1729     vpp-performance-changes-2n-tx2-mrr-cmp:
1730       csit-vpp-perf-report-iterative-2101-2n-tx2:
1731         - 21  # rls2101.rel MRR iter env 6
1732
1733     dpdk-performance-changes-3n-hsw-h1:
1734       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1735         - 25  # NDRPDR iter
1736         - 26  # NDRPDR iter
1737         - 27  # NDRPDR iter
1738         - 28  # NDRPDR iter
1739         - 29  # NDRPDR iter
1740         - 30  # NDRPDR iter
1741         - 31  # NDRPDR iter
1742         - 32  # NDRPDR iter
1743         - 33  # NDRPDR iter
1744         - 34  # NDRPDR iter
1745     dpdk-performance-changes-3n-hsw-ref:
1746       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1747         - 6   # NDRPDR iter env5
1748         - 7   # NDRPDR iter env5
1749         - 8   # NDRPDR iter env5
1750         - 9   # NDRPDR iter env5
1751         - 10  # NDRPDR iter env5
1752         - 11  # NDRPDR iter env5
1753         - 12  # NDRPDR iter env5
1754         - 13  # NDRPDR iter env5
1755         - 14  # NDRPDR iter env5
1756         - 15  # NDRPDR iter env5
1757     dpdk-performance-changes-3n-hsw-cmp:
1758       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1759         - 11  # rls2101 NDRPDR iter env 6
1760         - 12  # rls2101 NDRPDR iter env 6
1761         - 13  # rls2101 NDRPDR iter env 6
1762         - 14  # rls2101 NDRPDR iter env 6
1763         - 16  # rls2101 NDRPDR iter env 6
1764         - 17  # rls2101 NDRPDR iter env 6
1765         - 18  # rls2101 NDRPDR iter env 6
1766         - 19  # rls2101 NDRPDR iter env 6
1767         - 20  # rls2101 NDRPDR iter env 6
1768         - 21  # rls2101 NDRPDR iter env 6
1769
1770     dpdk-performance-changes-3n-skx-h1:
1771       csit-dpdk-perf-report-iterative-2005-3n-skx:
1772         - 28  # NDRPDR iter
1773         - 29  # NDRPDR iter
1774         - 30  # NDRPDR iter
1775         - 31  # NDRPDR iter
1776         - 32  # NDRPDR iter
1777         - 33  # NDRPDR iter
1778         - 34  # NDRPDR iter
1779         - 35  # NDRPDR iter
1780         - 36  # NDRPDR iter
1781         - 37  # NDRPDR iter
1782     dpdk-performance-changes-3n-skx-ref:
1783       csit-dpdk-perf-report-iterative-2009-3n-skx:
1784         - 4   # NDRPDR sel env5
1785         - 5   # NDRPDR sel env5
1786         - 6   # NDRPDR sel env5
1787         - 7   # NDRPDR sel env5
1788         - 8   # NDRPDR sel env5
1789         - 9   # NDRPDR sel env5
1790         - 14  # NDRPDR sel env5
1791         - 11  # NDRPDR sel env5
1792         - 12  # NDRPDR sel env5
1793         - 13  # NDRPDR sel env5
1794     dpdk-performance-changes-3n-skx-cmp:
1795       csit-dpdk-perf-report-iterative-2101-3n-skx:
1796         - 12  # rls2101 NDRPDR iter env 6
1797         - 14  # rls2101 NDRPDR iter env 6
1798         - 15  # rls2101 NDRPDR iter env 6
1799         - 17  # rls2101 NDRPDR iter env 6
1800         - 19  # rls2101 NDRPDR iter env 6
1801         - 20  # rls2101 NDRPDR iter env 6
1802         - 21  # rls2101 NDRPDR iter env 6
1803         - 22  # rls2101 NDRPDR iter env 6
1804         - 25  # rls2101 NDRPDR iter env 6
1805         - 26  # rls2101 NDRPDR iter env 6
1806
1807     dpdk-performance-changes-2n-skx-h1:
1808       csit-dpdk-perf-report-iterative-2005-2n-skx:
1809         - 20  # NDRPDR iter
1810         - 21  # NDRPDR iter
1811         - 22  # NDRPDR iter
1812         - 23  # NDRPDR iter
1813         - 24  # NDRPDR iter
1814         - 25  # NDRPDR iter
1815         - 26  # NDRPDR iter
1816         - 27  # NDRPDR iter
1817         - 28  # NDRPDR iter
1818         - 29  # NDRPDR iter
1819     dpdk-performance-changes-2n-skx-ref:
1820       csit-dpdk-perf-report-iterative-2009-2n-skx:
1821         - 4   # NDRPDR iter env5
1822         - 5   # NDRPDR iter env5
1823         - 6   # NDRPDR iter env5
1824         - 7   # NDRPDR iter env5
1825         - 8   # NDRPDR iter env5
1826         - 9   # NDRPDR iter env5
1827         - 10  # NDRPDR iter env5
1828         - 11  # NDRPDR iter env5
1829         - 12  # NDRPDR iter env5
1830         - 13  # NDRPDR iter env5
1831     dpdk-performance-changes-2n-skx-cmp:
1832       csit-dpdk-perf-report-iterative-2101-2n-skx:
1833         - 11  # rls2101 NDRPDR iter env 6
1834         - 12  # rls2101 NDRPDR iter env 6
1835         - 13  # rls2101 NDRPDR iter env 6
1836         - 14  # rls2101 NDRPDR iter env 6
1837         - 15  # rls2101 NDRPDR iter env 6
1838         - 17  # rls2101 NDRPDR iter env 6
1839         - 18  # rls2101 NDRPDR iter env 6
1840         - 19  # rls2101 NDRPDR iter env 6
1841         - 20  # rls2101 NDRPDR iter env 6
1842         - 21  # rls2101 NDRPDR iter env 6
1843
1844     dpdk-performance-changes-2n-clx-h1:
1845       csit-dpdk-perf-report-iterative-2005-2n-clx:
1846         - 20  # NDRPDR iter
1847         - 21  # NDRPDR iter
1848         - 22  # NDRPDR iter
1849         - 23  # NDRPDR iter
1850         - 24  # NDRPDR iter
1851         - 25  # NDRPDR iter
1852         - 26  # NDRPDR iter
1853         - 27  # NDRPDR iter
1854         - 28  # NDRPDR iter
1855         - 29  # NDRPDR iter
1856     dpdk-performance-changes-2n-clx-ref:
1857       csit-dpdk-perf-report-iterative-2009-2n-clx:
1858         - 4   # NDRPDR iter env5
1859         - 5   # NDRPDR iter env5
1860         - 6   # NDRPDR iter env5
1861         - 7   # NDRPDR iter env5
1862         - 8   # NDRPDR iter env5
1863         - 9   # NDRPDR iter env5
1864         - 10  # NDRPDR iter env5
1865         - 11  # NDRPDR iter env5
1866         - 12  # NDRPDR iter env5
1867         - 13  # NDRPDR iter env5
1868     dpdk-performance-changes-2n-clx-cmp:
1869       csit-dpdk-perf-report-iterative-2101-2n-clx:
1870         - 12  # rls2101 NDRPDR iter env 6
1871         - 13  # rls2101 NDRPDR iter env 6
1872         - 14  # rls2101 NDRPDR iter env 6
1873         - 18  # rls2101 NDRPDR iter env 6
1874         - 22  # rls2101 NDRPDR iter env 6
1875
1876     dpdk-performance-changes-2n-zn2-ref:
1877       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1878         - 16  # NDRPDR iter env5
1879         - 21  # NDRPDR iter env5
1880         - 22  # NDRPDR iter env5
1881         - 23  # NDRPDR iter env5
1882         - 24  # NDRPDR iter env5
1883         - 25  # NDRPDR iter env5
1884         - 29  # NDRPDR iter env5
1885     dpdk-performance-changes-2n-zn2-cmp:
1886       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1887         - 11  # rls2101 NDRPDR iter env 6
1888         - 12  # rls2101 NDRPDR iter env 6
1889         - 13  # rls2101 NDRPDR iter env 6
1890         - 14  # rls2101 NDRPDR iter env 6
1891         - 16  # rls2101 NDRPDR iter env 6
1892         - 17  # rls2101 NDRPDR iter env 6
1893         - 18  # rls2101 NDRPDR iter env 6
1894         - 19  # rls2101 NDRPDR iter env 6
1895         - 20  # rls2101 NDRPDR iter env 6
1896         - 21  # rls2101 NDRPDR iter env 6
1897
1898 #    dpdk-performance-changes-2n-dnv-h1:
1899 #      csit-dpdk-perf-verify-2101-2n-dnv:
1900 #        - 9   # NDRPDR sel
1901 #        - 10  # NDRPDR sel
1902 #        - 11  # NDRPDR sel
1903 #        - 12  # NDRPDR sel
1904 #        - 13  # NDRPDR sel
1905 #        - 14  # NDRPDR sel
1906 #        - 15  # NDRPDR sel
1907 #        - 16  # NDRPDR sel
1908 #        - 17  # NDRPDR sel
1909 #        - 18  # NDRPDR sel
1910 #    dpdk-performance-changes-2n-dnv-ref:
1911 #      # No data
1912 #    dpdk-performance-changes-2n-dnv-cmp:
1913 #      # No data
1914 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1915
1916 #    dpdk-performance-changes-3n-dnv-h1:
1917 #      csit-dpdk-perf-verify-2101-3n-dnv:
1918 #        - 12  # NDRPDR sel
1919 #        - 13  # NDRPDR sel
1920 #        - 14  # NDRPDR sel
1921 #        - 15  # NDRPDR sel
1922 #        - 16  # NDRPDR sel
1923 #        - 17  # NDRPDR sel
1924 #        - 18  # NDRPDR sel
1925 #        - 19  # NDRPDR sel
1926 #        - 20  # NDRPDR sel
1927 #        - 22  # NDRPDR sel
1928 #    dpdk-performance-changes-3n-dnv-ref:
1929 #      # No data
1930 #    dpdk-performance-changes-3n-dnv-cmp:
1931 #      # No data
1932 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1933
1934     dpdk-performance-changes-3n-tsh-h1:
1935       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1936         - 5   # NDRPDR sel
1937     dpdk-performance-changes-3n-tsh-ref:
1938       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1939         - 1   # NDRPDR iter env5
1940         - 2   # NDRPDR iter env5
1941         - 3   # NDRPDR iter env5
1942         - 4   # NDRPDR iter env5
1943         - 5   # NDRPDR iter env5
1944         - 6   # NDRPDR iter env5
1945         - 7   # NDRPDR iter env5
1946         - 9   # NDRPDR iter env5
1947         - 10  # NDRPDR iter env5
1948         - 11  # NDRPDR iter env5
1949     dpdk-performance-changes-3n-tsh-cmp:
1950       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1951         - 11  # rls2101 NDRPDR iter env 6
1952         - 12  # rls2101 NDRPDR iter env 6
1953         - 13  # rls2101 NDRPDR iter env 6
1954         - 14  # rls2101 NDRPDR iter env 6
1955         - 16  # rls2101 NDRPDR iter env 6
1956         - 17  # rls2101 NDRPDR iter env 6
1957         - 18  # rls2101 NDRPDR iter env 6
1958         - 19  # rls2101 NDRPDR iter env 6
1959         - 20  # rls2101 NDRPDR iter env 6
1960         - 21  # rls2101 NDRPDR iter env 6
1961
1962     # Compare testbeds
1963
1964     vpp-compare-testbeds-ref:
1965       csit-vpp-perf-report-iterative-2101-3n-hsw:
1966         - 64  # rls2101.rel NDRPDR iter env 6
1967         - 71  # rls2101.rel NDRPDR iter env 6
1968         - 73  # rls2101.rel NDRPDR iter env 6
1969         - 74  # rls2101.rel NDRPDR iter env 6
1970         - 80  # rls2101.rel NDRPDR iter env 6
1971         - 81  # rls2101.rel NDRPDR iter env 6
1972         - 82  # rls2101.rel NDRPDR iter env 6
1973         - 83  # rls2101.rel NDRPDR iter env 6
1974         - 88  # rls2101.rel NDRPDR iter env 6
1975         - 89  # rls2101.rel NDRPDR iter env 6
1976     vpp-compare-testbeds-cmp:
1977       csit-vpp-perf-report-iterative-2101-3n-skx:
1978         - 36  # rls2101.rel NDRPDR iter env 6
1979         - 37  # rls2101.rel NDRPDR iter env 6
1980         - 38  # rls2101.rel NDRPDR iter env 6
1981         - 39  # rls2101.rel NDRPDR iter env 6
1982         - 40  # rls2101.rel NDRPDR iter env 6
1983         - 41  # rls2101.rel NDRPDR iter env 6
1984         - 42  # rls2101.rel NDRPDR iter env 6
1985         - 47  # rls2101.rel NDRPDR iter env 6
1986         - 48  # rls2101.rel NDRPDR iter env 6
1987         - 50  # rls2101.rel NDRPDR iter env 6
1988
1989     vpp-compare-testbeds-skx-clx-ref:
1990       csit-vpp-perf-report-iterative-2101-2n-skx:
1991         - 63  # rls2101.rel NDRPDR iter env 6
1992         - 69  # rls2101.rel NDRPDR iter env 6
1993         - 70  # rls2101.rel NDRPDR iter env 6
1994         - 75  # rls2101.rel NDRPDR iter env 6
1995         - 76  # rls2101.rel NDRPDR iter env 6
1996         - 77  # rls2101.rel NDRPDR iter env 6
1997         - 82  # rls2101.rel NDRPDR iter env 6
1998         - 85  # rls2101.rel NDRPDR iter env 6
1999         - 86  # rls2101.rel NDRPDR iter env 6
2000         - 94  # rls2101.rel NDRPDR iter env 6
2001         - 89  # rls2101.rel NDRPDR iter RND env 6
2002         - 90  # rls2101.rel NDRPDR iter RND env 6
2003         - 91  # rls2101.rel NDRPDR iter RND env 6
2004         - 92  # rls2101.rel NDRPDR iter RND env 6
2005         - 93  # rls2101.rel NDRPDR iter RND env 6
2006         - 96  # rls2101.rel NDRPDR iter RND env 6
2007         - 98  # rls2101.rel NDRPDR iter RND env 6
2008         - 99  # rls2101.rel NDRPDR iter RND env 6
2009         - 101 # rls2101.rel NDRPDR iter RND env 6
2010         - 102 # rls2101.rel NDRPDR iter RND env 6
2011         - 116 # rls2101.rel NDRPDR iter NAT env 6
2012         - 117 # rls2101.rel NDRPDR iter NAT env 6
2013         - 118 # rls2101.rel NDRPDR iter NAT env 6
2014         - 119 # rls2101.rel NDRPDR iter NAT env 6
2015         - 120 # rls2101.rel NDRPDR iter NAT env 6
2016         - 121 # rls2101.rel NDRPDR iter NAT env 6
2017         - 122 # rls2101.rel NDRPDR iter NAT env 6
2018         - 123 # rls2101.rel NDRPDR iter NAT env 6
2019         - 124 # rls2101.rel NDRPDR iter NAT env 6
2020         - 125 # rls2101.rel NDRPDR iter NAT env 6
2021     vpp-compare-testbeds-skx-clx-cmp:
2022       csit-vpp-perf-report-iterative-2101-2n-clx:
2023         - 54  # rls2101.rel NDRPDR iter env 6
2024         - 59  # rls2101.rel NDRPDR iter env 6
2025         - 60  # rls2101.rel NDRPDR iter env 6
2026         - 63  # rls2101.rel NDRPDR iter env 6
2027         - 66  # rls2101.rel NDRPDR iter env 6
2028         - 68  # rls2101.rel NDRPDR iter env 6
2029         - 73  # rls2101.rel NDRPDR iter env 6
2030         - 75  # rls2101.rel NDRPDR iter env 6
2031         - 86  # rls2101.rel NDRPDR iter env 6
2032         - 90  # rls2101.rel NDRPDR iter env 6
2033         - 80  # rls2101.rel NDRPDR iter RND env 6
2034         - 87  # rls2101.rel NDRPDR iter RND env 6
2035         - 91  # rls2101.rel NDRPDR iter RND env 6
2036         - 92  # rls2101.rel NDRPDR iter RND env 6
2037         - 93  # rls2101.rel NDRPDR iter RND env 6
2038         - 94  # rls2101.rel NDRPDR iter RND env 6
2039         - 95  # rls2101.rel NDRPDR iter RND env 6
2040         - 100 # rls2101.rel NDRPDR iter RND env 6
2041         - 106 # rls2101.rel NDRPDR iter RND env 6
2042         - 108 # rls2101.rel NDRPDR iter RND env 6
2043         - 112 # rls2101.rel NDRPDR iter NAT env 6
2044         - 113 # rls2101.rel NDRPDR iter NAT env 6
2045         - 114 # rls2101.rel NDRPDR iter NAT env 6
2046         - 115 # rls2101.rel NDRPDR iter NAT env 6
2047         - 116 # rls2101.rel NDRPDR iter NAT env 6
2048         - 117 # rls2101.rel NDRPDR iter NAT env 6
2049         - 118 # rls2101.rel NDRPDR iter NAT env 6
2050         - 119 # rls2101.rel NDRPDR iter NAT env 6
2051         - 120 # rls2101.rel NDRPDR iter NAT env 6
2052         - 121 # rls2101.rel NDRPDR iter NAT env 6
2053         - 122 # rls2101.rel NDRPDR iter MLX env 6
2054         - 123 # rls2101.rel NDRPDR iter MLX env 6
2055         - 124 # rls2101.rel NDRPDR iter MLX env 6
2056         - 126 # rls2101.rel NDRPDR iter MLX env 6
2057         - 127 # rls2101.rel NDRPDR iter MLX env 6
2058         - 128 # rls2101.rel NDRPDR iter MLX env 6
2059         - 129 # rls2101.rel NDRPDR iter MLX env 6
2060         - 130 # rls2101.rel NDRPDR iter MLX env 6
2061         - 131 # rls2101.rel NDRPDR iter MLX env 6
2062         - 132 # rls2101.rel NDRPDR iter MLX env 6
2063
2064     vpp-compare-testbeds-hsw-clx-ref:
2065       csit-vpp-perf-report-iterative-2101-3n-hsw:
2066         - 64  # rls2101.rel NDRPDR iter env 6
2067         - 71  # rls2101.rel NDRPDR iter env 6
2068         - 73  # rls2101.rel NDRPDR iter env 6
2069         - 74  # rls2101.rel NDRPDR iter env 6
2070         - 80  # rls2101.rel NDRPDR iter env 6
2071         - 81  # rls2101.rel NDRPDR iter env 6
2072         - 82  # rls2101.rel NDRPDR iter env 6
2073         - 83  # rls2101.rel NDRPDR iter env 6
2074         - 88  # rls2101.rel NDRPDR iter env 6
2075         - 89  # rls2101.rel NDRPDR iter env 6
2076         - 128 # rls2101.rel NDRPDR iter RND env 6
2077         - 129 # rls2101.rel NDRPDR iter RND env 6
2078         - 130 # rls2101.rel NDRPDR iter RND env 6
2079         - 131 # rls2101.rel NDRPDR iter RND env 6
2080         - 132 # rls2101.rel NDRPDR iter RND env 6
2081         - 133 # rls2101.rel NDRPDR iter RND env 6
2082         - 134 # rls2101.rel NDRPDR iter RND env 6
2083         - 135 # rls2101.rel NDRPDR iter RND env 6
2084         - 136 # rls2101.rel NDRPDR iter RND env 6
2085         - 137 # rls2101.rel NDRPDR iter RND env 6
2086     vpp-compare-testbeds-hsw-clx-cmp:
2087       csit-vpp-perf-report-iterative-2101-2n-clx:
2088         - 54  # rls2101.rel NDRPDR iter env 6
2089         - 59  # rls2101.rel NDRPDR iter env 6
2090         - 60  # rls2101.rel NDRPDR iter env 6
2091         - 63  # rls2101.rel NDRPDR iter env 6
2092         - 66  # rls2101.rel NDRPDR iter env 6
2093         - 68  # rls2101.rel NDRPDR iter env 6
2094         - 73  # rls2101.rel NDRPDR iter env 6
2095         - 75  # rls2101.rel NDRPDR iter env 6
2096         - 90  # rls2101.rel NDRPDR iter env 6
2097         - 80  # rls2101.rel NDRPDR iter RND env 6
2098         - 87  # rls2101.rel NDRPDR iter RND env 6
2099         - 91  # rls2101.rel NDRPDR iter RND env 6
2100         - 92  # rls2101.rel NDRPDR iter RND env 6
2101         - 93  # rls2101.rel NDRPDR iter RND env 6
2102         - 94  # rls2101.rel NDRPDR iter RND env 6
2103         - 95  # rls2101.rel NDRPDR iter RND env 6
2104         - 100 # rls2101.rel NDRPDR iter RND env 6
2105         - 106 # rls2101.rel NDRPDR iter RND env 6
2106         - 108 # rls2101.rel NDRPDR iter RND env 6
2107         - 112 # rls2101.rel NDRPDR iter NAT env 6
2108         - 113 # rls2101.rel NDRPDR iter NAT env 6
2109         - 114 # rls2101.rel NDRPDR iter NAT env 6
2110         - 115 # rls2101.rel NDRPDR iter NAT env 6
2111         - 116 # rls2101.rel NDRPDR iter NAT env 6
2112         - 117 # rls2101.rel NDRPDR iter NAT env 6
2113         - 118 # rls2101.rel NDRPDR iter NAT env 6
2114         - 119 # rls2101.rel NDRPDR iter NAT env 6
2115         - 120 # rls2101.rel NDRPDR iter NAT env 6
2116         - 121 # rls2101.rel NDRPDR iter NAT env 6
2117         - 122 # rls2101.rel NDRPDR iter MLX env 6
2118         - 123 # rls2101.rel NDRPDR iter MLX env 6
2119         - 124 # rls2101.rel NDRPDR iter MLX env 6
2120         - 126 # rls2101.rel NDRPDR iter MLX env 6
2121         - 127 # rls2101.rel NDRPDR iter MLX env 6
2122         - 128 # rls2101.rel NDRPDR iter MLX env 6
2123         - 129 # rls2101.rel NDRPDR iter MLX env 6
2124         - 130 # rls2101.rel NDRPDR iter MLX env 6
2125         - 131 # rls2101.rel NDRPDR iter MLX env 6
2126         - 132 # rls2101.rel NDRPDR iter MLX env 6
2127
2128     vpp-compare-testbeds-mrr-ref:
2129       csit-vpp-perf-report-iterative-2101-3n-hsw:
2130         - 63  # rls2101.rel MRR iter env 6
2131     vpp-compare-testbeds-mrr-cmp:
2132       csit-vpp-perf-report-iterative-2101-3n-skx:
2133         - 35  # rls2101.rel MRR iter env 6
2134
2135     vpp-compare-testbeds-mrr-skx-clx-ref:
2136       csit-vpp-perf-report-iterative-2101-2n-skx:
2137         - 62  # rls2101.rel MRR iter env 6
2138     vpp-compare-testbeds-mrr-skx-clx-cmp:
2139       csit-vpp-perf-report-iterative-2101-2n-clx:
2140         - 53  # rls2101.rel MRR iter env 6
2141
2142     vpp-compare-testbeds-mrr-hsw-clx-ref:
2143       csit-vpp-perf-report-iterative-2101-3n-hsw:
2144         - 63  # rls2101.rel MRR iter env 6
2145     vpp-compare-testbeds-mrr-hsw-clx-cmp:
2146       csit-vpp-perf-report-iterative-2101-2n-clx:
2147         - 53  # rls2101.rel MRR iter env 6
2148
2149     dpdk-compare-testbeds-ref:
2150       csit-dpdk-perf-report-iterative-2101-3n-hsw:
2151         - 11  # rls2101 NDRPDR iter env 6
2152         - 12  # rls2101 NDRPDR iter env 6
2153         - 13  # rls2101 NDRPDR iter env 6
2154         - 14  # rls2101 NDRPDR iter env 6
2155         - 16  # rls2101 NDRPDR iter env 6
2156         - 17  # rls2101 NDRPDR iter env 6
2157         - 18  # rls2101 NDRPDR iter env 6
2158         - 19  # rls2101 NDRPDR iter env 6
2159         - 20  # rls2101 NDRPDR iter env 6
2160         - 21  # rls2101 NDRPDR iter env 6
2161     dpdk-compare-testbeds-cmp:
2162       csit-dpdk-perf-report-iterative-2101-3n-skx:
2163         - 12  # rls2101 NDRPDR iter env 6
2164         - 14  # rls2101 NDRPDR iter env 6
2165         - 15  # rls2101 NDRPDR iter env 6
2166         - 17  # rls2101 NDRPDR iter env 6
2167         - 19  # rls2101 NDRPDR iter env 6
2168         - 20  # rls2101 NDRPDR iter env 6
2169         - 21  # rls2101 NDRPDR iter env 6
2170         - 22  # rls2101 NDRPDR iter env 6
2171         - 25  # rls2101 NDRPDR iter env 6
2172         - 26  # rls2101 NDRPDR iter env 6
2173
2174     dpdk-compare-testbeds-skx-clx-ref:
2175       csit-dpdk-perf-report-iterative-2101-2n-skx:
2176         - 11  # rls2101 NDRPDR iter env 6
2177         - 12  # rls2101 NDRPDR iter env 6
2178         - 13  # rls2101 NDRPDR iter env 6
2179         - 14  # rls2101 NDRPDR iter env 6
2180         - 15  # rls2101 NDRPDR iter env 6
2181         - 17  # rls2101 NDRPDR iter env 6
2182         - 18  # rls2101 NDRPDR iter env 6
2183         - 19  # rls2101 NDRPDR iter env 6
2184         - 20  # rls2101 NDRPDR iter env 6
2185         - 21  # rls2101 NDRPDR iter env 6
2186     dpdk-compare-testbeds-skx-clx-cmp:
2187       csit-dpdk-perf-report-iterative-2101-2n-clx:
2188         - 12  # rls2101 NDRPDR iter env 6
2189         - 13  # rls2101 NDRPDR iter env 6
2190         - 14  # rls2101 NDRPDR iter env 6
2191         - 18  # rls2101 NDRPDR iter env 6
2192         - 22  # rls2101 NDRPDR iter env 6
2193
2194     # Compare topologies
2195
2196     vpp-compare-topologies-ref:
2197       csit-vpp-perf-report-iterative-2101-3n-skx:
2198         - 36  # rls2101.rel NDRPDR iter env 6
2199         - 37  # rls2101.rel NDRPDR iter env 6
2200         - 38  # rls2101.rel NDRPDR iter env 6
2201         - 39  # rls2101.rel NDRPDR iter env 6
2202         - 40  # rls2101.rel NDRPDR iter env 6
2203         - 41  # rls2101.rel NDRPDR iter env 6
2204         - 42  # rls2101.rel NDRPDR iter env 6
2205         - 47  # rls2101.rel NDRPDR iter env 6
2206         - 48  # rls2101.rel NDRPDR iter env 6
2207         - 50  # rls2101.rel NDRPDR iter env 6
2208     vpp-compare-topologies-cmp:
2209       csit-vpp-perf-report-iterative-2101-2n-skx:
2210         - 63  # rls2101.rel NDRPDR iter env 6
2211         - 69  # rls2101.rel NDRPDR iter env 6
2212         - 70  # rls2101.rel NDRPDR iter env 6
2213         - 75  # rls2101.rel NDRPDR iter env 6
2214         - 76  # rls2101.rel NDRPDR iter env 6
2215         - 77  # rls2101.rel NDRPDR iter env 6
2216         - 82  # rls2101.rel NDRPDR iter env 6
2217         - 85  # rls2101.rel NDRPDR iter env 6
2218         - 86  # rls2101.rel NDRPDR iter env 6
2219         - 94  # rls2101.rel NDRPDR iter env 6
2220
2221     vpp-compare-topologies-mrr-ref:
2222       csit-vpp-perf-report-iterative-2101-3n-skx:
2223         - 35  # rls2101.rel MRR iter env 6
2224     vpp-compare-topologies-mrr-cmp:
2225       csit-vpp-perf-report-iterative-2101-2n-skx:
2226         - 62  # rls2101.rel MRR iter env 6
2227
2228     dpdk-compare-topologies-ref:
2229       csit-dpdk-perf-report-iterative-2101-3n-skx:
2230         - 12  # rls2101 NDRPDR iter env 6
2231         - 14  # rls2101 NDRPDR iter env 6
2232         - 15  # rls2101 NDRPDR iter env 6
2233         - 17  # rls2101 NDRPDR iter env 6
2234         - 19  # rls2101 NDRPDR iter env 6
2235         - 20  # rls2101 NDRPDR iter env 6
2236         - 21  # rls2101 NDRPDR iter env 6
2237         - 22  # rls2101 NDRPDR iter env 6
2238         - 25  # rls2101 NDRPDR iter env 6
2239         - 26  # rls2101 NDRPDR iter env 6
2240     dpdk-compare-topologies-cmp:
2241       csit-dpdk-perf-report-iterative-2101-2n-skx:
2242         - 11  # rls2101 NDRPDR iter env 6
2243         - 12  # rls2101 NDRPDR iter env 6
2244         - 13  # rls2101 NDRPDR iter env 6
2245         - 14  # rls2101 NDRPDR iter env 6
2246         - 15  # rls2101 NDRPDR iter env 6
2247         - 17  # rls2101 NDRPDR iter env 6
2248         - 18  # rls2101 NDRPDR iter env 6
2249         - 19  # rls2101 NDRPDR iter env 6
2250         - 20  # rls2101 NDRPDR iter env 6
2251         - 21  # rls2101 NDRPDR iter env 6
2252
2253   plot-layouts:
2254
2255     plot-soak-throughput:
2256       titlefont:
2257         size: 16
2258       xaxis:
2259         title: "<b>Test Cases [Index]</b>"
2260         titlefont:
2261           size: 14
2262         autorange: True
2263         fixedrange: False
2264         gridcolor: "rgb(230, 230, 230)"
2265         linecolor: "rgb(220, 220, 220)"
2266         linewidth: 1
2267         showgrid: True
2268         showline: True
2269         showticklabels: True
2270         tickcolor: "rgb(220, 220, 220)"
2271         tickmode: "linear"
2272         tickfont:
2273           size: 14
2274         zeroline: False
2275       yaxis:
2276         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
2277         titlefont:
2278           size: 14
2279         gridcolor: "rgb(230, 230, 230)"
2280         hoverformat: ".4r"
2281         tickformat: ".3r"
2282         linecolor: "rgb(220, 220, 220)"
2283         linewidth: 1
2284         showgrid: True
2285         showline: True
2286         showticklabels: True
2287         tickcolor: "rgb(220, 220, 220)"
2288         tickfont:
2289           size: 14
2290         zeroline: False
2291         range: [0,50]
2292       autosize: False
2293       margin:
2294         t: 50
2295         b: 0
2296         l: 80
2297         r: 20
2298       showlegend: True
2299       legend:
2300         orientation: "h"
2301         font:
2302           size: 14
2303       width: 700
2304       height: 900
2305       paper_bgcolor: "#fff"
2306       plot_bgcolor: "#fff"
2307       hoverlabel:
2308         namelength: -1
2309
2310     plot-service-density:
2311       titlefont:
2312         size: 16
2313       xaxis:
2314         side: "top"
2315         autorange: True
2316         fixedrange: False
2317         showgrid: False
2318         showline: False
2319         showticklabels: False
2320         ticks: ""
2321         ticklen: 0
2322         tickwidth: 0
2323         zeroline: False
2324       yaxis:
2325         autorange: "reversed"
2326         showgrid: False
2327         showline: False
2328         showticklabels: False
2329         ticks: ""
2330         ticklen: 0
2331         tickwidth: 0
2332         zeroline: False
2333       showlegend: False
2334       paper_bgcolor: "#fff"
2335       plot_bgcolor: "#fff"
2336       width: 700
2337       height: 700
2338       hoverlabel:
2339         namelength: -1
2340
2341     plot-hoststack:
2342       titlefont:
2343         size: 16
2344       xaxis:
2345         title: "<b>Test Cases [Index]</b>"
2346         titlefont:
2347           size: 14
2348         autorange: True
2349         fixedrange: False
2350         gridcolor: "rgb(230, 230, 230)"
2351         linecolor: "rgb(220, 220, 220)"
2352         linewidth: 1
2353         showgrid: True
2354         showline: True
2355         showticklabels: True
2356         tickcolor: "rgb(220, 220, 220)"
2357         tickmode: "linear"
2358         tickfont:
2359           size: 14
2360         zeroline: False
2361       yaxis:
2362         title: "<b>Bandwidth [Gbps]</b>"
2363         titlefont:
2364           size: 14
2365         gridcolor: "rgb(230, 230, 230)"
2366         hoverformat: ".4s"
2367         linecolor: "rgb(220, 220, 220)"
2368         linewidth: 1
2369         rangemode: "tozero"
2370         showgrid: True
2371         showline: True
2372         showticklabels: True
2373         tickcolor: "rgb(230, 230, 230)"
2374         tickformat: ".3s"
2375         tickfont:
2376           size: 14
2377         zeroline: False
2378       autosize: False
2379       margin:
2380         t: 50
2381         b: 20
2382         l: 80
2383         r: 20
2384       showlegend: True
2385       legend:
2386         orientation: "h"
2387         font:
2388           size: 14
2389       width: 700
2390       height: 800
2391       paper_bgcolor: "#fff"
2392       plot_bgcolor: "#fff"
2393       hoverlabel:
2394         namelength: -1
2395
2396     plot-throughput:
2397       titlefont:
2398         size: 16
2399       xaxis:
2400         title: "<b>Test Cases [Index]</b>"
2401         titlefont:
2402           size: 14
2403         autorange: True
2404         fixedrange: False
2405         gridcolor: "rgb(230, 230, 230)"
2406         linecolor: "rgb(220, 220, 220)"
2407         linewidth: 1
2408         showgrid: True
2409         showline: True
2410         showticklabels: True
2411         tickcolor: "rgb(220, 220, 220)"
2412         tickmode: "linear"
2413         tickfont:
2414           size: 14
2415         zeroline: False
2416       yaxis:
2417         title: "<b>Packet Throughput [Mpps]</b>"
2418         titlefont:
2419           size: 14
2420         gridcolor: "rgb(230, 230, 230)"
2421         hoverformat: ".4r"
2422         tickformat: ".3r"
2423         linecolor: "rgb(220, 220, 220)"
2424         linewidth: 1
2425         showgrid: True
2426         showline: True
2427         showticklabels: True
2428         tickcolor: "rgb(220, 220, 220)"
2429         tickfont:
2430           size: 14
2431         zeroline: False
2432         range: [0,50]
2433       autosize: False
2434       margin:
2435         t: 50
2436         b: 0
2437         l: 80
2438         r: 20
2439       showlegend: True
2440       legend:
2441         orientation: "h"
2442         font:
2443           size: 14
2444       width: 700
2445       height: 900
2446       paper_bgcolor: "#fff"
2447       plot_bgcolor: "#fff"
2448       hoverlabel:
2449         namelength: -1
2450
2451     plot-throughput-gbps:
2452       titlefont:
2453         size: 16
2454       xaxis:
2455         title: "<b>Test Cases [Index]</b>"
2456         titlefont:
2457           size: 14
2458         autorange: True
2459         fixedrange: False
2460         gridcolor: "rgb(230, 230, 230)"
2461         linecolor: "rgb(220, 220, 220)"
2462         linewidth: 1
2463         showgrid: True
2464         showline: True
2465         showticklabels: True
2466         tickcolor: "rgb(220, 220, 220)"
2467         tickmode: "linear"
2468         tickfont:
2469           size: 14
2470         zeroline: False
2471       yaxis:
2472         title: "<b>Packet Throughput [Gbps]</b>"
2473         titlefont:
2474           size: 14
2475         gridcolor: "rgb(230, 230, 230)"
2476         hoverformat: ".4r"
2477         tickformat: ".3r"
2478         linecolor: "rgb(220, 220, 220)"
2479         linewidth: 1
2480         showgrid: True
2481         showline: True
2482         showticklabels: True
2483         tickcolor: "rgb(220, 220, 220)"
2484         tickfont:
2485           size: 14
2486         zeroline: False
2487         range: [0,10]
2488       autosize: False
2489       margin:
2490         t: 50
2491         b: 0
2492         l: 80
2493         r: 20
2494       showlegend: True
2495       legend:
2496         orientation: "h"
2497         font:
2498           size: 14
2499       width: 700
2500       height: 900
2501       paper_bgcolor: "#fff"
2502       plot_bgcolor: "#fff"
2503       hoverlabel:
2504         namelength: -1
2505
2506     plot-cps:
2507       titlefont:
2508         size: 16
2509       xaxis:
2510         title: "<b>Test Cases [Index]</b>"
2511         titlefont:
2512           size: 14
2513         autorange: True
2514         fixedrange: False
2515         gridcolor: "rgb(230, 230, 230)"
2516         linecolor: "rgb(220, 220, 220)"
2517         linewidth: 1
2518         showgrid: True
2519         showline: True
2520         showticklabels: True
2521         tickcolor: "rgb(220, 220, 220)"
2522         tickmode: "linear"
2523         tickfont:
2524           size: 14
2525         zeroline: False
2526       yaxis:
2527         title: "<b>Connection Rate [Mcps]</b>"
2528         titlefont:
2529           size: 14
2530         gridcolor: "rgb(230, 230, 230)"
2531         hoverformat: ".4r"
2532         tickformat: ".3s"
2533         linecolor: "rgb(220, 220, 220)"
2534         linewidth: 1
2535         showgrid: True
2536         showline: True
2537         showticklabels: True
2538         tickcolor: "rgb(220, 220, 220)"
2539         tickfont:
2540           size: 14
2541         zeroline: False
2542         range: [0,10]
2543       autosize: False
2544       margin:
2545         t: 50
2546         b: 0
2547         l: 80
2548         r: 20
2549       showlegend: True
2550       legend:
2551         orientation: "h"
2552         font:
2553           size: 14
2554       width: 700
2555       height: 900
2556       paper_bgcolor: "#fff"
2557       plot_bgcolor: "#fff"
2558       hoverlabel:
2559         namelength: -1
2560
2561     plot-throughput-speedup-analysis:
2562       titlefont:
2563         size: 16
2564       xaxis:
2565         title: "<b>Number of Cores [Qty]</b>"
2566         titlefont:
2567           size: 14
2568         autorange: True
2569         fixedrange: False
2570         gridcolor: "rgb(230, 230, 230)"
2571         linecolor: "rgb(220, 220, 220)"
2572         linewidth: 1
2573         showgrid: True
2574         showline: True
2575         showticklabels: True
2576         tickcolor: "rgb(238, 238, 238)"
2577         tickmode: "linear"
2578         tickfont:
2579           size: 14
2580         zeroline: False
2581       yaxis:
2582         title: "<b>Packet Throughput [Mpps]</b>"
2583         titlefont:
2584           size: 14
2585         type: "linear"
2586         gridcolor: "rgb(230, 230, 230)"
2587         hoverformat: ".4s"
2588         linecolor: "rgb(220, 220, 220)"
2589         linewidth: 1
2590         showgrid: True
2591         showline: True
2592         showticklabels: True
2593         tickcolor: "rgb(220, 220, 220)"
2594         tickformat: ".4s"
2595         tickfont:
2596           size: 14
2597         zeroline: True
2598         rangemode: "tozero"
2599         range: [0,100]
2600       legend:
2601         orientation: "h"
2602         font:
2603           size: 14
2604         xanchor: "left"
2605         yanchor: "top"
2606         x: 0
2607         y: -0.2
2608         bgcolor: "rgba(255, 255, 255, 0)"
2609         bordercolor: "rgba(255, 255, 255, 0)"
2610         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2611       autosize: False
2612       margin:
2613           't': 50
2614           'b': 150
2615           'l': 85
2616           'r': 10
2617       showlegend: True
2618       width: 700
2619       height: 700
2620       paper_bgcolor: "#fff"
2621       plot_bgcolor: "#fff"
2622       hoverlabel:
2623         namelength: -1
2624       annotations: [
2625         {
2626           text: "_ _          __          ...",
2627           align: "left",
2628           showarrow: False,
2629           xref: "paper",
2630           yref: "paper",
2631           xanchor: "left",
2632           yanchor: "top",
2633           x: 0,
2634           y: -0.14,
2635           font: {
2636             family: "Consolas, Courier New",
2637             size: 13
2638           },
2639         },
2640         {
2641           text: "    Perfect     Measured     Limit",
2642           align: "left",
2643           showarrow: False,
2644           xref: "paper",
2645           yref: "paper",
2646           xanchor: "left",
2647           yanchor: "top",
2648           x: 0,
2649           y: -0.15,
2650           font: {
2651             family: "Consolas, Courier New",
2652             size: 13
2653           },
2654         },
2655       ]
2656
2657     plot-throughput-speedup-analysis-gbps:
2658       titlefont:
2659         size: 16
2660       xaxis:
2661         title: "<b>Number of Cores [Qty]</b>"
2662         titlefont:
2663           size: 14
2664         autorange: True
2665         fixedrange: False
2666         gridcolor: "rgb(230, 230, 230)"
2667         linecolor: "rgb(220, 220, 220)"
2668         linewidth: 1
2669         showgrid: True
2670         showline: True
2671         showticklabels: True
2672         tickcolor: "rgb(238, 238, 238)"
2673         tickmode: "linear"
2674         tickfont:
2675           size: 14
2676         zeroline: False
2677       yaxis:
2678         title: "<b>Packet Throughput [Gbps]</b>"
2679         titlefont:
2680           size: 14
2681         type: "linear"
2682         gridcolor: "rgb(230, 230, 230)"
2683         hoverformat: ".4s"
2684         linecolor: "rgb(220, 220, 220)"
2685         linewidth: 1
2686         showgrid: True
2687         showline: True
2688         showticklabels: True
2689         tickcolor: "rgb(220, 220, 220)"
2690         tickformat: ".4s"
2691         tickfont:
2692           size: 14
2693         zeroline: True
2694         rangemode: "tozero"
2695         range: [0,100]
2696       legend:
2697         orientation: "h"
2698         font:
2699           size: 14
2700         xanchor: "left"
2701         yanchor: "top"
2702         x: 0
2703         y: -0.2
2704         bgcolor: "rgba(255, 255, 255, 0)"
2705         bordercolor: "rgba(255, 255, 255, 0)"
2706         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2707       autosize: False
2708       margin:
2709           't': 50
2710           'b': 150
2711           'l': 85
2712           'r': 10
2713       showlegend: True
2714       width: 700
2715       height: 700
2716       paper_bgcolor: "#fff"
2717       plot_bgcolor: "#fff"
2718       hoverlabel:
2719         namelength: -1
2720       annotations: [
2721         {
2722           text: "_ _          __",
2723           align: "left",
2724           showarrow: False,
2725           xref: "paper",
2726           yref: "paper",
2727           xanchor: "left",
2728           yanchor: "top",
2729           x: 0,
2730           y: -0.13,
2731           font: {
2732             family: "Consolas, Courier New",
2733             size: 13
2734           },
2735         },
2736         {
2737           text: "    Perfect     Measured",
2738           align: "left",
2739           showarrow: False,
2740           xref: "paper",
2741           yref: "paper",
2742           xanchor: "left",
2743           yanchor: "top",
2744           x: 0,
2745           y: -0.15,
2746           font: {
2747             family: "Consolas, Courier New",
2748             size: 13
2749           },
2750         },
2751       ]
2752
2753     plot-throughput-speedup-analysis-cps:
2754       titlefont:
2755         size: 16
2756       xaxis:
2757         title: "<b>Number of Cores [Qty]</b>"
2758         titlefont:
2759           size: 14
2760         autorange: True
2761         fixedrange: False
2762         gridcolor: "rgb(230, 230, 230)"
2763         linecolor: "rgb(220, 220, 220)"
2764         linewidth: 1
2765         showgrid: True
2766         showline: True
2767         showticklabels: True
2768         tickcolor: "rgb(238, 238, 238)"
2769         tickmode: "linear"
2770         tickfont:
2771           size: 14
2772         zeroline: False
2773       yaxis:
2774         title: "<b>Connection Rate [Mcps]</b>"
2775         titlefont:
2776           size: 14
2777         type: "linear"
2778         gridcolor: "rgb(230, 230, 230)"
2779         hoverformat: ".4s"
2780         linecolor: "rgb(220, 220, 220)"
2781         linewidth: 1
2782         showgrid: True
2783         showline: True
2784         showticklabels: True
2785         tickcolor: "rgb(220, 220, 220)"
2786         tickformat: ".4s"
2787         tickfont:
2788           size: 14
2789         zeroline: True
2790         rangemode: "tozero"
2791         range: [0,100]
2792       legend:
2793         orientation: "h"
2794         font:
2795           size: 14
2796         xanchor: "left"
2797         yanchor: "top"
2798         x: 0
2799         y: -0.2
2800         bgcolor: "rgba(255, 255, 255, 0)"
2801         bordercolor: "rgba(255, 255, 255, 0)"
2802         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2803       autosize: False
2804       margin:
2805           't': 50
2806           'b': 150
2807           'l': 85
2808           'r': 10
2809       showlegend: True
2810       width: 700
2811       height: 700
2812       paper_bgcolor: "#fff"
2813       plot_bgcolor: "#fff"
2814       hoverlabel:
2815         namelength: -1
2816       annotations: [
2817         {
2818           text: "_ _          __",
2819           align: "left",
2820           showarrow: False,
2821           xref: "paper",
2822           yref: "paper",
2823           xanchor: "left",
2824           yanchor: "top",
2825           x: 0,
2826           y: -0.13,
2827           font: {
2828             family: "Consolas, Courier New",
2829             size: 13
2830           },
2831         },
2832         {
2833           text: "    Perfect     Measured",
2834           align: "left",
2835           showarrow: False,
2836           xref: "paper",
2837           yref: "paper",
2838           xanchor: "left",
2839           yanchor: "top",
2840           x: 0,
2841           y: -0.15,
2842           font: {
2843             family: "Consolas, Courier New",
2844             size: 13
2845           },
2846         },
2847       ]
2848
2849     plot-latency:
2850       titlefont:
2851         size: 16
2852       xaxis:
2853         title: "<b>Direction</b>"
2854         titlefont:
2855           size: 14
2856         autorange: True
2857         fixedrange: False
2858         gridcolor: "rgb(230, 230, 230)"
2859         linecolor: "rgb(220, 220, 220)"
2860         linewidth: 1
2861         showgrid: True
2862         showline: True
2863         showticklabels: False
2864         tickcolor: "rgb(220, 220, 220)"
2865         tickmode: "linear"
2866         tickfont:
2867           size: 14
2868         zeroline: False
2869       yaxis:
2870         title: "<b>Packet Latency [uSec]</b>"
2871         titlefont:
2872           size: 14
2873         type: "linear"
2874         gridcolor: "rgb(230, 230, 230)"
2875         hoverformat: ".4s"
2876         linecolor: "rgb(220, 220, 220)"
2877         linewidth: 1
2878         showgrid: True
2879         showline: True
2880         showticklabels: True
2881         tickcolor: "rgb(220, 220, 220)"
2882         tickformat: ".4s"
2883         tickfont:
2884           size: 14
2885         zeroline: True
2886         rangemode: "tozero"
2887       legend:
2888         orientation: "h"
2889         font:
2890           size: 14
2891         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2892       autosize: False
2893       margin:
2894           't': 50
2895           'b': 150
2896           'l': 80
2897           'r': 10
2898       showlegend: True
2899       width: 700
2900       height: 700
2901       paper_bgcolor: "#fff"
2902       plot_bgcolor: "#fff"
2903       hoverlabel:
2904         namelength: -1
2905
2906     plot-hdrh-latency:
2907       title:
2908         text: ""
2909         xanchor: "center"
2910         x: 0.5
2911         font:
2912           size: 16
2913       width: 700
2914       plot_bgcolor: "white"
2915       annotations:
2916         - font:
2917             size: 14
2918           showarrow: False
2919           text: "<b>Packet Latency [uSec]</b>"
2920           x: 1
2921           xanchor: "right"
2922           xref: "paper"
2923           y: -0.045
2924           yanchor: "top"
2925           yref: "paper"
2926         - font:
2927             size: 14
2928           showarrow: False
2929           text: "<b>Probability [%]</b>"
2930           textangle: 270
2931           x: -0.06
2932           xanchor: "center"
2933           xref: "paper"
2934           y: 0.5
2935           yanchor: "middle"
2936           yref: "paper"
2937         - font:
2938             size: 14
2939           showarrow: False
2940           text: "<b>Direction: E-W</b>"
2941           x: 0.24
2942           xanchor: "center"
2943           xref: "paper"
2944           y: 1.05
2945           yanchor: "bottom"
2946           yref: "paper"
2947         - font:
2948             size: 14
2949           showarrow: False
2950           text: "<b>Direction: W-E</b>"
2951           x: 0.74
2952           xanchor: "center"
2953           xref: "paper"
2954           y: 1.05
2955           yanchor: "bottom"
2956           yref: "paper"
2957
2958     plot-hdrh-latency-percentile-x-log:
2959       title:
2960         text: "<b>Latency by Percentile Distribution</b>"
2961         xanchor: "center"
2962         x: 0.5
2963         font:
2964           size: 18
2965       showlegend: True
2966       legend:
2967         traceorder: "normal"
2968         orientation: "h"
2969         font:
2970           size: 16
2971         xanchor: "left"
2972         yanchor: "top"
2973         x: 0
2974         y: -0.2
2975         bgcolor: "rgba(255, 255, 255, 0)"
2976         bordercolor: "rgba(255, 255, 255, 0)"
2977       xaxis:
2978         type: "log"
2979         title: "<b>Percentile [%]</b>"
2980         titlefont:
2981           size: 14
2982         autorange: False
2983         fixedrange: True
2984         gridcolor: "rgb(230, 230, 230)"
2985         linecolor: "rgb(220, 220, 220)"
2986         linewidth: 1
2987         showgrid: True
2988         showline: True
2989         showticklabels: True
2990         tickcolor: "rgb(220, 220, 220)"
2991         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2992         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2993         tickfont:
2994           size: 14
2995       yaxis:
2996         title: "<b>One-Way Latency per Direction [uSec]</b>"
2997         titlefont:
2998           size: 14
2999         gridcolor: "rgb(230, 230, 230)"
3000         linecolor: "rgb(220, 220, 220)"
3001         linewidth: 1
3002         showgrid: True
3003         showline: True
3004         showticklabels: True
3005         tickcolor: "rgb(220, 220, 220)"
3006         tickfont:
3007           size: 14
3008       autosize: False
3009       width: 700
3010       height: 700
3011       paper_bgcolor: "white"
3012       plot_bgcolor: "white"
3013
3014     plot-hdrh-latency-by-percentile:
3015       title:
3016         text: "<b>Latency by Percentile Distribution</b>"
3017         xanchor: "center"
3018         x: 0.5
3019         font:
3020           size: 18
3021       showlegend: True
3022       legend:
3023         traceorder: "normal"
3024         orientation: "h"
3025         font:
3026           size: 16
3027         xanchor: "left"
3028         yanchor: "top"
3029         x: 0
3030         y: -0.2
3031         bgcolor: "rgba(255, 255, 255, 0)"
3032         bordercolor: "rgba(255, 255, 255, 0)"
3033       xaxis:
3034         type: "linear"
3035         title: "<b>Percentile [%]</b>"
3036         titlefont:
3037           size: 14
3038         autorange: False
3039         fixedrange: False
3040         range: [0, 100]
3041         gridcolor: "rgb(230, 230, 230)"
3042         linecolor: "rgb(220, 220, 220)"
3043         linewidth: 1
3044         showgrid: True
3045         showline: True
3046         showticklabels: True
3047         tickcolor: "rgb(220, 220, 220)"
3048         tickvals: [0, 25, 50, 75, 100]
3049         ticktext: [0, 25, 50, 75, 100]
3050         tickfont:
3051           size: 14
3052       yaxis:
3053         title: "<b>One-Way Latency per Direction [uSec]</b>"
3054         titlefont:
3055           size: 14
3056         gridcolor: "rgb(230, 230, 230)"
3057         linecolor: "rgb(220, 220, 220)"
3058         linewidth: 1
3059         showgrid: True
3060         showline: True
3061         showticklabels: True
3062         tickcolor: "rgb(220, 220, 220)"
3063         tickfont:
3064           size: 14
3065       width: 700
3066       height: 700
3067       paper_bgcolor: "white"
3068       plot_bgcolor: "white"
3069
3070 - type: "static"
3071   src-path: "{DIR[RST]}"
3072   dst-path: "{DIR[WORKING,SRC]}"
3073
3074 - type: "input"
3075   general:
3076     file-name: "output_info.xml.gz"
3077     file-format: ".gz"
3078     arch-file-format:
3079       - ".gz"
3080       - ".zip"
3081     download-path: "{job}/{build}/archives/{filename}"
3082     extract: "output.xml"
3083
3084     zip-file-name: "robot-plugin.zip"
3085     zip-file-format: ".zip"
3086     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
3087     zip-extract: "robot-plugin/output.xml"
3088
3089   builds:
3090
3091     csit-vpp-perf-report-iterative-2009-3n-hsw:
3092       - 18  # rls2005 MRR iter env 5
3093       - 9   # rls2005 NDRPDR iter env 5
3094       - 10  # rls2005 NDRPDR iter env 5
3095       - 11  # rls2005 NDRPDR iter env 5
3096       - 12  # rls2005 NDRPDR iter env 5
3097       - 13  # rls2005 NDRPDR iter env 5
3098       - 14  # rls2005 NDRPDR iter env 5
3099       - 15  # rls2005 NDRPDR iter env 5
3100       - 16  # rls2005 NDRPDR iter env 5
3101       - 17  # rls2005 NDRPDR iter env 5
3102       - 19  # rls2005 NDRPDR iter env 5
3103       - 23  # rls2009 MRR iter env 5
3104       - 21  # rls2009 NDRPDR iter env 5
3105       - 22  # rls2009 NDRPDR iter env 5
3106       - 24  # rls2009 NDRPDR iter env 5
3107       - 25  # rls2009 NDRPDR iter env 5
3108       - 26  # rls2009 NDRPDR iter env 5
3109       - 27  # rls2009 NDRPDR iter env 5
3110       - 28  # rls2009 NDRPDR iter env 5
3111       - 29  # rls2009 NDRPDR iter env 5
3112       - 30  # rls2009 NDRPDR iter env 5
3113       - 31  # rls2009 NDRPDR iter env 5
3114     csit-vpp-perf-report-iterative-2101-3n-hsw:
3115       - 17  # rls2009 MRR iter env 6
3116       - 19  # rls2009 NDRPDR iter env 6
3117       - 20  # rls2009 NDRPDR iter env 6
3118       - 21  # rls2009 NDRPDR iter env 6
3119       - 22  # rls2009 NDRPDR iter env 6
3120       - 23  # rls2009 NDRPDR iter env 6
3121       - 24  # rls2009 NDRPDR iter env 6
3122       - 25  # rls2009 NDRPDR iter env 6
3123       - 26  # rls2009 NDRPDR iter env 6
3124       - 27  # rls2009 NDRPDR iter env 6
3125       - 63  # rls2101.rel MRR iter env 6
3126       - 64  # rls2101.rel NDRPDR iter env 6
3127       - 71  # rls2101.rel NDRPDR iter env 6
3128       - 73  # rls2101.rel NDRPDR iter env 6
3129       - 74  # rls2101.rel NDRPDR iter env 6
3130       - 80  # rls2101.rel NDRPDR iter env 6
3131       - 81  # rls2101.rel NDRPDR iter env 6
3132       - 82  # rls2101.rel NDRPDR iter env 6
3133       - 83  # rls2101.rel NDRPDR iter env 6
3134       - 88  # rls2101.rel NDRPDR iter env 6
3135       - 89  # rls2101.rel NDRPDR iter env 6
3136       - 128 # rls2101.rel NDRPDR iter RND env 6
3137       - 129 # rls2101.rel NDRPDR iter RND env 6
3138       - 130 # rls2101.rel NDRPDR iter RND env 6
3139       - 131 # rls2101.rel NDRPDR iter RND env 6
3140       - 132 # rls2101.rel NDRPDR iter RND env 6
3141       - 133 # rls2101.rel NDRPDR iter RND env 6
3142       - 134 # rls2101.rel NDRPDR iter RND env 6
3143       - 135 # rls2101.rel NDRPDR iter RND env 6
3144       - 136 # rls2101.rel NDRPDR iter RND env 6
3145       - 137 # rls2101.rel NDRPDR iter RND env 6
3146       - 65  # rls2101.rel NDRPDR reconf iter env 6
3147       - 68  # rls2101.rel NDRPDR reconf iter env 6
3148       - 77  # rls2101.rel NDRPDR reconf iter env 6
3149       - 84  # rls2101.rel NDRPDR reconf iter env 6
3150       - 90  # rls2101.rel NDRPDR reconf iter env 6
3151       - 96  # rls2101.rel NDRPDR reconf iter env 6
3152       - 101 # rls2101.rel NDRPDR reconf iter env 6
3153       - 104 # rls2101.rel NDRPDR reconf iter env 6
3154       - 105 # rls2101.rel NDRPDR reconf iter env 6
3155       - 106 # rls2101.rel NDRPDR reconf iter env 6
3156       - 107 # rls2101.rel NDRPDR reconf iter env 6
3157       - 108 # rls2101.rel NDRPDR reconf iter env 6
3158       - 110 # rls2101.rel NDRPDR reconf iter env 6
3159       - 111 # rls2101.rel NDRPDR reconf iter env 6
3160       - 112 # rls2101.rel NDRPDR reconf iter env 6
3161       - 113 # rls2101.rel NDRPDR reconf iter env 6
3162       - 114 # rls2101.rel NDRPDR reconf iter env 6
3163       - 115 # rls2101.rel NDRPDR reconf iter env 6
3164       - 116 # rls2101.rel NDRPDR reconf iter env 6
3165       - 117 # rls2101.rel NDRPDR reconf iter env 6
3166       - 69  # rls2101.rel Hoststack iter env 6
3167       - 70  # rls2101.rel Hoststack iter env 6
3168       - 75  # rls2101.rel Hoststack iter env 6
3169       - 76  # rls2101.rel Hoststack iter env 6
3170       - 78  # rls2101.rel Hoststack iter env 6
3171       - 79  # rls2101.rel Hoststack iter env 6
3172       - 85  # rls2101.rel Hoststack iter env 6
3173       - 86  # rls2101.rel Hoststack iter env 6
3174       - 87  # rls2101.rel Hoststack iter env 6
3175       - 91  # rls2101.rel Hoststack iter env 6
3176       - 92  # rls2101.rel Hoststack iter env 6
3177       - 93  # rls2101.rel Hoststack iter env 6
3178       - 94  # rls2101.rel Hoststack iter env 6
3179       - 95  # rls2101.rel Hoststack iter env 6
3180       - 97  # rls2101.rel Hoststack iter env 6
3181       - 98  # rls2101.rel Hoststack iter env 6
3182       - 99  # rls2101.rel Hoststack iter env 6
3183       - 100 # rls2101.rel Hoststack iter env 6
3184       - 102 # rls2101.rel Hoststack iter env 6
3185       - 103 # rls2101.rel Hoststack iter env 6
3186     csit-vpp-perf-report-coverage-2101-3n-hsw:
3187       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
3188       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
3189       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
3190       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
3191       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
3192       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
3193       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
3194       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
3195       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
3196       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
3197       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
3198       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
3199       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
3200       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
3201       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
3202       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
3203       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
3204       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
3205       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
3206       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
3207       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
3208       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
3209       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
3210       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
3211       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
3212       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
3213       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
3214       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
3215       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
3216       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
3217       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
3218       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
3219       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
3220       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
3221       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
3222
3223
3224     csit-vpp-perf-report-iterative-2009-3n-skx:
3225       - 17  # rls2005 MRR iter env 5
3226       - 13  # rls2005 NDRPDR iter env 5
3227       - 18  # rls2005 NDRPDR iter env 5
3228       - 19  # rls2005 NDRPDR iter env 5
3229       - 41  # rls2005 NDRPDR iter env 5
3230       - 43  # rls2005 NDRPDR iter env 5
3231       - 44  # rls2005 NDRPDR iter env 5
3232       - 45  # rls2005 NDRPDR iter env 5
3233       - 46  # rls2005 NDRPDR iter env 5
3234       - 48  # rls2005 NDRPDR iter env 5
3235       - 49  # rls2005 NDRPDR iter env 5
3236       - 24  # rls2009 MRR iter env 5
3237       - 26  # rls2009 NDRPDR iter env 5
3238       - 27  # rls2009 NDRPDR iter env 5
3239       - 28  # rls2009 NDRPDR iter env 5
3240       - 29  # rls2009 NDRPDR iter env 5
3241       - 35  # rls2009 NDRPDR iter env 5
3242       - 36  # rls2009 NDRPDR iter env 5
3243       - 37  # rls2009 NDRPDR iter env 5
3244       - 38  # rls2009 NDRPDR iter env 5
3245       - 39  # rls2009 NDRPDR iter env 5
3246       - 40  # rls2009 NDRPDR iter env 5
3247     csit-vpp-perf-report-iterative-2101-3n-skx:
3248       - 34  # rls2009 MRR iter env 6
3249       - 14  # rls2009 NDRPDR iter env 6
3250       - 15  # rls2009 NDRPDR iter env 6
3251       - 16  # rls2009 NDRPDR iter env 6
3252       - 17  # rls2009 NDRPDR iter env 6
3253       - 18  # rls2009 NDRPDR iter env 6
3254       - 25  # rls2009 NDRPDR iter env 6
3255       - 26  # rls2009 NDRPDR iter env 6
3256       - 27  # rls2009 NDRPDR iter env 6
3257       - 29  # rls2009 NDRPDR iter env 6
3258       - 31  # rls2009 NDRPDR iter env 6
3259       - 35  # rls2101.rel MRR iter env 6
3260       - 36  # rls2101.rel NDRPDR iter env 6
3261       - 37  # rls2101.rel NDRPDR iter env 6
3262       - 38  # rls2101.rel NDRPDR iter env 6
3263       - 39  # rls2101.rel NDRPDR iter env 6
3264       - 40  # rls2101.rel NDRPDR iter env 6
3265       - 41  # rls2101.rel NDRPDR iter env 6
3266       - 42  # rls2101.rel NDRPDR iter env 6
3267       - 47  # rls2101.rel NDRPDR iter env 6
3268       - 48  # rls2101.rel NDRPDR iter env 6
3269       - 50  # rls2101.rel NDRPDR iter env 6
3270     csit-vpp-perf-report-coverage-2101-3n-skx:
3271       - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
3272       - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
3273       - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
3274       - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
3275       - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
3276       - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
3277       - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
3278       - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
3279       - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
3280       - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
3281       - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
3282       - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
3283       - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
3284       - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
3285       - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
3286       - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
3287       - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
3288       - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
3289       - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
3290       - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
3291       - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
3292       - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
3293       - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
3294       - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
3295       - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
3296       - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
3297       - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
3298       - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
3299       - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
3300       - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
3301       - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
3302       - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
3303       - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
3304       - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
3305       - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
3306       - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
3307
3308     csit-vpp-perf-report-iterative-2009-2n-skx:
3309       - 20  # rls2005 MRR iter env 5
3310       - 13  # rls2005 NDRPDR iter env 5
3311       - 16  # rls2005 NDRPDR iter env 5
3312       - 17  # rls2005 NDRPDR iter env 5
3313       - 18  # rls2005 NDRPDR iter env 5
3314       - 19  # rls2005 NDRPDR iter env 5
3315       - 21  # rls2005 NDRPDR iter env 5
3316       - 22  # rls2005 NDRPDR iter env 5
3317       - 23  # rls2005 NDRPDR iter env 5
3318       - 24  # rls2005 NDRPDR iter env 5
3319       - 25  # rls2005 NDRPDR iter env 5
3320       - 120 # rls2009 MRR iter env 5
3321       - 35  # rls2009 NDRPDR iter env 5
3322       - 36  # rls2009 NDRPDR iter env 5
3323       - 37  # rls2009 NDRPDR iter env 5
3324       - 39  # rls2009 NDRPDR iter env 5
3325       - 40  # rls2009 NDRPDR iter env 5
3326       - 42  # rls2009 NDRPDR iter env 5
3327       - 43  # rls2009 NDRPDR iter env 5
3328       - 44  # rls2009 NDRPDR iter env 5
3329       - 46  # rls2009 NDRPDR iter env 5
3330       - 48  # rls2009 NDRPDR iter env 5
3331       - 110 # rls2009 NDRPDR iter NAT44 env 5
3332       - 111 # rls2009 NDRPDR iter NAT44 env 5
3333       - 112 # rls2009 NDRPDR iter NAT44 env 5
3334       - 113 # rls2009 NDRPDR iter NAT44 env 5
3335       - 114 # rls2009 NDRPDR iter NAT44 env 5
3336       - 115 # rls2009 NDRPDR iter NAT44 env 5
3337       - 116 # rls2009 NDRPDR iter NAT44 env 5
3338       - 118 # rls2009 NDRPDR iter NAT44 env 5
3339       - 119 # rls2009 NDRPDR iter NAT44 env 5
3340       - 121 # rls2009 NDRPDR iter NAT44 env 5
3341     csit-vpp-perf-report-iterative-2101-2n-skx:
3342       - 21  # rls2009 MRR iter env 6
3343       - 22  # rls2009 NDRPDR iter env 6
3344       - 23  # rls2009 NDRPDR iter env 6
3345       - 24  # rls2009 NDRPDR iter env 6
3346       - 25  # rls2009 NDRPDR iter env 6
3347       - 26  # rls2009 NDRPDR iter env 6
3348       - 28  # rls2009 NDRPDR iter env 6
3349       - 39  # rls2009 NDRPDR iter env 6
3350       - 40  # rls2009 NDRPDR iter env 6
3351       - 41  # rls2009 NDRPDR iter env 6
3352       - 44  # rls2009 NDRPDR iter env 6
3353       - 62  # rls2101.rel MRR iter env 6
3354       - 63  # rls2101.rel NDRPDR iter env 6
3355       - 69  # rls2101.rel NDRPDR iter env 6
3356       - 70  # rls2101.rel NDRPDR iter env 6
3357       - 75  # rls2101.rel NDRPDR iter env 6
3358       - 76  # rls2101.rel NDRPDR iter env 6
3359       - 77  # rls2101.rel NDRPDR iter env 6
3360       - 82  # rls2101.rel NDRPDR iter env 6
3361       - 85  # rls2101.rel NDRPDR iter env 6
3362       - 86  # rls2101.rel NDRPDR iter env 6
3363       - 94  # rls2101.rel NDRPDR iter env 6
3364       - 89  # rls2101.rel NDRPDR iter RND env 6
3365       - 90  # rls2101.rel NDRPDR iter RND env 6
3366       - 91  # rls2101.rel NDRPDR iter RND env 6
3367       - 92  # rls2101.rel NDRPDR iter RND env 6
3368       - 93  # rls2101.rel NDRPDR iter RND env 6
3369       - 96  # rls2101.rel NDRPDR iter RND env 6
3370       - 98  # rls2101.rel NDRPDR iter RND env 6
3371       - 99  # rls2101.rel NDRPDR iter RND env 6
3372       - 101 # rls2101.rel NDRPDR iter RND env 6
3373       - 102 # rls2101.rel NDRPDR iter RND env 6
3374       - 116 # rls2101.rel NDRPDR iter NAT env 6
3375       - 117 # rls2101.rel NDRPDR iter NAT env 6
3376       - 118 # rls2101.rel NDRPDR iter NAT env 6
3377       - 119 # rls2101.rel NDRPDR iter NAT env 6
3378       - 120 # rls2101.rel NDRPDR iter NAT env 6
3379       - 121 # rls2101.rel NDRPDR iter NAT env 6
3380       - 122 # rls2101.rel NDRPDR iter NAT env 6
3381       - 123 # rls2101.rel NDRPDR iter NAT env 6
3382       - 124 # rls2101.rel NDRPDR iter NAT env 6
3383       - 125 # rls2101.rel NDRPDR iter NAT env 6
3384       - 65  # rls2101.rel MRR nf-density iter env 6
3385       - 67  # rls2101.rel NDRPDR nf-density iter env 6
3386       - 72  # rls2101.rel NDRPDR nf-density iter env 6
3387       - 79  # rls2101.rel NDRPDR nf-density iter env 6
3388       - 83  # rls2101.rel NDRPDR nf-density iter env 6
3389       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3390       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3391       - 103 # rls2101.rel NDRPDR nf-density iter env 6
3392       - 108 # rls2101.rel NDRPDR nf-density iter env 6
3393       - 109 # rls2101.rel NDRPDR nf-density iter env 6
3394       - 110 # rls2101.rel NDRPDR nf-density iter env 6
3395       - 64  # rls2101.rel NDRPDR reconf iter env 6
3396       - 66  # rls2101.rel NDRPDR reconf iter env 6
3397       - 71  # rls2101.rel NDRPDR reconf iter env 6
3398       - 74  # rls2101.rel NDRPDR reconf iter env 6
3399       - 78  # rls2101.rel NDRPDR reconf iter env 6
3400       - 87  # rls2101.rel NDRPDR reconf iter env 6
3401       - 95  # rls2101.rel NDRPDR reconf iter env 6
3402       - 100 # rls2101.rel NDRPDR reconf iter env 6
3403       - 104 # rls2101.rel NDRPDR reconf iter env 6
3404       - 106 # rls2101.rel NDRPDR reconf iter env 6
3405       - 68  # rls2101.rel soak env 6
3406       - 73  # rls2101.rel soak env 6
3407     csit-vpp-perf-report-coverage-2101-2n-skx:
3408       - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
3409       - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
3410       - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
3411       - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
3412       - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
3413       - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
3414       - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
3415       - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
3416       - 21  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
3417       - 22  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
3418       - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
3419       - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
3420       - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
3421       - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
3422       - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
3423       - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
3424       - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
3425       - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
3426       - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
3427
3428     csit-vpp-perf-report-iterative-2009-2n-clx:
3429       - 77  # rls2005 MRR iter env 5
3430       - 13  # rls2005 NDRPDR iter env 5
3431       - 15  # rls2005 NDRPDR iter env 5
3432       - 17  # rls2005 NDRPDR iter env 5
3433       - 18  # rls2005 NDRPDR iter env 5
3434       - 19  # rls2005 NDRPDR iter env 5
3435       - 20  # rls2005 NDRPDR iter env 5
3436       - 21  # rls2005 NDRPDR iter env 5
3437       - 22  # rls2005 NDRPDR iter env 5
3438       - 23  # rls2005 NDRPDR iter env 5
3439       - 24  # rls2005 NDRPDR iter env 5
3440       - 125 # rls2009 MRR iter env 5
3441       - 36  # rls2009 NDRPDR iter env 5
3442       - 39  # rls2009 NDRPDR iter env 5
3443       - 40  # rls2009 NDRPDR iter env 5
3444       - 65  # rls2009 NDRPDR iter env 5
3445       - 66  # rls2009 NDRPDR iter env 5
3446       - 79  # rls2009 NDRPDR iter env 5
3447       - 82  # rls2009 NDRPDR iter env 5
3448       - 88  # rls2009 NDRPDR iter env 5
3449       - 89  # rls2009 NDRPDR iter env 5
3450       - 90  # rls2009 NDRPDR iter env 5
3451       - 114 # rls2009 NDRPDR iter NAT44 env 5
3452       - 115 # rls2009 NDRPDR iter NAT44 env 5
3453       - 116 # rls2009 NDRPDR iter NAT44 env 5
3454       - 117 # rls2009 NDRPDR iter NAT44 env 5
3455       - 118 # rls2009 NDRPDR iter NAT44 env 5
3456       - 119 # rls2009 NDRPDR iter NAT44 env 5
3457       - 121 # rls2009 NDRPDR iter NAT44 env 5
3458       - 122 # rls2009 NDRPDR iter NAT44 env 5
3459       - 123 # rls2009 NDRPDR iter NAT44 env 5
3460       - 126 # rls2009 NDRPDR iter NAT44 env 5
3461     csit-vpp-perf-report-iterative-2101-2n-clx:
3462       - 15  # rls2009 MRR iter env 6
3463       - 142 # rls2009 MRR MLX iter env 6
3464       - 16  # rls2009 NDRPDR iter env 6
3465       - 17  # rls2009 NDRPDR iter env 6
3466       - 18  # rls2009 NDRPDR iter env 6
3467       - 19  # rls2009 NDRPDR iter env 6
3468       - 20  # rls2009 NDRPDR iter env 6
3469       - 21  # rls2009 NDRPDR iter env 6
3470       - 32  # rls2009 NDRPDR iter env 6
3471       - 33  # rls2009 NDRPDR iter env 6
3472       - 34  # rls2009 NDRPDR iter env 6
3473       - 35  # rls2009 NDRPDR iter env 6
3474       - 146 # rls2009 NDRPDR MLX iter env 6
3475       - 147 # rls2009 NDRPDR MLX iter env 6
3476       - 148 # rls2009 NDRPDR MLX iter env 6
3477       - 149 # rls2009 NDRPDR MLX iter env 6
3478       - 53  # rls2101.rel MRR iter env 6
3479       - 133 # rls2101.rel MRR MLX iter env 6
3480       - 54  # rls2101.rel NDRPDR iter env 6
3481       - 59  # rls2101.rel NDRPDR iter env 6
3482       - 60  # rls2101.rel NDRPDR iter env 6
3483       - 63  # rls2101.rel NDRPDR iter env 6
3484       - 66  # rls2101.rel NDRPDR iter env 6
3485       - 68  # rls2101.rel NDRPDR iter env 6
3486       - 73  # rls2101.rel NDRPDR iter env 6
3487       - 75  # rls2101.rel NDRPDR iter env 6
3488       - 86  # rls2101.rel NDRPDR iter env 6
3489       - 90  # rls2101.rel NDRPDR iter env 6
3490       - 80  # rls2101.rel NDRPDR iter RND env 6
3491       - 87  # rls2101.rel NDRPDR iter RND env 6
3492       - 91  # rls2101.rel NDRPDR iter RND env 6
3493       - 92  # rls2101.rel NDRPDR iter RND env 6
3494       - 93  # rls2101.rel NDRPDR iter RND env 6
3495       - 94  # rls2101.rel NDRPDR iter RND env 6
3496       - 95  # rls2101.rel NDRPDR iter RND env 6
3497       - 100 # rls2101.rel NDRPDR iter RND env 6
3498       - 106 # rls2101.rel NDRPDR iter RND env 6
3499       - 108 # rls2101.rel NDRPDR iter RND env 6
3500       - 112 # rls2101.rel NDRPDR iter NAT env 6
3501       - 113 # rls2101.rel NDRPDR iter NAT env 6
3502       - 114 # rls2101.rel NDRPDR iter NAT env 6
3503       - 115 # rls2101.rel NDRPDR iter NAT env 6
3504       - 116 # rls2101.rel NDRPDR iter NAT env 6
3505       - 117 # rls2101.rel NDRPDR iter NAT env 6
3506       - 118 # rls2101.rel NDRPDR iter NAT env 6
3507       - 119 # rls2101.rel NDRPDR iter NAT env 6
3508       - 120 # rls2101.rel NDRPDR iter NAT env 6
3509       - 121 # rls2101.rel NDRPDR iter NAT env 6
3510       - 122 # rls2101.rel NDRPDR iter MLX env 6
3511       - 123 # rls2101.rel NDRPDR iter MLX env 6
3512       - 124 # rls2101.rel NDRPDR iter MLX env 6
3513       - 126 # rls2101.rel NDRPDR iter MLX env 6
3514       - 127 # rls2101.rel NDRPDR iter MLX env 6
3515       - 128 # rls2101.rel NDRPDR iter MLX env 6
3516       - 129 # rls2101.rel NDRPDR iter MLX env 6
3517       - 130 # rls2101.rel NDRPDR iter MLX env 6
3518       - 131 # rls2101.rel NDRPDR iter MLX env 6
3519       - 132 # rls2101.rel NDRPDR iter MLX env 6
3520       - 72  # rls2101.rel MRR nf-density iter env 6
3521       - 57  # rls2101.rel NDRPDR nf-density iter env 6
3522       - 62  # rls2101.rel NDRPDR nf-density iter env 6
3523       - 70  # rls2101.rel NDRPDR nf-density iter env 6
3524       - 71  # rls2101.rel NDRPDR nf-density iter env 6
3525       - 82  # rls2101.rel NDRPDR nf-density iter env 6
3526       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3527       - 89  # rls2101.rel NDRPDR nf-density iter env 6
3528       - 96  # rls2101.rel NDRPDR nf-density iter env 6
3529       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3530       - 98  # rls2101.rel NDRPDR nf-density iter env 6
3531       - 55  # rls2101.rel NDRPDR reconf iter env 6
3532       - 64  # rls2101.rel NDRPDR reconf iter env 6
3533       - 76  # rls2101.rel NDRPDR reconf iter env 6
3534       - 83  # rls2101.rel NDRPDR reconf iter env 6
3535       - 99  # rls2101.rel NDRPDR reconf iter env 6
3536       - 101 # rls2101.rel NDRPDR reconf iter env 6
3537       - 102 # rls2101.rel NDRPDR reconf iter env 6
3538       - 107 # rls2101.rel NDRPDR reconf iter env 6
3539       - 109 # rls2101.rel NDRPDR reconf iter env 6
3540       - 110 # rls2101.rel NDRPDR reconf iter env 6
3541       - 58  # rls2101.rel soak env 6
3542       - 61  # rls2101.rel soak env 6
3543     csit-vpp-perf-report-coverage-2101-2n-clx:
3544       - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
3545       - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
3546       - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
3547       - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
3548       - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
3549       - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
3550       - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
3551       - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
3552       - 19  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
3553       - 20  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
3554       - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
3555       - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
3556       - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
3557       - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
3558       - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
3559       - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
3560       - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
3561       - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
3562       - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
3563
3564     csit-vpp-perf-report-iterative-2009-2n-zn2:
3565       - 15  # rls2009 MRR iter env 5
3566       - 17  # rls2009 NDRPDR iter env 5
3567       - 18  # rls2009 NDRPDR iter env 5
3568       - 31  # rls2009 NDRPDR iter env 5
3569       - 33  # rls2009 NDRPDR iter env 5
3570   &nb