resources/tools/presentation/specification.yaml

   1 - type: "environment"
   2
   3   paths:
   4     # Top level directories:
   5     ## Working directory
   6     DIR[WORKING]: "_tmp"
   7     ## Build directories
   8     DIR[BUILD,HTML]: "_build"
   9     DIR[BUILD,LATEX]: "_build_latex"
  10
  11     # Static .rst files
  12     DIR[RST]: "../../../docs/report"
  13
  14     # Working directories
  15     ## Input data files (.zip, .xml)
  16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
  17     ## Static source files from git
  18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
  19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
  20
  21     # Static html content
  22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
  23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
  24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
  25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
  26
  27     # Detailed test results
  28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
  29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
  30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
  31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
  32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
  33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
  34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
  35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
  36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
  37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
  38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
  39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
  40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
  41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
  42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
  43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
  44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
  45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
  46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
  47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
  48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
  49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
  50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
  51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
  52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
  53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
  54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
  55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
  56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
  57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
  58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
  59
  60     # Detailed test configurations
  61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
  62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
  63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
  64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
  65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
  66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
  67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
  68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
  69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
  70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
  71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
  72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
  73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
  74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
  75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
  76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
  77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
  78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
  79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
  80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
  81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
  82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
  83
  84     # Detailed tests operational data
  85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
  86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
  87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
  88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
  89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
  90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
  91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
  92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
  93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
  94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
  95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
  96
  97     # Latencies:
  98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
  99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
 100
 101     # .css patch file to fix tables generated by Sphinx
 102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
 103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
 104
 105   urls:
 106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
 107     URL[S3_STORAGE,LOG]: "https://logs.nginx.service.consul/vex-yul-rot-jenkins-1"
 108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
 109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
 110     DIR[NEXUS,DOC]: "report/_static/archive"
 111
 112   make-dirs:
 113   # List the directories which are created while preparing the environment.
 114   # All directories MUST be defined in "paths" section.
 115   - "DIR[WORKING,DATA]"
 116   - "DIR[STATIC,VPP]"
 117   - "DIR[STATIC,DPDK]"
 118   - "DIR[STATIC,ARCH]"
 119   - "DIR[BUILD,LATEX]"
 120   - "DIR[WORKING,SRC]"
 121   - "DIR[WORKING,SRC,STATIC]"
 122
 123   remove-dirs:
 124   # List the directories which are deleted while cleaning the environment.
 125   # All directories MUST be defined in "paths" section.
 126   #- "DIR[BUILD,HTML]"
 127   - "DIR[WORKING,DATA]"
 128
 129   build-dirs:
 130   # List the directories where the results (build) is stored.
 131   # All directories MUST be defined in "paths" section.
 132   - "DIR[BUILD,HTML]"
 133   - "DIR[BUILD,LATEX]"
 134
 135 - type: "configuration"
 136
 137   mapping-file: "mapping_report.yaml"
 138
 139   limits:
 140     nic:
 141       x520: 24460000
 142       x553: 29761905
 143       x710: 35800000
 144       xxv710: 35800000
 145       xl710: 35800000
 146       cx556a: 148809523.81
 147
 148     link:
 149       10ge: 14880952.38
 150       25ge: 37202380.95
 151       40ge: 59523809.52
 152       100ge: 148809523.81
 153
 154     pci:
 155       pci-g3-x8: 74404761.90
 156       pci-g3-x16: 148809523.81
 157
 158   data-sets:
 159
 160     ###########################################################################
 161     # Plots:
 162
 163     # 3n-hsw
 164
 165     plot-vpp-throughput-lat-tsa-3n-hsw:
 166       csit-vpp-perf-report-iterative-2101-3n-hsw:
 167         - 64  # rls2101.rel NDRPDR iter env 6
 168         - 71  # rls2101.rel NDRPDR iter env 6
 169         - 73  # rls2101.rel NDRPDR iter env 6
 170         - 74  # rls2101.rel NDRPDR iter env 6
 171         - 80  # rls2101.rel NDRPDR iter env 6
 172         - 81  # rls2101.rel NDRPDR iter env 6
 173         - 82  # rls2101.rel NDRPDR iter env 6
 174         - 83  # rls2101.rel NDRPDR iter env 6
 175         - 88  # rls2101.rel NDRPDR iter env 6
 176         - 89  # rls2101.rel NDRPDR iter env 6
 177         - 128 # rls2101.rel NDRPDR iter RND env 6
 178         - 129 # rls2101.rel NDRPDR iter RND env 6
 179         - 130 # rls2101.rel NDRPDR iter RND env 6
 180         - 131 # rls2101.rel NDRPDR iter RND env 6
 181         - 132 # rls2101.rel NDRPDR iter RND env 6
 182         - 133 # rls2101.rel NDRPDR iter RND env 6
 183         - 134 # rls2101.rel NDRPDR iter RND env 6
 184         - 135 # rls2101.rel NDRPDR iter RND env 6
 185         - 136 # rls2101.rel NDRPDR iter RND env 6
 186         - 137 # rls2101.rel NDRPDR iter RND env 6
 187
 188     plot-vpp-hdrh-lat-3n-hsw:
 189       csit-vpp-perf-report-iterative-2101-3n-hsw:
 190         - 89  # rls2101.rel NDRPDR iter env 6
 191
 192     plot-vpp-hdrh-lat-3n-hsw-rnd:
 193       csit-vpp-perf-report-iterative-2101-3n-hsw:
 194         - 128 # rls2101.rel NDRPDR iter RND env 6
 195
 196     plot-vpp-ipsec-reconf-3n-hsw:
 197       csit-vpp-perf-report-iterative-2101-3n-hsw:
 198         - 65  # rls2101.rel NDRPDR reconf iter env 6
 199         - 68  # rls2101.rel NDRPDR reconf iter env 6
 200         - 77  # rls2101.rel NDRPDR reconf iter env 6
 201         - 84  # rls2101.rel NDRPDR reconf iter env 6
 202         - 90  # rls2101.rel NDRPDR reconf iter env 6
 203         - 96  # rls2101.rel NDRPDR reconf iter env 6
 204         - 101 # rls2101.rel NDRPDR reconf iter env 6
 205         - 104 # rls2101.rel NDRPDR reconf iter env 6
 206         - 105 # rls2101.rel NDRPDR reconf iter env 6
 207         - 106 # rls2101.rel NDRPDR reconf iter env 6
 208         - 107 # rls2101.rel NDRPDR reconf iter env 6
 209         - 108 # rls2101.rel NDRPDR reconf iter env 6
 210         - 110 # rls2101.rel NDRPDR reconf iter env 6
 211         - 111 # rls2101.rel NDRPDR reconf iter env 6
 212         - 112 # rls2101.rel NDRPDR reconf iter env 6
 213         - 113 # rls2101.rel NDRPDR reconf iter env 6
 214         - 114 # rls2101.rel NDRPDR reconf iter env 6
 215         - 115 # rls2101.rel NDRPDR reconf iter env 6
 216         - 116 # rls2101.rel NDRPDR reconf iter env 6
 217         - 117 # rls2101.rel NDRPDR reconf iter env 6
 218
 219     plot-vpp-hoststack-3n-hsw:
 220       csit-vpp-perf-report-iterative-2101-3n-hsw:
 221         - 69  # rls2101.rel Hoststack iter env 6
 222         - 70  # rls2101.rel Hoststack iter env 6
 223         - 75  # rls2101.rel Hoststack iter env 6
 224         - 76  # rls2101.rel Hoststack iter env 6
 225         - 78  # rls2101.rel Hoststack iter env 6
 226         - 79  # rls2101.rel Hoststack iter env 6
 227         - 85  # rls2101.rel Hoststack iter env 6
 228         - 86  # rls2101.rel Hoststack iter env 6
 229         - 87  # rls2101.rel Hoststack iter env 6
 230         - 91  # rls2101.rel Hoststack iter env 6
 231         - 92  # rls2101.rel Hoststack iter env 6
 232         - 93  # rls2101.rel Hoststack iter env 6
 233         - 94  # rls2101.rel Hoststack iter env 6
 234         - 95  # rls2101.rel Hoststack iter env 6
 235         - 97  # rls2101.rel Hoststack iter env 6
 236         - 98  # rls2101.rel Hoststack iter env 6
 237         - 99  # rls2101.rel Hoststack iter env 6
 238         - 100 # rls2101.rel Hoststack iter env 6
 239         - 102 # rls2101.rel Hoststack iter env 6
 240         - 103 # rls2101.rel Hoststack iter env 6
 241
 242     plot-dpdk-throughput-latency-3n-hsw:
 243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 244         - 11  # rls2101 NDRPDR iter env 6
 245         - 12  # rls2101 NDRPDR iter env 6
 246         - 13  # rls2101 NDRPDR iter env 6
 247         - 14  # rls2101 NDRPDR iter env 6
 248         - 16  # rls2101 NDRPDR iter env 6
 249         - 17  # rls2101 NDRPDR iter env 6
 250         - 18  # rls2101 NDRPDR iter env 6
 251         - 19  # rls2101 NDRPDR iter env 6
 252         - 20  # rls2101 NDRPDR iter env 6
 253         - 21  # rls2101 NDRPDR iter env 6
 254
 255     plot-dpdk-hdrh-lat-3n-hsw:
 256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
 257         - 11  # rls2101 NDRPDR iter env 6
 258
 259     # 3n-skx
 260
 261     plot-vpp-throughput-lat-tsa-3n-skx:
 262       csit-vpp-perf-report-iterative-2101-3n-skx:
 263         - 36  # rls2101.rel NDRPDR iter env 6
 264         - 37  # rls2101.rel NDRPDR iter env 6
 265         - 38  # rls2101.rel NDRPDR iter env 6
 266         - 39  # rls2101.rel NDRPDR iter env 6
 267         - 40  # rls2101.rel NDRPDR iter env 6
 268         - 41  # rls2101.rel NDRPDR iter env 6
 269         - 42  # rls2101.rel NDRPDR iter env 6
 270         - 47  # rls2101.rel NDRPDR iter env 6
 271         - 48  # rls2101.rel NDRPDR iter env 6
 272         - 50  # rls2101.rel NDRPDR iter env 6
 273
 274     plot-vpp-hdrh-lat-3n-skx:
 275       csit-vpp-perf-report-iterative-2101-3n-skx:
 276         - 36  # rls2101.rel NDRPDR iter env 6
 277
 278 #    plot-vpp-nfv-3n-skx-ndrpdr:
 279 #      # No data
 280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
 281
 282 #    plot-vpp-nfv-3n-skx-mrr:
 283 #      # No data
 284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
 285
 286     plot-dpdk-throughput-latency-3n-skx:
 287       csit-dpdk-perf-report-iterative-2101-3n-skx:
 288         - 12  # rls2101 NDRPDR iter env 6
 289         - 14  # rls2101 NDRPDR iter env 6
 290         - 15  # rls2101 NDRPDR iter env 6
 291         - 17  # rls2101 NDRPDR iter env 6
 292         - 19  # rls2101 NDRPDR iter env 6
 293         - 20  # rls2101 NDRPDR iter env 6
 294         - 21  # rls2101 NDRPDR iter env 6
 295         - 22  # rls2101 NDRPDR iter env 6
 296         - 25  # rls2101 NDRPDR iter env 6
 297         - 26  # rls2101 NDRPDR iter env 6
 298
 299     plot-dpdk-hdrh-lat-3n-skx:
 300       csit-dpdk-perf-report-iterative-2101-3n-skx:
 301         - 12  # rls2101 NDRPDR iter env 6
 302
 303     # 2n-skx
 304
 305     plot-vpp-throughput-lat-tsa-2n-skx:
 306       csit-vpp-perf-report-iterative-2101-2n-skx:
 307         - 63  # rls2101.rel NDRPDR iter env 6
 308         - 69  # rls2101.rel NDRPDR iter env 6
 309         - 70  # rls2101.rel NDRPDR iter env 6
 310         - 75  # rls2101.rel NDRPDR iter env 6
 311         - 76  # rls2101.rel NDRPDR iter env 6
 312         - 77  # rls2101.rel NDRPDR iter env 6
 313         - 82  # rls2101.rel NDRPDR iter env 6
 314         - 85  # rls2101.rel NDRPDR iter env 6
 315         - 86  # rls2101.rel NDRPDR iter env 6
 316         - 94  # rls2101.rel NDRPDR iter env 6
 317         - 89  # rls2101.rel NDRPDR iter RND env 6
 318         - 90  # rls2101.rel NDRPDR iter RND env 6
 319         - 91  # rls2101.rel NDRPDR iter RND env 6
 320         - 92  # rls2101.rel NDRPDR iter RND env 6
 321         - 93  # rls2101.rel NDRPDR iter RND env 6
 322         - 96  # rls2101.rel NDRPDR iter RND env 6
 323         - 98  # rls2101.rel NDRPDR iter RND env 6
 324         - 99  # rls2101.rel NDRPDR iter RND env 6
 325         - 101 # rls2101.rel NDRPDR iter RND env 6
 326         - 102 # rls2101.rel NDRPDR iter RND env 6
 327         - 116 # rls2101.rel NDRPDR iter NAT env 6
 328         - 117 # rls2101.rel NDRPDR iter NAT env 6
 329         - 118 # rls2101.rel NDRPDR iter NAT env 6
 330         - 119 # rls2101.rel NDRPDR iter NAT env 6
 331         - 120 # rls2101.rel NDRPDR iter NAT env 6
 332         - 121 # rls2101.rel NDRPDR iter NAT env 6
 333         - 122 # rls2101.rel NDRPDR iter NAT env 6
 334         - 123 # rls2101.rel NDRPDR iter NAT env 6
 335         - 124 # rls2101.rel NDRPDR iter NAT env 6
 336         - 125 # rls2101.rel NDRPDR iter NAT env 6
 337
 338     plot-vpp-hdrh-lat-2n-skx:
 339       csit-vpp-perf-report-iterative-2101-2n-skx:
 340         - 94  # rls2101.rel NDRPDR iter env 6
 341
 342     plot-vpp-hdrh-lat-2n-skx-rnd:
 343       csit-vpp-perf-report-iterative-2101-2n-skx:
 344         - 89  # rls2101.rel NDRPDR iter RND env 6
 345
 346     plot-vpp-hdrh-lat-2n-skx-nat:
 347       csit-vpp-perf-report-iterative-2101-2n-skx:
 348         - 118 # rls2101.rel NDRPDR iter NAT env 6
 349
 350     plot-vpp-soak-2n-skx:
 351       csit-vpp-perf-report-iterative-2101-2n-skx:
 352         - 68  # rls2101.rel soak env 6
 353         - 73  # rls2101.rel soak env 6
 354
 355     plot-vpp-nfv-2n-skx-ndrpdr:
 356       csit-vpp-perf-report-iterative-2101-2n-skx:
 357         - 67  # rls2101.rel NDRPDR nf-density iter env 6
 358         - 72  # rls2101.rel NDRPDR nf-density iter env 6
 359         - 79  # rls2101.rel NDRPDR nf-density iter env 6
 360         - 83  # rls2101.rel NDRPDR nf-density iter env 6
 361         - 88  # rls2101.rel NDRPDR nf-density iter env 6
 362         - 97  # rls2101.rel NDRPDR nf-density iter env 6
 363         - 103 # rls2101.rel NDRPDR nf-density iter env 6
 364         - 108 # rls2101.rel NDRPDR nf-density iter env 6
 365         - 109 # rls2101.rel NDRPDR nf-density iter env 6
 366         - 110 # rls2101.rel NDRPDR nf-density iter env 6
 367
 368     plot-vpp-nfv-2n-skx-mrr:
 369       csit-vpp-perf-report-iterative-2101-2n-skx:
 370         - 65  # rls2101.rel MRR nf-density iter env 6
 371
 372     plot-vpp-nfv-reconf-2n-skx:
 373       csit-vpp-perf-report-iterative-2101-2n-skx:
 374         - 64  # rls2101.rel NDRPDR reconf iter env 6
 375         - 66  # rls2101.rel NDRPDR reconf iter env 6
 376         - 71  # rls2101.rel NDRPDR reconf iter env 6
 377         - 74  # rls2101.rel NDRPDR reconf iter env 6
 378         - 78  # rls2101.rel NDRPDR reconf iter env 6
 379         - 87  # rls2101.rel NDRPDR reconf iter env 6
 380         - 95  # rls2101.rel NDRPDR reconf iter env 6
 381         - 100 # rls2101.rel NDRPDR reconf iter env 6
 382         - 104 # rls2101.rel NDRPDR reconf iter env 6
 383         - 106 # rls2101.rel NDRPDR reconf iter env 6
 384
 385     plot-vpp-gso-2n-skx:
 386       csit-vpp-perf-report-iterative-2101-2n-skx:
 387         - 129 # rls2101.rel MRR GSO iter env 6
 388
 389     plot-dpdk-throughput-latency-2n-skx:
 390       csit-dpdk-perf-report-iterative-2101-2n-skx:
 391         - 11  # rls2101 NDRPDR iter env 6
 392         - 12  # rls2101 NDRPDR iter env 6
 393         - 13  # rls2101 NDRPDR iter env 6
 394         - 14  # rls2101 NDRPDR iter env 6
 395         - 15  # rls2101 NDRPDR iter env 6
 396         - 17  # rls2101 NDRPDR iter env 6
 397         - 18  # rls2101 NDRPDR iter env 6
 398         - 19  # rls2101 NDRPDR iter env 6
 399         - 20  # rls2101 NDRPDR iter env 6
 400         - 21  # rls2101 NDRPDR iter env 6
 401
 402     plot-dpdk-hdrh-lat-2n-skx:
 403       csit-dpdk-perf-report-iterative-2101-2n-skx:
 404         - 11  # rls2101 NDRPDR iter env 6
 405
 406     # 2n-zn2
 407
 408     plot-vpp-throughput-lat-tsa-2n-zn2:
 409       csit-vpp-perf-report-iterative-2101-2n-zn2:
 410         - 31  # rls2101.rel NDRPDR iter env 6
 411         - 32  # rls2101.rel NDRPDR iter env 6
 412         - 33  # rls2101.rel NDRPDR iter env 6
 413         - 34  # rls2101.rel NDRPDR iter env 6
 414         - 35  # rls2101.rel NDRPDR iter env 6
 415         - 36  # rls2101.rel NDRPDR iter env 6
 416         - 37  # rls2101.rel NDRPDR iter env 6
 417         - 38  # rls2101.rel NDRPDR iter env 6
 418         - 44  # rls2101.rel NDRPDR iter env 6
 419         - 49  # rls2101.rel NDRPDR iter env 6
 420         - 39  # rls2101.rel NDRPDR iter RND env 6
 421         - 40  # rls2101.rel NDRPDR iter RND env 6
 422         - 41  # rls2101.rel NDRPDR iter RND env 6
 423         - 42  # rls2101.rel NDRPDR iter RND env 6
 424         - 43  # rls2101.rel NDRPDR iter RND env 6
 425         - 45  # rls2101.rel NDRPDR iter RND env 6
 426         - 48  # rls2101.rel NDRPDR iter RND env 6
 427         - 50  # rls2101.rel NDRPDR iter RND env 6
 428         - 51  # rls2101.rel NDRPDR iter RND env 6
 429         - 52  # rls2101.rel NDRPDR iter RND env 6
 430
 431     plot-vpp-hdrh-lat-2n-zn2:
 432       csit-vpp-perf-report-iterative-2101-2n-zn2:
 433         - 31  # rls2101.rel NDRPDR iter env 6
 434
 435     plot-vpp-hdrh-lat-2n-zn2-rnd:
 436       csit-vpp-perf-report-iterative-2101-2n-zn2:
 437         - 40  # rls2101.rel NDRPDR iter RND env 6
 438
 439     plot-vpp-gso-2n-zn2:
 440       csit-vpp-perf-report-iterative-2101-2n-zn2:
 441         - 56  # rls2101.rel MRR GSO iter env 6
 442
 443     plot-dpdk-throughput-latency-2n-zn2:
 444       csit-dpdk-perf-report-iterative-2101-2n-zn2:
 445         - 11  # rls2101 NDRPDR iter env 6
 446         - 12  # rls2101 NDRPDR iter env 6
 447         - 13  # rls2101 NDRPDR iter env 6
 448         - 14  # rls2101 NDRPDR iter env 6
 449         - 16  # rls2101 NDRPDR iter env 6
 450         - 17  # rls2101 NDRPDR iter env 6
 451         - 18  # rls2101 NDRPDR iter env 6
 452         - 19  # rls2101 NDRPDR iter env 6
 453         - 20  # rls2101 NDRPDR iter env 6
 454         - 21  # rls2101 NDRPDR iter env 6
 455
 456     plot-dpdk-hdrh-lat-2n-zn2:
 457       csit-dpdk-perf-report-iterative-2101-2n-zn2:
 458         - 11  # rls2101 NDRPDR iter env 6
 459
 460     # 2n-clx
 461
 462     plot-vpp-throughput-lat-tsa-2n-clx:
 463       csit-vpp-perf-report-iterative-2101-2n-clx:
 464         - 54  # rls2101.rel NDRPDR iter env 6
 465         - 59  # rls2101.rel NDRPDR iter env 6
 466         - 60  # rls2101.rel NDRPDR iter env 6
 467         - 63  # rls2101.rel NDRPDR iter env 6
 468         - 66  # rls2101.rel NDRPDR iter env 6
 469         - 68  # rls2101.rel NDRPDR iter env 6
 470         - 73  # rls2101.rel NDRPDR iter env 6
 471         - 75  # rls2101.rel NDRPDR iter env 6
 472         - 86  # rls2101.rel NDRPDR iter env 6
 473         - 90  # rls2101.rel NDRPDR iter env 6
 474         - 80  # rls2101.rel NDRPDR iter RND env 6
 475         - 87  # rls2101.rel NDRPDR iter RND env 6
 476         - 91  # rls2101.rel NDRPDR iter RND env 6
 477         - 92  # rls2101.rel NDRPDR iter RND env 6
 478         - 93  # rls2101.rel NDRPDR iter RND env 6
 479         - 94  # rls2101.rel NDRPDR iter RND env 6
 480         - 95  # rls2101.rel NDRPDR iter RND env 6
 481         - 100 # rls2101.rel NDRPDR iter RND env 6
 482         - 106 # rls2101.rel NDRPDR iter RND env 6
 483         - 108 # rls2101.rel NDRPDR iter RND env 6
 484         - 112 # rls2101.rel NDRPDR iter NAT env 6
 485         - 113 # rls2101.rel NDRPDR iter NAT env 6
 486         - 114 # rls2101.rel NDRPDR iter NAT env 6
 487         - 115 # rls2101.rel NDRPDR iter NAT env 6
 488         - 116 # rls2101.rel NDRPDR iter NAT env 6
 489         - 117 # rls2101.rel NDRPDR iter NAT env 6
 490         - 118 # rls2101.rel NDRPDR iter NAT env 6
 491         - 119 # rls2101.rel NDRPDR iter NAT env 6
 492         - 120 # rls2101.rel NDRPDR iter NAT env 6
 493         - 121 # rls2101.rel NDRPDR iter NAT env 6
 494         - 122 # rls2101.rel NDRPDR iter MLX env 6
 495         - 123 # rls2101.rel NDRPDR iter MLX env 6
 496         - 124 # rls2101.rel NDRPDR iter MLX env 6
 497         - 126 # rls2101.rel NDRPDR iter MLX env 6
 498         - 127 # rls2101.rel NDRPDR iter MLX env 6
 499         - 128 # rls2101.rel NDRPDR iter MLX env 6
 500         - 129 # rls2101.rel NDRPDR iter MLX env 6
 501         - 130 # rls2101.rel NDRPDR iter MLX env 6
 502         - 131 # rls2101.rel NDRPDR iter MLX env 6
 503         - 132 # rls2101.rel NDRPDR iter MLX env 6
 504
 505     plot-vpp-hdrh-lat-2n-clx:
 506       csit-vpp-perf-report-iterative-2101-2n-clx:
 507         - 75  # rls2101.rel NDRPDR iter env 6
 508
 509     plot-vpp-hdrh-lat-2n-clx-rnd:
 510       csit-vpp-perf-report-iterative-2101-2n-clx:
 511         - 87  # rls2101.rel NDRPDR iter RND env 6
 512
 513     plot-vpp-hdrh-lat-2n-clx-nat:
 514       csit-vpp-perf-report-iterative-2101-2n-clx:
 515         - 118 # rls2101.rel NDRPDR iter NAT env 6
 516
 517     plot-vpp-hdrh-lat-2n-clx-mlx:
 518       csit-vpp-perf-report-iterative-2101-2n-clx:
 519         - 127 # rls2101.rel NDRPDR iter MLX env 6
 520
 521     plot-vpp-nfv-2n-clx-ndrpdr:
 522       csit-vpp-perf-report-iterative-2101-2n-clx:
 523         - 57  # rls2101.rel NDRPDR nf-density iter env 6
 524         - 62  # rls2101.rel NDRPDR nf-density iter env 6
 525         - 70  # rls2101.rel NDRPDR nf-density iter env 6
 526         - 71  # rls2101.rel NDRPDR nf-density iter env 6
 527         - 82  # rls2101.rel NDRPDR nf-density iter env 6
 528         - 88  # rls2101.rel NDRPDR nf-density iter env 6
 529         - 89  # rls2101.rel NDRPDR nf-density iter env 6
 530         - 96  # rls2101.rel NDRPDR nf-density iter env 6
 531         - 97  # rls2101.rel NDRPDR nf-density iter env 6
 532         - 98  # rls2101.rel NDRPDR nf-density iter env 6
 533
 534     plot-vpp-nfv-2n-clx-mrr:
 535       csit-vpp-perf-report-iterative-2101-2n-clx:
 536         - 72  # rls2101.rel MRR nf-density iter env 6
 537
 538     plot-vpp-nfv-reconf-2n-clx:
 539       csit-vpp-perf-report-iterative-2101-2n-clx:
 540         - 55  # rls2101.rel NDRPDR reconf iter env 6
 541         - 64  # rls2101.rel NDRPDR reconf iter env 6
 542         - 76  # rls2101.rel NDRPDR reconf iter env 6
 543         - 83  # rls2101.rel NDRPDR reconf iter env 6
 544         - 99  # rls2101.rel NDRPDR reconf iter env 6
 545         - 101 # rls2101.rel NDRPDR reconf iter env 6
 546         - 102 # rls2101.rel NDRPDR reconf iter env 6
 547         - 107 # rls2101.rel NDRPDR reconf iter env 6
 548         - 109 # rls2101.rel NDRPDR reconf iter env 6
 549         - 110 # rls2101.rel NDRPDR reconf iter env 6
 550
 551     plot-vpp-soak-2n-clx:
 552       csit-vpp-perf-report-iterative-2101-2n-clx:
 553         - 58  # rls2101.rel soak env 6
 554         - 61  # rls2101.rel soak env 6
 555
 556     plot-vpp-gso-2n-clx:
 557       csit-vpp-perf-report-iterative-2101-2n-clx:
 558         - 159 # rls2101.rel MRR GSO iter env 6
 559
 560     plot-dpdk-throughput-latency-2n-clx:
 561       csit-dpdk-perf-report-iterative-2101-2n-clx:
 562         - 12  # rls2101 NDRPDR iter env 6
 563         - 13  # rls2101 NDRPDR iter env 6
 564         - 14  # rls2101 NDRPDR iter env 6
 565         - 18  # rls2101 NDRPDR iter env 6
 566         - 22  # rls2101 NDRPDR iter env 6
 567
 568     plot-dpdk-hdrh-lat-2n-clx:
 569       csit-dpdk-perf-report-iterative-2101-2n-clx:
 570         - 12  # rls2101 NDRPDR iter env 6
 571
 572     # 3n-tsh
 573
 574     plot-vpp-throughput-lat-tsa-3n-tsh:
 575       csit-vpp-perf-report-iterative-2101-3n-tsh:
 576         - 23  # rls2101.rel NDRPDR iter env 6
 577         - 24  # rls2101.rel NDRPDR iter env 6
 578         - 25  # rls2101.rel NDRPDR iter env 6
 579         - 26  # rls2101.rel NDRPDR iter env 6
 580         - 27  # rls2101.rel NDRPDR iter env 6
 581         - 28  # rls2101.rel NDRPDR iter env 6
 582         - 29  # rls2101.rel NDRPDR iter env 6
 583         - 30  # rls2101.rel NDRPDR iter env 6
 584         - 31  # rls2101.rel NDRPDR iter env 6
 585         - 32  # rls2101.rel NDRPDR iter env 6
 586
 587     plot-vpp-hdrh-lat-3n-tsh:
 588       csit-vpp-perf-report-iterative-2101-3n-tsh:
 589         - 23  # rls2101.rel NDRPDR iter env 6
 590
 591     plot-dpdk-throughput-latency-3n-tsh:
 592       csit-dpdk-perf-report-iterative-2101-3n-tsh:
 593         - 11  # rls2101 NDRPDR iter env 6
 594         - 12  # rls2101 NDRPDR iter env 6
 595         - 13  # rls2101 NDRPDR iter env 6
 596         - 14  # rls2101 NDRPDR iter env 6
 597         - 16  # rls2101 NDRPDR iter env 6
 598         - 17  # rls2101 NDRPDR iter env 6
 599         - 18  # rls2101 NDRPDR iter env 6
 600         - 19  # rls2101 NDRPDR iter env 6
 601         - 20  # rls2101 NDRPDR iter env 6
 602         - 21  # rls2101 NDRPDR iter env 6
 603
 604     plot-dpdk-hdrh-lat-3n-tsh:
 605       csit-dpdk-perf-report-iterative-2101-3n-tsh:
 606         - 21  # rls2101 NDRPDR iter env 6
 607
 608     # 2n-tx2
 609
 610     plot-vpp-throughput-lat-tsa-2n-tx2:
 611       csit-vpp-perf-report-iterative-2101-2n-tx2:
 612         - 22  # rls2101.rel NDRPDR iter env 6
 613         - 23  # rls2101.rel NDRPDR iter env 6
 614         - 24  # rls2101.rel NDRPDR iter env 6
 615         - 25  # rls2101.rel NDRPDR iter env 6
 616         - 26  # rls2101.rel NDRPDR iter env 6
 617         - 27  # rls2101.rel NDRPDR iter env 6
 618         - 28  # rls2101.rel NDRPDR iter env 6
 619         - 29  # rls2101.rel NDRPDR iter env 6
 620         - 30  # rls2101.rel NDRPDR iter env 6
 621         - 31  # rls2101.rel NDRPDR iter env 6
 622
 623     plot-vpp-hdrh-lat-2n-tx2:
 624       csit-vpp-perf-report-iterative-2101-2n-tx2:
 625         - 29  # rls2101.rel NDRPDR iter env 6
 626
 627     plot-dpdk-throughput-latency-2n-tx2:
 628       csit-dpdk-perf-report-iterative-2101-2n-tx2:
 629         - 4   # rls2101 NDRPDR iter env 6
 630         - 6   # rls2101 NDRPDR iter env 6
 631         - 7   # rls2101 NDRPDR iter env 6
 632         - 8   # rls2101 NDRPDR iter env 6
 633         - 9   # rls2101 NDRPDR iter env 6
 634         - 10  # rls2101 NDRPDR iter env 6
 635         - 11  # rls2101 NDRPDR iter env 6
 636         - 12  # rls2101 NDRPDR iter env 6
 637         - 13  # rls2101 NDRPDR iter env 6
 638         - 14  # rls2101 NDRPDR iter env 6
 639
 640     plot-dpdk-hdrh-lat-2n-tx2:
 641       csit-dpdk-perf-report-iterative-2101-2n-tx2:
 642         - 4   # rls2101 NDRPDR iter env 6
 643
 644     # 3n-dnv
 645
 646     plot-vpp-throughput-lat-tsa-3n-dnv:
 647       csit-vpp-perf-report-iterative-2101-3n-dnv:
 648         - 33  # rls2101.rel NDRPDR iter env 6
 649         - 34  # rls2101.rel NDRPDR iter env 6
 650         - 35  # rls2101.rel NDRPDR iter env 6
 651         - 36  # rls2101.rel NDRPDR iter env 6
 652         - 37  # rls2101.rel NDRPDR iter env 6
 653         - 38  # rls2101.rel NDRPDR iter env 6
 654         - 39  # rls2101.rel NDRPDR iter env 6
 655         - 40  # rls2101.rel NDRPDR iter env 6
 656         - 41  # rls2101.rel NDRPDR iter env 6
 657         - 42  # rls2101.rel NDRPDR iter env 6
 658         - 43  # rls2101.rel NDRPDR iter RND env 6
 659         - 44  # rls2101.rel NDRPDR iter RND env 6
 660         - 45  # rls2101.rel NDRPDR iter RND env 6
 661         - 46  # rls2101.rel NDRPDR iter RND env 6
 662         - 47  # rls2101.rel NDRPDR iter RND env 6
 663         - 48  # rls2101.rel NDRPDR iter RND env 6
 664         - 49  # rls2101.rel NDRPDR iter RND env 6
 665         - 50  # rls2101.rel NDRPDR iter RND env 6
 666         - 51  # rls2101.rel NDRPDR iter RND env 6
 667         - 52  # rls2101.rel NDRPDR iter RND env 6
 668
 669 #    plot-dpdk-throughput-latency-3n-dnv:
 670 #      # No data
 671 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
 672
 673     # 2n-dnv
 674
 675     plot-vpp-throughput-lat-tsa-2n-dnv:
 676       csit-vpp-perf-report-iterative-2101-2n-dnv:
 677         - 32  # rls2101.rel NDRPDR iter env 6
 678         - 33  # rls2101.rel NDRPDR iter env 6
 679         - 34  # rls2101.rel NDRPDR iter env 6
 680         - 35  # rls2101.rel NDRPDR iter env 6
 681         - 39  # rls2101.rel NDRPDR iter env 6
 682         - 41  # rls2101.rel NDRPDR iter env 6
 683         - 42  # rls2101.rel NDRPDR iter env 6
 684         - 43  # rls2101.rel NDRPDR iter env 6
 685         - 44  # rls2101.rel NDRPDR iter env 6
 686         - 45  # rls2101.rel NDRPDR iter env 6
 687         - 46  # rls2101.rel NDRPDR iter RND env 6
 688         - 47  # rls2101.rel NDRPDR iter RND env 6
 689         - 48  # rls2101.rel NDRPDR iter RND env 6
 690         - 49  # rls2101.rel NDRPDR iter RND env 6
 691         - 50  # rls2101.rel NDRPDR iter RND env 6
 692         - 51  # rls2101.rel NDRPDR iter RND env 6
 693         - 52  # rls2101.rel NDRPDR iter RND env 6
 694         - 53  # rls2101.rel NDRPDR iter RND env 6
 695         - 54  # rls2101.rel NDRPDR iter RND env 6
 696         - 55  # rls2101.rel NDRPDR iter RND env 6
 697
 698 #    plot-dpdk-throughput-latency-2n-dnv:
 699 #      # No data
 700 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
 701
 702     ###########################################################################
 703     # Simple tables (only one data set):
 704
 705     # NIC Comparisons
 706
 707     vpp-nic-comparison-3n-skx:
 708       csit-vpp-perf-report-iterative-2101-3n-skx:
 709         - 36  # rls2101.rel NDRPDR iter env 6
 710         - 37  # rls2101.rel NDRPDR iter env 6
 711         - 38  # rls2101.rel NDRPDR iter env 6
 712         - 39  # rls2101.rel NDRPDR iter env 6
 713         - 40  # rls2101.rel NDRPDR iter env 6
 714         - 41  # rls2101.rel NDRPDR iter env 6
 715         - 42  # rls2101.rel NDRPDR iter env 6
 716         - 47  # rls2101.rel NDRPDR iter env 6
 717         - 48  # rls2101.rel NDRPDR iter env 6
 718         - 50  # rls2101.rel NDRPDR iter env 6
 719
 720     vpp-nic-comparison-2n-skx:
 721       csit-vpp-perf-report-iterative-2101-2n-skx:
 722         - 63  # rls2101.rel NDRPDR iter env 6
 723         - 69  # rls2101.rel NDRPDR iter env 6
 724         - 70  # rls2101.rel NDRPDR iter env 6
 725         - 75  # rls2101.rel NDRPDR iter env 6
 726         - 76  # rls2101.rel NDRPDR iter env 6
 727         - 77  # rls2101.rel NDRPDR iter env 6
 728         - 82  # rls2101.rel NDRPDR iter env 6
 729         - 85  # rls2101.rel NDRPDR iter env 6
 730         - 86  # rls2101.rel NDRPDR iter env 6
 731         - 94  # rls2101.rel NDRPDR iter env 6
 732         - 89  # rls2101.rel NDRPDR iter RND env 6
 733         - 90  # rls2101.rel NDRPDR iter RND env 6
 734         - 91  # rls2101.rel NDRPDR iter RND env 6
 735         - 92  # rls2101.rel NDRPDR iter RND env 6
 736         - 93  # rls2101.rel NDRPDR iter RND env 6
 737         - 96  # rls2101.rel NDRPDR iter RND env 6
 738         - 98  # rls2101.rel NDRPDR iter RND env 6
 739         - 99  # rls2101.rel NDRPDR iter RND env 6
 740         - 101 # rls2101.rel NDRPDR iter RND env 6
 741         - 102 # rls2101.rel NDRPDR iter RND env 6
 742         - 116 # rls2101.rel NDRPDR iter NAT env 6
 743         - 117 # rls2101.rel NDRPDR iter NAT env 6
 744         - 118 # rls2101.rel NDRPDR iter NAT env 6
 745         - 119 # rls2101.rel NDRPDR iter NAT env 6
 746         - 120 # rls2101.rel NDRPDR iter NAT env 6
 747         - 121 # rls2101.rel NDRPDR iter NAT env 6
 748         - 122 # rls2101.rel NDRPDR iter NAT env 6
 749         - 123 # rls2101.rel NDRPDR iter NAT env 6
 750         - 124 # rls2101.rel NDRPDR iter NAT env 6
 751         - 125 # rls2101.rel NDRPDR iter NAT env 6
 752
 753     vpp-nic-comparison-3n-skx-mrr:
 754       csit-vpp-perf-report-iterative-2101-3n-skx:
 755         - 35  # rls2101.rel MRR iter env 6
 756
 757     vpp-nic-comparison-2n-skx-mrr:
 758       csit-vpp-perf-report-iterative-2101-2n-skx:
 759         - 62  # rls2101.rel MRR iter env 6
 760
 761     # Results
 762
 763     vpp-perf-results-3n-hsw:
 764       csit-vpp-perf-report-coverage-2101-3n-hsw:
 765         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
 766         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
 767         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
 768         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
 769         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
 770         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
 771         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
 772         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
 773         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
 774         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
 775         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
 776         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
 777         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
 778         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
 779         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
 780         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
 781         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
 782         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
 783         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
 784         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
 785         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
 786         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
 787         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
 788         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
 789         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
 790         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
 791         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
 792         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
 793         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
 794         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
 795         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
 796         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
 797         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
 798         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
 799         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
 800
 801     vpp-perf-results-3n-skx:
 802       csit-vpp-perf-report-coverage-2101-3n-skx:
 803         - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
 804         - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
 805         - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
 806         - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
 807         - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
 808         - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
 809         - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
 810         - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
 811         - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
 812         - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
 813         - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
 814         - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
 815         - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
 816         - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
 817         - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
 818         - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
 819         - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
 820         - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
 821         - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
 822         - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
 823         - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
 824         - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
 825         - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
 826         - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
 827         - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
 828         - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
 829         - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
 830         - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
 831         - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
 832         - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
 833         - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
 834         - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
 835         - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
 836         - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
 837         - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
 838         - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
 839
 840     vpp-perf-results-2n-skx:
 841       csit-vpp-perf-report-coverage-2101-2n-skx:
 842         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
 843         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
 844         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
 845         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
 846         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
 847         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
 848         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
 849         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
 850         - 21  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
 851         - 22  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
 852         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
 853         - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
 854         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
 855         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
 856         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
 857         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
 858         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
 859         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
 860         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
 861
 862     vpp-perf-results-2n-zn2:
 863       csit-vpp-perf-report-coverage-2101-2n-zn2:
 864         - 1   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-00
 865         - 2   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-01
 866         - 3   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-02
 867         - 4   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-03
 868         - 5   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-04
 869         - 6   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-05
 870         - 17  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-00
 871         - 18  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-01
 872         - 8   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-00
 873         - 9   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-01
 874         - 10  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-00
 875         - 11  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-01
 876         - 12  # rls2101.rel NDRPDR cov env 6 2n-zn2-lb-00
 877         - 13  # rls2101.rel NDRPDR cov env 6 2n-zn2-memif-00
 878         - 14  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
 879         - 15  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
 880         - 16  # rls2101.rel NDRPDR cov env 6 2n-zn2-vts-00
 881
 882     vpp-perf-results-2n-clx:
 883       csit-vpp-perf-report-coverage-2101-2n-clx:
 884         - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
 885         - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
 886         - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
 887         - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
 888         - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
 889         - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
 890         - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
 891         - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
 892         - 19  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
 893         - 20  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
 894         - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
 895         - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
 896         - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
 897         - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
 898         - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
 899         - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
 900         - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
 901         - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
 902         - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
 903
 904     vpp-perf-results-3n-tsh:
 905       csit-vpp-perf-report-coverage-2101-3n-tsh:
 906         - 1   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-00
 907         - 2   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-01
 908         - 3   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-02
 909         - 4   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-03
 910         - 5   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-00
 911         - 6   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-01
 912         - 7   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-00
 913         - 8   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-01
 914         - 9   # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-00
 915         - 10  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-01
 916         - 11  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-02
 917         - 12  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-03
 918         - 13  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-04
 919         - 19  # rls2101.rel NDRPDR cov env 6 3n-tsh-memif-00
 920         - 15  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-00
 921         - 16  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-01
 922         - 17  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-00
 923         - 18  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-01
 924
 925     vpp-perf-results-2n-tx2:
 926       csit-vpp-perf-report-coverage-2101-2n-tx2:
 927         - 1   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-00
 928         - 2   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-01
 929         - 3   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-02
 930         - 4   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-03
 931         - 5   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-04
 932         - 6   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-05
 933         - 7   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-06
 934         - 8   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-00
 935         - 9   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-01
 936         - 10  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-00
 937         - 11  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-01
 938         - 12  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-02
 939         - 13  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-03
 940         - 15  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-04
 941
 942     vpp-perf-results-3n-dnv:
 943       csit-vpp-perf-report-coverage-2101-3n-dnv:
 944         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
 945         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
 946         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
 947         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
 948         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
 949         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
 950         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
 951         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
 952         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
 953
 954     vpp-perf-results-2n-dnv:
 955       csit-vpp-perf-report-coverage-2101-2n-dnv:
 956         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
 957         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
 958         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
 959         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
 960         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
 961         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
 962
 963     vpp-mrr-results-3n-hsw:
 964       csit-vpp-perf-report-iterative-2101-3n-hsw:
 965         - 63  # rls2101.rel MRR iter env 6
 966
 967     vpp-mrr-results-3n-skx:
 968       csit-vpp-perf-report-iterative-2101-3n-skx:
 969         - 35  # rls2101.rel MRR iter env 6
 970
 971     vpp-mrr-results-2n-skx:
 972       csit-vpp-perf-report-iterative-2101-2n-skx:
 973         - 62  # rls2101.rel MRR iter env 6
 974
 975     vpp-mrr-results-2n-zn2:
 976       csit-vpp-perf-report-iterative-2101-2n-zn2:
 977         - 30  # rls2101.rel MRR iter env 6
 978
 979     vpp-mrr-results-2n-clx:
 980       csit-vpp-perf-report-iterative-2101-2n-clx:
 981         - 53  # rls2101.rel MRR iter env 6
 982
 983     vpp-mrr-results-3n-tsh:
 984       csit-vpp-perf-report-iterative-2101-3n-tsh:
 985         - 22  # rls2101.rel MRR iter env 6
 986
 987     vpp-mrr-results-2n-tx2:
 988       csit-vpp-perf-report-iterative-2101-2n-tx2:
 989         - 21  # rls2101.rel MRR iter env 6
 990
 991     vpp-mrr-results-3n-dnv:
 992       csit-vpp-perf-report-iterative-2101-3n-dnv:
 993         - 32  # rls2101.rel MRR iter env 6
 994
 995     vpp-mrr-results-2n-dnv:
 996       csit-vpp-perf-report-iterative-2101-2n-dnv:
 997         - 31  # rls2101.rel MRR iter env 6
 998
 999     vpp-device-results-ubuntu:
1000       csit-vpp-device-2101-ubuntu1804-1n-skx:
1001         - 358  # rls2101.rel VPP DEV env 6
1002
1003     dpdk-perf-results-3n-hsw:
1004       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1005         - 11  # rls2101 NDRPDR iter env 6
1006
1007     dpdk-perf-results-3n-skx:
1008       csit-dpdk-perf-report-iterative-2101-3n-skx:
1009         - 12  # rls2101 NDRPDR iter env 6
1010
1011     dpdk-perf-results-2n-skx:
1012       csit-dpdk-perf-report-iterative-2101-2n-skx:
1013         - 11  # rls2101 NDRPDR iter env 6
1014
1015     dpdk-perf-results-2n-zn2:
1016       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1017         - 11  # rls2101 NDRPDR iter env 6
1018
1019     dpdk-perf-results-2n-clx:
1020       csit-dpdk-perf-report-iterative-2101-2n-clx:
1021         - 12  # rls2101 NDRPDR iter env 6
1022
1023 #    dpdk-perf-results-2n-dnv:
1024 #      # No data
1025 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1026
1027 #    dpdk-perf-results-3n-dnv:
1028 #      # No data
1029 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1030
1031     dpdk-perf-results-3n-tsh:
1032       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1033         - 21  # rls2101 NDRPDR iter env 6
1034
1035     dpdk-perf-results-2n-tx2:
1036       csit-dpdk-perf-report-iterative-2101-2n-tx2:
1037         - 4   # rls2101 NDRPDR iter env 6
1038
1039 ###########################################################################
1040     # Tables (more than one data set)
1041
1042     # Performance changes
1043
1044     vpp-performance-changes-3n-hsw-h1:
1045       csit-vpp-perf-report-iterative-2009-3n-hsw:
1046         - 9   # rls2005 NDRPDR iter env 5
1047         - 10  # rls2005 NDRPDR iter env 5
1048         - 11  # rls2005 NDRPDR iter env 5
1049         - 12  # rls2005 NDRPDR iter env 5
1050         - 13  # rls2005 NDRPDR iter env 5
1051         - 14  # rls2005 NDRPDR iter env 5
1052         - 15  # rls2005 NDRPDR iter env 5
1053         - 16  # rls2005 NDRPDR iter env 5
1054         - 17  # rls2005 NDRPDR iter env 5
1055         - 19  # rls2005 NDRPDR iter env 5
1056     vpp-performance-changes-3n-hsw-ref-env-old:
1057       csit-vpp-perf-report-iterative-2009-3n-hsw:
1058         - 21  # rls2009 NDRPDR iter env 5
1059         - 22  # rls2009 NDRPDR iter env 5
1060         - 24  # rls2009 NDRPDR iter env 5
1061         - 25  # rls2009 NDRPDR iter env 5
1062         - 26  # rls2009 NDRPDR iter env 5
1063         - 27  # rls2009 NDRPDR iter env 5
1064         - 28  # rls2009 NDRPDR iter env 5
1065         - 29  # rls2009 NDRPDR iter env 5
1066         - 30  # rls2009 NDRPDR iter env 5
1067         - 31  # rls2009 NDRPDR iter env 5
1068     vpp-performance-changes-3n-hsw-ref-env-new:
1069       csit-vpp-perf-report-iterative-2101-3n-hsw:
1070         - 19  # rls2009 NDRPDR iter env 6
1071         - 20  # rls2009 NDRPDR iter env 6
1072         - 21  # rls2009 NDRPDR iter env 6
1073         - 22  # rls2009 NDRPDR iter env 6
1074         - 23  # rls2009 NDRPDR iter env 6
1075         - 24  # rls2009 NDRPDR iter env 6
1076         - 25  # rls2009 NDRPDR iter env 6
1077         - 26  # rls2009 NDRPDR iter env 6
1078         - 27  # rls2009 NDRPDR iter env 6
1079         - 28  # rls2009 NDRPDR iter env 6
1080     vpp-performance-changes-3n-hsw-cmp:
1081       csit-vpp-perf-report-iterative-2101-3n-hsw:
1082         - 64  # rls2101.rel NDRPDR iter env 6
1083         - 71  # rls2101.rel NDRPDR iter env 6
1084         - 73  # rls2101.rel NDRPDR iter env 6
1085         - 74  # rls2101.rel NDRPDR iter env 6
1086         - 80  # rls2101.rel NDRPDR iter env 6
1087         - 81  # rls2101.rel NDRPDR iter env 6
1088         - 82  # rls2101.rel NDRPDR iter env 6
1089         - 83  # rls2101.rel NDRPDR iter env 6
1090         - 88  # rls2101.rel NDRPDR iter env 6
1091         - 89  # rls2101.rel NDRPDR iter env 6
1092         - 128 # rls2101.rel NDRPDR iter RND env 6
1093         - 129 # rls2101.rel NDRPDR iter RND env 6
1094         - 130 # rls2101.rel NDRPDR iter RND env 6
1095         - 131 # rls2101.rel NDRPDR iter RND env 6
1096         - 132 # rls2101.rel NDRPDR iter RND env 6
1097         - 133 # rls2101.rel NDRPDR iter RND env 6
1098         - 134 # rls2101.rel NDRPDR iter RND env 6
1099         - 135 # rls2101.rel NDRPDR iter RND env 6
1100         - 136 # rls2101.rel NDRPDR iter RND env 6
1101         - 137 # rls2101.rel NDRPDR iter RND env 6
1102
1103     vpp-performance-changes-3n-skx-h1:
1104       csit-vpp-perf-report-iterative-2009-3n-skx:
1105         - 13  # rls2005 NDRPDR iter env 5
1106         - 18  # rls2005 NDRPDR iter env 5
1107         - 19  # rls2005 NDRPDR iter env 5
1108         - 41  # rls2005 NDRPDR iter env 5
1109         - 43  # rls2005 NDRPDR iter env 5
1110         - 44  # rls2005 NDRPDR iter env 5
1111         - 45  # rls2005 NDRPDR iter env 5
1112         - 46  # rls2005 NDRPDR iter env 5
1113         - 48  # rls2005 NDRPDR iter env 5
1114         - 49  # rls2005 NDRPDR iter env 5
1115     vpp-performance-changes-3n-skx-ref-env-old:
1116       csit-vpp-perf-report-iterative-2009-3n-skx:
1117         - 26  # rls2009 NDRPDR iter env 5
1118         - 27  # rls2009 NDRPDR iter env 5
1119         - 28  # rls2009 NDRPDR iter env 5
1120         - 29  # rls2009 NDRPDR iter env 5
1121         - 35  # rls2009 NDRPDR iter env 5
1122         - 36  # rls2009 NDRPDR iter env 5
1123         - 37  # rls2009 NDRPDR iter env 5
1124         - 38  # rls2009 NDRPDR iter env 5
1125         - 39  # rls2009 NDRPDR iter env 5
1126         - 40  # rls2009 NDRPDR iter env 5
1127     vpp-performance-changes-3n-skx-ref-env-new:
1128       csit-vpp-perf-report-iterative-2101-3n-skx:
1129         - 14  # rls2009 NDRPDR iter env 6
1130         - 15  # rls2009 NDRPDR iter env 6
1131         - 16  # rls2009 NDRPDR iter env 6
1132         - 17  # rls2009 NDRPDR iter env 6
1133         - 18  # rls2009 NDRPDR iter env 6
1134         - 25  # rls2009 NDRPDR iter env 6
1135         - 26  # rls2009 NDRPDR iter env 6
1136         - 27  # rls2009 NDRPDR iter env 6
1137         - 29  # rls2009 NDRPDR iter env 6
1138         - 31  # rls2009 NDRPDR iter env 6
1139     vpp-performance-changes-3n-skx-cmp:
1140       csit-vpp-perf-report-iterative-2101-3n-skx:
1141         - 36  # rls2101.rel NDRPDR iter env 6
1142         - 37  # rls2101.rel NDRPDR iter env 6
1143         - 38  # rls2101.rel NDRPDR iter env 6
1144         - 39  # rls2101.rel NDRPDR iter env 6
1145         - 40  # rls2101.rel NDRPDR iter env 6
1146         - 41  # rls2101.rel NDRPDR iter env 6
1147         - 42  # rls2101.rel NDRPDR iter env 6
1148         - 47  # rls2101.rel NDRPDR iter env 6
1149         - 48  # rls2101.rel NDRPDR iter env 6
1150         - 50  # rls2101.rel NDRPDR iter env 6
1151
1152     vpp-performance-changes-2n-skx-h1:
1153       csit-vpp-perf-report-iterative-2009-2n-skx:
1154         - 13  # rls2005 NDRPDR iter env 5
1155         - 16  # rls2005 NDRPDR iter env 5
1156         - 17  # rls2005 NDRPDR iter env 5
1157         - 18  # rls2005 NDRPDR iter env 5
1158         - 19  # rls2005 NDRPDR iter env 5
1159         - 21  # rls2005 NDRPDR iter env 5
1160         - 22  # rls2005 NDRPDR iter env 5
1161         - 23  # rls2005 NDRPDR iter env 5
1162         - 24  # rls2005 NDRPDR iter env 5
1163         - 25  # rls2005 NDRPDR iter env 5
1164     vpp-performance-changes-2n-skx-ref-env-old:
1165       csit-vpp-perf-report-iterative-2009-2n-skx:
1166         - 35  # rls2009 NDRPDR iter env 5
1167         - 36  # rls2009 NDRPDR iter env 5
1168         - 37  # rls2009 NDRPDR iter env 5
1169         - 39  # rls2009 NDRPDR iter env 5
1170         - 40  # rls2009 NDRPDR iter env 5
1171         - 42  # rls2009 NDRPDR iter env 5
1172         - 43  # rls2009 NDRPDR iter env 5
1173         - 44  # rls2009 NDRPDR iter env 5
1174         - 46  # rls2009 NDRPDR iter env 5
1175         - 48  # rls2009 NDRPDR iter env 5
1176         - 110 # rls2009 NDRPDR iter NAT44 env 5
1177         - 111 # rls2009 NDRPDR iter NAT44 env 5
1178         - 112 # rls2009 NDRPDR iter NAT44 env 5
1179         - 113 # rls2009 NDRPDR iter NAT44 env 5
1180         - 114 # rls2009 NDRPDR iter NAT44 env 5
1181         - 115 # rls2009 NDRPDR iter NAT44 env 5
1182         - 116 # rls2009 NDRPDR iter NAT44 env 5
1183         - 118 # rls2009 NDRPDR iter NAT44 env 5
1184         - 119 # rls2009 NDRPDR iter NAT44 env 5
1185         - 121 # rls2009 NDRPDR iter NAT44 env 5
1186     vpp-performance-changes-2n-skx-ref-env-new:
1187       csit-vpp-perf-report-iterative-2101-2n-skx:
1188         - 22  # rls2009 NDRPDR iter env 6
1189         - 23  # rls2009 NDRPDR iter env 6
1190         - 24  # rls2009 NDRPDR iter env 6
1191         - 25  # rls2009 NDRPDR iter env 6
1192         - 26  # rls2009 NDRPDR iter env 6
1193         - 28  # rls2009 NDRPDR iter env 6
1194         - 39  # rls2009 NDRPDR iter env 6
1195         - 40  # rls2009 NDRPDR iter env 6
1196         - 41  # rls2009 NDRPDR iter env 6
1197         - 44  # rls2009 NDRPDR iter env 6
1198     vpp-performance-changes-2n-skx-cmp:
1199       csit-vpp-perf-report-iterative-2101-2n-skx:
1200         - 63  # rls2101.rel NDRPDR iter env 6
1201         - 69  # rls2101.rel NDRPDR iter env 6
1202         - 70  # rls2101.rel NDRPDR iter env 6
1203         - 75  # rls2101.rel NDRPDR iter env 6
1204         - 76  # rls2101.rel NDRPDR iter env 6
1205         - 77  # rls2101.rel NDRPDR iter env 6
1206         - 82  # rls2101.rel NDRPDR iter env 6
1207         - 85  # rls2101.rel NDRPDR iter env 6
1208         - 86  # rls2101.rel NDRPDR iter env 6
1209         - 94  # rls2101.rel NDRPDR iter env 6
1210         - 89  # rls2101.rel NDRPDR iter RND env 6
1211         - 90  # rls2101.rel NDRPDR iter RND env 6
1212         - 91  # rls2101.rel NDRPDR iter RND env 6
1213         - 92  # rls2101.rel NDRPDR iter RND env 6
1214         - 93  # rls2101.rel NDRPDR iter RND env 6
1215         - 96  # rls2101.rel NDRPDR iter RND env 6
1216         - 98  # rls2101.rel NDRPDR iter RND env 6
1217         - 99  # rls2101.rel NDRPDR iter RND env 6
1218         - 101 # rls2101.rel NDRPDR iter RND env 6
1219         - 102 # rls2101.rel NDRPDR iter RND env 6
1220         - 116 # rls2101.rel NDRPDR iter NAT env 6
1221         - 117 # rls2101.rel NDRPDR iter NAT env 6
1222         - 118 # rls2101.rel NDRPDR iter NAT env 6
1223         - 119 # rls2101.rel NDRPDR iter NAT env 6
1224         - 120 # rls2101.rel NDRPDR iter NAT env 6
1225         - 121 # rls2101.rel NDRPDR iter NAT env 6
1226         - 122 # rls2101.rel NDRPDR iter NAT env 6
1227         - 123 # rls2101.rel NDRPDR iter NAT env 6
1228         - 124 # rls2101.rel NDRPDR iter NAT env 6
1229         - 125 # rls2101.rel NDRPDR iter NAT env 6
1230
1231     vpp-performance-changes-2n-clx-h1:
1232       csit-vpp-perf-report-iterative-2009-2n-clx:
1233         - 13  # rls2005 NDRPDR iter env 5
1234         - 15  # rls2005 NDRPDR iter env 5
1235         - 17  # rls2005 NDRPDR iter env 5
1236         - 18  # rls2005 NDRPDR iter env 5
1237         - 19  # rls2005 NDRPDR iter env 5
1238         - 20  # rls2005 NDRPDR iter env 5
1239         - 21  # rls2005 NDRPDR iter env 5
1240         - 22  # rls2005 NDRPDR iter env 5
1241         - 23  # rls2005 NDRPDR iter env 5
1242         - 24  # rls2005 NDRPDR iter env 5
1243     vpp-performance-changes-2n-clx-ref-env-old:
1244       csit-vpp-perf-report-iterative-2009-2n-clx:
1245         - 36  # rls2009 NDRPDR iter env 5
1246         - 39  # rls2009 NDRPDR iter env 5
1247         - 40  # rls2009 NDRPDR iter env 5
1248         - 65  # rls2009 NDRPDR iter env 5
1249         - 66  # rls2009 NDRPDR iter env 5
1250         - 79  # rls2009 NDRPDR iter env 5
1251         - 82  # rls2009 NDRPDR iter env 5
1252         - 88  # rls2009 NDRPDR iter env 5
1253         - 89  # rls2009 NDRPDR iter env 5
1254         - 90  # rls2009 NDRPDR iter env 5
1255         - 114 # rls2009 NDRPDR iter NAT44 env 5
1256         - 115 # rls2009 NDRPDR iter NAT44 env 5
1257         - 116 # rls2009 NDRPDR iter NAT44 env 5
1258         - 117 # rls2009 NDRPDR iter NAT44 env 5
1259         - 118 # rls2009 NDRPDR iter NAT44 env 5
1260         - 119 # rls2009 NDRPDR iter NAT44 env 5
1261         - 121 # rls2009 NDRPDR iter NAT44 env 5
1262         - 122 # rls2009 NDRPDR iter NAT44 env 5
1263         - 123 # rls2009 NDRPDR iter NAT44 env 5
1264         - 126 # rls2009 NDRPDR iter NAT44 env 5
1265     vpp-performance-changes-2n-clx-ref-env-new:
1266       csit-vpp-perf-report-iterative-2101-2n-clx:
1267         - 16  # rls2009 NDRPDR iter env 6
1268         - 17  # rls2009 NDRPDR iter env 6
1269         - 18  # rls2009 NDRPDR iter env 6
1270         - 19  # rls2009 NDRPDR iter env 6
1271         - 20  # rls2009 NDRPDR iter env 6
1272         - 21  # rls2009 NDRPDR iter env 6
1273         - 32  # rls2009 NDRPDR iter env 6
1274         - 33  # rls2009 NDRPDR iter env 6
1275         - 34  # rls2009 NDRPDR iter env 6
1276         - 35  # rls2009 NDRPDR iter env 6
1277         - 146 # rls2009 NDRPDR MLX iter env 6
1278         - 147 # rls2009 NDRPDR MLX iter env 6
1279         - 148 # rls2009 NDRPDR MLX iter env 6
1280         - 149 # rls2009 NDRPDR MLX iter env 6
1281         - 150 # rls2009 NDRPDR MLX iter env 6
1282         - 151 # rls2009 NDRPDR MLX iter env 6
1283         - 152 # rls2009 NDRPDR MLX iter env 6
1284         - 153 # rls2009 NDRPDR MLX iter env 6
1285         - 154 # rls2009 NDRPDR MLX iter env 6
1286         - 155 # rls2009 NDRPDR MLX iter env 6
1287     vpp-performance-changes-2n-clx-cmp:
1288       csit-vpp-perf-report-iterative-2101-2n-clx:
1289         - 54  # rls2101.rel NDRPDR iter env 6
1290         - 59  # rls2101.rel NDRPDR iter env 6
1291         - 60  # rls2101.rel NDRPDR iter env 6
1292         - 63  # rls2101.rel NDRPDR iter env 6
1293         - 66  # rls2101.rel NDRPDR iter env 6
1294         - 68  # rls2101.rel NDRPDR iter env 6
1295         - 73  # rls2101.rel NDRPDR iter env 6
1296         - 75  # rls2101.rel NDRPDR iter env 6
1297         - 86  # rls2101.rel NDRPDR iter env 6
1298         - 90  # rls2101.rel NDRPDR iter env 6
1299         - 80  # rls2101.rel NDRPDR iter RND env 6
1300         - 87  # rls2101.rel NDRPDR iter RND env 6
1301         - 91  # rls2101.rel NDRPDR iter RND env 6
1302         - 92  # rls2101.rel NDRPDR iter RND env 6
1303         - 93  # rls2101.rel NDRPDR iter RND env 6
1304         - 94  # rls2101.rel NDRPDR iter RND env 6
1305         - 95  # rls2101.rel NDRPDR iter RND env 6
1306         - 100 # rls2101.rel NDRPDR iter RND env 6
1307         - 106 # rls2101.rel NDRPDR iter RND env 6
1308         - 108 # rls2101.rel NDRPDR iter RND env 6
1309         - 112 # rls2101.rel NDRPDR iter NAT env 6
1310         - 113 # rls2101.rel NDRPDR iter NAT env 6
1311         - 114 # rls2101.rel NDRPDR iter NAT env 6
1312         - 115 # rls2101.rel NDRPDR iter NAT env 6
1313         - 116 # rls2101.rel NDRPDR iter NAT env 6
1314         - 117 # rls2101.rel NDRPDR iter NAT env 6
1315         - 118 # rls2101.rel NDRPDR iter NAT env 6
1316         - 119 # rls2101.rel NDRPDR iter NAT env 6
1317         - 120 # rls2101.rel NDRPDR iter NAT env 6
1318         - 121 # rls2101.rel NDRPDR iter NAT env 6
1319         - 122 # rls2101.rel NDRPDR iter MLX env 6
1320         - 123 # rls2101.rel NDRPDR iter MLX env 6
1321         - 124 # rls2101.rel NDRPDR iter MLX env 6
1322         - 126 # rls2101.rel NDRPDR iter MLX env 6
1323         - 127 # rls2101.rel NDRPDR iter MLX env 6
1324         - 128 # rls2101.rel NDRPDR iter MLX env 6
1325         - 129 # rls2101.rel NDRPDR iter MLX env 6
1326         - 130 # rls2101.rel NDRPDR iter MLX env 6
1327         - 131 # rls2101.rel NDRPDR iter MLX env 6
1328         - 132 # rls2101.rel NDRPDR iter MLX env 6
1329
1330     vpp-performance-changes-2n-zn2-ref-env-old:
1331       csit-vpp-perf-report-iterative-2009-2n-zn2:
1332         - 17  # rls2009 NDRPDR iter env 5
1333         - 18  # rls2009 NDRPDR iter env 5
1334         - 31  # rls2009 NDRPDR iter env 5
1335         - 33  # rls2009 NDRPDR iter env 5
1336         - 34  # rls2009 NDRPDR iter env 5
1337     vpp-performance-changes-2n-zn2-ref-env-new:
1338       csit-vpp-perf-report-iterative-2101-2n-zn2:
1339         - 9   # rls2009 NDRPDR iter env 6
1340         - 10  # rls2009 NDRPDR iter env 6
1341         - 11  # rls2009 NDRPDR iter env 6
1342         - 12  # rls2009 NDRPDR iter env 6
1343         - 13  # rls2009 NDRPDR iter env 6
1344         - 20  # rls2009 NDRPDR iter env 6
1345         - 21  # rls2009 NDRPDR iter env 6
1346         - 22  # rls2009 NDRPDR iter env 6
1347         - 25  # rls2009 NDRPDR iter env 6
1348         - 26  # rls2009 NDRPDR iter env 6
1349     vpp-performance-changes-2n-zn2-cmp:
1350       csit-vpp-perf-report-iterative-2101-2n-zn2:
1351         - 31  # rls2101.rel NDRPDR iter env 6
1352         - 32  # rls2101.rel NDRPDR iter env 6
1353         - 33  # rls2101.rel NDRPDR iter env 6
1354         - 34  # rls2101.rel NDRPDR iter env 6
1355         - 35  # rls2101.rel NDRPDR iter env 6
1356         - 36  # rls2101.rel NDRPDR iter env 6
1357         - 37  # rls2101.rel NDRPDR iter env 6
1358         - 38  # rls2101.rel NDRPDR iter env 6
1359         - 44  # rls2101.rel NDRPDR iter env 6
1360         - 49  # rls2101.rel NDRPDR iter env 6
1361         - 39  # rls2101.rel NDRPDR iter RND env 6
1362         - 40  # rls2101.rel NDRPDR iter RND env 6
1363         - 41  # rls2101.rel NDRPDR iter RND env 6
1364         - 42  # rls2101.rel NDRPDR iter RND env 6
1365         - 43  # rls2101.rel NDRPDR iter RND env 6
1366         - 45  # rls2101.rel NDRPDR iter RND env 6
1367         - 48  # rls2101.rel NDRPDR iter RND env 6
1368         - 50  # rls2101.rel NDRPDR iter RND env 6
1369         - 51  # rls2101.rel NDRPDR iter RND env 6
1370         - 52  # rls2101.rel NDRPDR iter RND env 6
1371
1372     vpp-performance-changes-2n-dnv-h1:
1373       csit-vpp-perf-report-iterative-2009-2n-dnv:
1374         - 16  # rls2005 NDRPDR iter env 5
1375         - 17  # rls2005 NDRPDR iter env 5
1376         - 18  # rls2005 NDRPDR iter env 5
1377         - 19  # rls2005 NDRPDR iter env 5
1378         - 21  # rls2005 NDRPDR iter env 5
1379         - 24  # rls2005 NDRPDR iter env 5
1380         - 27  # rls2005 NDRPDR iter env 5
1381         - 28  # rls2005 NDRPDR iter env 5
1382         - 29  # rls2005 NDRPDR iter env 5
1383         - 30  # rls2005 NDRPDR iter env 5
1384     vpp-performance-changes-2n-dnv-ref-env-old:
1385       csit-vpp-perf-report-iterative-2009-2n-dnv:
1386         - 3   # rls2009 NDRPDR iter env 5
1387         - 5   # rls2009 NDRPDR iter env 5
1388         - 6   # rls2009 NDRPDR iter env 5
1389         - 7   # rls2009 NDRPDR iter env 5
1390         - 9   # rls2009 NDRPDR iter env 5
1391         - 10  # rls2009 NDRPDR iter env 5
1392         - 11  # rls2009 NDRPDR iter env 5
1393         - 12  # rls2009 NDRPDR iter env 5
1394         - 14  # rls2009 NDRPDR iter env 5
1395         - 15  # rls2009 NDRPDR iter env 5
1396     vpp-performance-changes-2n-dnv-ref-env-new:
1397       # TODO: Re-test in new env
1398       csit-vpp-perf-report-iterative-2009-2n-dnv:
1399         - 3   # rls2009 NDRPDR iter env 5
1400         - 5   # rls2009 NDRPDR iter env 5
1401         - 6   # rls2009 NDRPDR iter env 5
1402         - 7   # rls2009 NDRPDR iter env 5
1403         - 9   # rls2009 NDRPDR iter env 5
1404         - 10  # rls2009 NDRPDR iter env 5
1405         - 11  # rls2009 NDRPDR iter env 5
1406         - 12  # rls2009 NDRPDR iter env 5
1407         - 14  # rls2009 NDRPDR iter env 5
1408         - 15  # rls2009 NDRPDR iter env 5
1409     vpp-performance-changes-2n-dnv-cmp:
1410       csit-vpp-perf-report-iterative-2101-2n-dnv:
1411         - 32  # rls2101.rel NDRPDR iter env 6
1412         - 33  # rls2101.rel NDRPDR iter env 6
1413         - 34  # rls2101.rel NDRPDR iter env 6
1414         - 35  # rls2101.rel NDRPDR iter env 6
1415         - 39  # rls2101.rel NDRPDR iter env 6
1416         - 41  # rls2101.rel NDRPDR iter env 6
1417         - 42  # rls2101.rel NDRPDR iter env 6
1418         - 43  # rls2101.rel NDRPDR iter env 6
1419         - 44  # rls2101.rel NDRPDR iter env 6
1420         - 45  # rls2101.rel NDRPDR iter env 6
1421         - 46  # rls2101.rel NDRPDR iter RND env 6
1422         - 47  # rls2101.rel NDRPDR iter RND env 6
1423         - 48  # rls2101.rel NDRPDR iter RND env 6
1424         - 49  # rls2101.rel NDRPDR iter RND env 6
1425         - 50  # rls2101.rel NDRPDR iter RND env 6
1426         - 51  # rls2101.rel NDRPDR iter RND env 6
1427         - 52  # rls2101.rel NDRPDR iter RND env 6
1428         - 53  # rls2101.rel NDRPDR iter RND env 6
1429         - 54  # rls2101.rel NDRPDR iter RND env 6
1430         - 55  # rls2101.rel NDRPDR iter RND env 6
1431
1432     vpp-performance-changes-3n-dnv-h1:
1433       csit-vpp-perf-report-iterative-2009-3n-dnv:
1434         - 16  # rls2005 NDRPDR iter env 5
1435         - 23  # rls2005 NDRPDR iter env 5
1436         - 25  # rls2005 NDRPDR iter env 5
1437         - 26  # rls2005 NDRPDR iter env 5
1438         - 27  # rls2005 NDRPDR iter env 5
1439         - 28  # rls2005 NDRPDR iter env 5
1440         - 29  # rls2005 NDRPDR iter env 5
1441         - 30  # rls2005 NDRPDR iter env 5
1442         - 31  # rls2005 NDRPDR iter env 5
1443         - 32  # rls2005 NDRPDR iter env 5
1444     vpp-performance-changes-3n-dnv-ref-env-old:
1445       csit-vpp-perf-report-iterative-2009-3n-dnv:
1446         - 3   # rls2009 NDRPDR iter env 5
1447         - 6   # rls2009 NDRPDR iter env 5
1448         - 7   # rls2009 NDRPDR iter env 5
1449         - 8   # rls2009 NDRPDR iter env 5
1450         - 10  # rls2009 NDRPDR iter env 5
1451         - 11  # rls2009 NDRPDR iter env 5
1452         - 12  # rls2009 NDRPDR iter env 5
1453         - 14  # rls2009 NDRPDR iter env 5
1454         - 15  # rls2009 NDRPDR iter env 5
1455         - 24  # rls2009 NDRPDR iter env 5
1456     vpp-performance-changes-3n-dnv-ref-env-new:
1457       # TODO: Re-test in new env
1458       csit-vpp-perf-report-iterative-2009-3n-dnv:
1459         - 3   # rls2009 NDRPDR iter env 5
1460         - 6   # rls2009 NDRPDR iter env 5
1461         - 7   # rls2009 NDRPDR iter env 5
1462         - 8   # rls2009 NDRPDR iter env 5
1463         - 10  # rls2009 NDRPDR iter env 5
1464         - 11  # rls2009 NDRPDR iter env 5
1465         - 12  # rls2009 NDRPDR iter env 5
1466         - 14  # rls2009 NDRPDR iter env 5
1467         - 15  # rls2009 NDRPDR iter env 5
1468         - 24  # rls2009 NDRPDR iter env 5
1469     vpp-performance-changes-3n-dnv-cmp:
1470       csit-vpp-perf-report-iterative-2101-3n-dnv:
1471         - 33  # rls2101.rel NDRPDR iter env 6
1472         - 34  # rls2101.rel NDRPDR iter env 6
1473         - 35  # rls2101.rel NDRPDR iter env 6
1474         - 36  # rls2101.rel NDRPDR iter env 6
1475         - 37  # rls2101.rel NDRPDR iter env 6
1476         - 38  # rls2101.rel NDRPDR iter env 6
1477         - 39  # rls2101.rel NDRPDR iter env 6
1478         - 40  # rls2101.rel NDRPDR iter env 6
1479         - 41  # rls2101.rel NDRPDR iter env 6
1480         - 42  # rls2101.rel NDRPDR iter env 6
1481         - 43  # rls2101.rel NDRPDR iter RND env 6
1482         - 44  # rls2101.rel NDRPDR iter RND env 6
1483         - 45  # rls2101.rel NDRPDR iter RND env 6
1484         - 46  # rls2101.rel NDRPDR iter RND env 6
1485         - 47  # rls2101.rel NDRPDR iter RND env 6
1486         - 48  # rls2101.rel NDRPDR iter RND env 6
1487         - 49  # rls2101.rel NDRPDR iter RND env 6
1488         - 50  # rls2101.rel NDRPDR iter RND env 6
1489         - 51  # rls2101.rel NDRPDR iter RND env 6
1490         - 52  # rls2101.rel NDRPDR iter RND env 6
1491
1492     vpp-performance-changes-3n-tsh-h1:
1493       csit-vpp-perf-report-iterative-2009-3n-tsh:
1494         - 8   # rls2005 NDRPDR iter env 5
1495         - 11  # rls2005 NDRPDR iter env 5
1496         - 12  # rls2005 NDRPDR iter env 5
1497         - 24  # rls2005 NDRPDR iter env 5
1498         - 27  # rls2005 NDRPDR iter env 5
1499         - 29  # rls2005 NDRPDR iter env 5
1500         - 31  # rls2005 NDRPDR iter env 5
1501         - 39  # rls2005 NDRPDR iter env 5
1502         - 40  # rls2005 NDRPDR iter env 5
1503         - 42  # rls2005 NDRPDR iter env 5
1504     vpp-performance-changes-3n-tsh-ref-env-old:
1505       csit-vpp-perf-report-iterative-2009-3n-tsh:
1506         - 14  # rls2009 NDRPDR iter env 5
1507         - 20  # rls2009 NDRPDR iter env 5
1508         - 21  # rls2009 NDRPDR iter env 5
1509         - 22  # rls2009 NDRPDR iter env 5
1510         - 23  # rls2009 NDRPDR iter env 5
1511         - 28  # rls2009 NDRPDR iter env 5
1512         - 30  # rls2009 NDRPDR iter env 5
1513         - 33  # rls2009 NDRPDR iter env 5
1514         - 38  # rls2009 NDRPDR iter env 5
1515         - 41  # rls2009 NDRPDR iter env 5
1516     vpp-performance-changes-3n-tsh-ref-env-new:
1517       csit-vpp-perf-report-iterative-2101-3n-tsh:
1518         - 8   # rls2009 NDRPDR iter env 6
1519         - 13  # rls2009 NDRPDR iter env 6
1520         - 14  # rls2009 NDRPDR iter env 6
1521         - 15  # rls2009 NDRPDR iter env 6
1522         - 16  # rls2009 NDRPDR iter env 6
1523         - 17  # rls2009 NDRPDR iter env 6
1524         - 18  # rls2009 NDRPDR iter env 6
1525         - 19  # rls2009 NDRPDR iter env 6
1526         - 21  # rls2009 NDRPDR iter env 6
1527     vpp-performance-changes-3n-tsh-cmp:
1528       csit-vpp-perf-report-iterative-2101-3n-tsh:
1529         - 23  # rls2101.rel NDRPDR iter env 6
1530         - 24  # rls2101.rel NDRPDR iter env 6
1531         - 25  # rls2101.rel NDRPDR iter env 6
1532         - 26  # rls2101.rel NDRPDR iter env 6
1533         - 27  # rls2101.rel NDRPDR iter env 6
1534         - 28  # rls2101.rel NDRPDR iter env 6
1535         - 29  # rls2101.rel NDRPDR iter env 6
1536         - 30  # rls2101.rel NDRPDR iter env 6
1537         - 31  # rls2101.rel NDRPDR iter env 6
1538         - 32  # rls2101.rel NDRPDR iter env 6
1539
1540 #     vpp-performance-changes-2n-tx2-h1:
1541 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1542 #         -
1543 #     vpp-performance-changes-2n-tx2-ref-env-old:
1544 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1545 #         -
1546     vpp-performance-changes-2n-tx2-ref-env-new:
1547       csit-vpp-perf-report-iterative-2101-2n-tx2:
1548         - 6   # rls2009 NDRPDR iter env 6
1549         - 7   # rls2009 NDRPDR iter env 6
1550         - 11  # rls2009 NDRPDR iter env 6
1551         - 12  # rls2009 NDRPDR iter env 6
1552         - 13  # rls2009 NDRPDR iter env 6
1553         - 16  # rls2009 NDRPDR iter env 6
1554         - 17  # rls2009 NDRPDR iter env 6
1555         - 18  # rls2009 NDRPDR iter env 6
1556         - 19  # rls2009 NDRPDR iter env 6
1557         - 20  # rls2009 NDRPDR iter env 6
1558     vpp-performance-changes-2n-tx2-cmp:
1559       csit-vpp-perf-report-iterative-2101-2n-tx2:
1560         - 22  # rls2101.rel NDRPDR iter env 6
1561         - 23  # rls2101.rel NDRPDR iter env 6
1562         - 24  # rls2101.rel NDRPDR iter env 6
1563         - 25  # rls2101.rel NDRPDR iter env 6
1564         - 26  # rls2101.rel NDRPDR iter env 6
1565         - 27  # rls2101.rel NDRPDR iter env 6
1566         - 28  # rls2101.rel NDRPDR iter env 6
1567         - 29  # rls2101.rel NDRPDR iter env 6
1568         - 30  # rls2101.rel NDRPDR iter env 6
1569         - 31  # rls2101.rel NDRPDR iter env 6
1570
1571     vpp-soak-vs-ndr-2n-skx-ref:
1572       csit-vpp-perf-report-iterative-2101-2n-skx:
1573         - 63  # rls2101.rel NDRPDR iter env 6
1574         - 69  # rls2101.rel NDRPDR iter env 6
1575         - 70  # rls2101.rel NDRPDR iter env 6
1576         - 75  # rls2101.rel NDRPDR iter env 6
1577         - 76  # rls2101.rel NDRPDR iter env 6
1578         - 77  # rls2101.rel NDRPDR iter env 6
1579         - 82  # rls2101.rel NDRPDR iter env 6
1580         - 85  # rls2101.rel NDRPDR iter env 6
1581         - 86  # rls2101.rel NDRPDR iter env 6
1582         - 94  # rls2101.rel NDRPDR iter env 6
1583     vpp-soak-vs-ndr-2n-skx-cmp:
1584       csit-vpp-perf-report-iterative-2101-2n-skx:
1585         - 68  # rls2101.rel soak env 6
1586         - 73  # rls2101.rel soak env 6
1587     vpp-soak-vs-ndr-2n-skx:
1588       csit-vpp-perf-report-iterative-2101-2n-skx:
1589         - 63  # rls2101.rel NDRPDR iter env 6
1590         - 69  # rls2101.rel NDRPDR iter env 6
1591         - 70  # rls2101.rel NDRPDR iter env 6
1592         - 75  # rls2101.rel NDRPDR iter env 6
1593         - 76  # rls2101.rel NDRPDR iter env 6
1594         - 77  # rls2101.rel NDRPDR iter env 6
1595         - 82  # rls2101.rel NDRPDR iter env 6
1596         - 85  # rls2101.rel NDRPDR iter env 6
1597         - 86  # rls2101.rel NDRPDR iter env 6
1598         - 94  # rls2101.rel NDRPDR iter env 6
1599         - 68  # rls2101.rel soak env 6
1600         - 73  # rls2101.rel soak env 6
1601
1602     vpp-soak-vs-ndr-2n-clx-ref:
1603       csit-vpp-perf-report-iterative-2101-2n-clx:
1604         - 54  # rls2101.rel NDRPDR iter env 6
1605         - 59  # rls2101.rel NDRPDR iter env 6
1606         - 60  # rls2101.rel NDRPDR iter env 6
1607         - 63  # rls2101.rel NDRPDR iter env 6
1608         - 66  # rls2101.rel NDRPDR iter env 6
1609         - 68  # rls2101.rel NDRPDR iter env 6
1610         - 73  # rls2101.rel NDRPDR iter env 6
1611         - 75  # rls2101.rel NDRPDR iter env 6
1612         - 86  # rls2101.rel NDRPDR iter env 6
1613         - 90  # rls2101.rel NDRPDR iter env 6
1614     vpp-soak-vs-ndr-2n-clx-cmp:
1615       csit-vpp-perf-report-iterative-2101-2n-clx:
1616         - 58  # rls2101.rel soak env 6
1617         - 61  # rls2101.rel soak env 6
1618     vpp-soak-vs-ndr-2n-clx:
1619       csit-vpp-perf-report-iterative-2101-2n-clx:
1620         - 54  # rls2101.rel NDRPDR iter env 6
1621         - 59  # rls2101.rel NDRPDR iter env 6
1622         - 60  # rls2101.rel NDRPDR iter env 6
1623         - 63  # rls2101.rel NDRPDR iter env 6
1624         - 66  # rls2101.rel NDRPDR iter env 6
1625         - 68  # rls2101.rel NDRPDR iter env 6
1626         - 73  # rls2101.rel NDRPDR iter env 6
1627         - 75  # rls2101.rel NDRPDR iter env 6
1628         - 86  # rls2101.rel NDRPDR iter env 6
1629         - 90  # rls2101.rel NDRPDR iter env 6
1630         - 58  # rls2101.rel soak env 6
1631         - 61  # rls2101.rel soak env 6
1632
1633     vpp-performance-changes-3n-hsw-mrr-h1:
1634       csit-vpp-perf-report-iterative-2009-3n-hsw:
1635         - 18  # rls2005 MRR iter env 5
1636     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1637       csit-vpp-perf-report-iterative-2009-3n-hsw:
1638         - 23  # rls2009 MRR iter env 5
1639     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1640       csit-vpp-perf-report-iterative-2101-3n-hsw:
1641         - 17  # rls2009 MRR iter env 6
1642     vpp-performance-changes-3n-hsw-mrr-cmp:
1643       csit-vpp-perf-report-iterative-2101-3n-hsw:
1644         - 63  # rls2101.rel MRR iter env 6
1645
1646     vpp-performance-changes-3n-skx-mrr-h1:
1647       csit-vpp-perf-report-iterative-2009-3n-skx:
1648         - 17  # rls2005 MRR iter env 5
1649     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1650       csit-vpp-perf-report-iterative-2009-3n-skx:
1651         - 24  # rls2009 MRR iter env 5
1652     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1653       csit-vpp-perf-report-iterative-2101-3n-skx:
1654         - 34  # rls2009 MRR iter env 6
1655     vpp-performance-changes-3n-skx-mrr-cmp:
1656       csit-vpp-perf-report-iterative-2101-3n-skx:
1657         - 35  # rls2101.rel MRR iter env 6
1658
1659     vpp-performance-changes-2n-skx-mrr-h1:
1660       csit-vpp-perf-report-iterative-2009-2n-skx:
1661         - 20  # rls2005 MRR iter env 5
1662     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1663       csit-vpp-perf-report-iterative-2009-2n-skx:
1664         - 120 # rls2009 MRR iter env 5
1665     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1666       csit-vpp-perf-report-iterative-2101-2n-skx:
1667         - 21  # rls2009 MRR iter env 6
1668     vpp-performance-changes-2n-skx-mrr-cmp:
1669       csit-vpp-perf-report-iterative-2101-2n-skx:
1670         - 62  # rls2101.rel MRR iter env 6
1671
1672     vpp-performance-changes-2n-clx-mrr-h1:
1673       csit-vpp-perf-report-iterative-2009-2n-clx:
1674         - 77  # rls2005 MRR iter env 5
1675     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1676       csit-vpp-perf-report-iterative-2009-2n-clx:
1677         - 125 # rls2009 MRR iter env 5
1678     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1679       csit-vpp-perf-report-iterative-2101-2n-clx:
1680         - 15  # rls2009 MRR iter env 6
1681         - 142 # rls2009 MRR MLX iter env 6
1682     vpp-performance-changes-2n-clx-mrr-cmp:
1683       csit-vpp-perf-report-iterative-2101-2n-clx:
1684         - 53  # rls2101.rel MRR iter env 6
1685         - 133 # rls2101.rel MRR MLX iter env 6
1686
1687     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1688       csit-vpp-perf-report-iterative-2009-2n-zn2:
1689         - 15  # rls2009 MRR iter env 5
1690     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1691       csit-vpp-perf-report-iterative-2101-2n-zn2:
1692         - 8   # rls2009 MRR iter env6
1693     vpp-performance-changes-2n-zn2-mrr-cmp:
1694       csit-vpp-perf-report-iterative-2101-2n-zn2:
1695         - 30  # rls2101.rel MRR iter env 6
1696
1697     vpp-performance-changes-2n-dnv-mrr-h1:
1698       csit-vpp-perf-report-iterative-2009-2n-dnv:
1699         - 23  # rls2005 MRR iter env 5
1700     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1701       csit-vpp-perf-report-iterative-2009-2n-dnv:
1702         - 13  # rls2009 MRR iter env 5
1703     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1704       # TODO: Re-test in new env
1705       csit-vpp-perf-report-iterative-2009-2n-dnv:
1706         - 13  # rls2009 MRR iter env 5
1707     vpp-performance-changes-2n-dnv-mrr-cmp:
1708       csit-vpp-perf-report-iterative-2101-2n-dnv:
1709         - 31  # rls2101.rel MRR iter env 6
1710
1711     vpp-performance-changes-3n-dnv-mrr-h1:
1712       csit-vpp-perf-report-iterative-2009-3n-dnv:
1713         - 19  # rls2005 MRR iter env 5
1714     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1715       csit-vpp-perf-report-iterative-2009-3n-dnv:
1716         - 22  # rls2009 MRR iter env 5
1717     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1718       # TODO: Re-test in new env
1719       csit-vpp-perf-report-iterative-2009-3n-dnv:
1720         - 22  # rls2009 MRR iter env 5
1721     vpp-performance-changes-3n-dnv-mrr-cmp:
1722       csit-vpp-perf-report-iterative-2101-3n-dnv:
1723         - 32  # rls2101.rel MRR iter env 6
1724
1725     vpp-performance-changes-3n-tsh-mrr-h1:
1726       csit-vpp-perf-report-iterative-2009-3n-tsh:
1727         - 13  # rls2005 MRR iter env 5
1728     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1729       csit-vpp-perf-report-iterative-2009-3n-tsh:
1730         - 15  # rls2009 MRR iter env 5
1731     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1732       csit-vpp-perf-report-iterative-2101-3n-tsh:
1733         - 7   # rls2009 MRR iter env 6
1734     vpp-performance-changes-3n-tsh-mrr-cmp:
1735       csit-vpp-perf-report-iterative-2101-3n-tsh:
1736         - 22  # rls2101.rel MRR iter env 6
1737
1738 #     vpp-performance-changes-2n-tx2-mrr-h1:
1739 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1740 #         -
1741 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1742 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1743 #         -
1744     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1745       csit-vpp-perf-report-iterative-2101-2n-tx2:
1746         - 5   # rls2009 MRR iter env 6
1747     vpp-performance-changes-2n-tx2-mrr-cmp:
1748       csit-vpp-perf-report-iterative-2101-2n-tx2:
1749         - 21  # rls2101.rel MRR iter env 6
1750
1751     dpdk-performance-changes-3n-hsw-h1:
1752       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1753         - 25  # NDRPDR iter
1754         - 26  # NDRPDR iter
1755         - 27  # NDRPDR iter
1756         - 28  # NDRPDR iter
1757         - 29  # NDRPDR iter
1758         - 30  # NDRPDR iter
1759         - 31  # NDRPDR iter
1760         - 32  # NDRPDR iter
1761         - 33  # NDRPDR iter
1762         - 34  # NDRPDR iter
1763     dpdk-performance-changes-3n-hsw-ref:
1764       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1765         - 6   # NDRPDR iter env5
1766         - 7   # NDRPDR iter env5
1767         - 8   # NDRPDR iter env5
1768         - 9   # NDRPDR iter env5
1769         - 10  # NDRPDR iter env5
1770         - 11  # NDRPDR iter env5
1771         - 12  # NDRPDR iter env5
1772         - 13  # NDRPDR iter env5
1773         - 14  # NDRPDR iter env5
1774         - 15  # NDRPDR iter env5
1775     dpdk-performance-changes-3n-hsw-cmp:
1776       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1777         - 11  # rls2101 NDRPDR iter env 6
1778         - 12  # rls2101 NDRPDR iter env 6
1779         - 13  # rls2101 NDRPDR iter env 6
1780         - 14  # rls2101 NDRPDR iter env 6
1781         - 16  # rls2101 NDRPDR iter env 6
1782         - 17  # rls2101 NDRPDR iter env 6
1783         - 18  # rls2101 NDRPDR iter env 6
1784         - 19  # rls2101 NDRPDR iter env 6
1785         - 20  # rls2101 NDRPDR iter env 6
1786         - 21  # rls2101 NDRPDR iter env 6
1787
1788     dpdk-performance-changes-3n-skx-h1:
1789       csit-dpdk-perf-report-iterative-2005-3n-skx:
1790         - 28  # NDRPDR iter
1791         - 29  # NDRPDR iter
1792         - 30  # NDRPDR iter
1793         - 31  # NDRPDR iter
1794         - 32  # NDRPDR iter
1795         - 33  # NDRPDR iter
1796         - 34  # NDRPDR iter
1797         - 35  # NDRPDR iter
1798         - 36  # NDRPDR iter
1799         - 37  # NDRPDR iter
1800     dpdk-performance-changes-3n-skx-ref:
1801       csit-dpdk-perf-report-iterative-2009-3n-skx:
1802         - 4   # NDRPDR sel env5
1803         - 5   # NDRPDR sel env5
1804         - 6   # NDRPDR sel env5
1805         - 7   # NDRPDR sel env5
1806         - 8   # NDRPDR sel env5
1807         - 9   # NDRPDR sel env5
1808         - 14  # NDRPDR sel env5
1809         - 11  # NDRPDR sel env5
1810         - 12  # NDRPDR sel env5
1811         - 13  # NDRPDR sel env5
1812     dpdk-performance-changes-3n-skx-cmp:
1813       csit-dpdk-perf-report-iterative-2101-3n-skx:
1814         - 12  # rls2101 NDRPDR iter env 6
1815         - 14  # rls2101 NDRPDR iter env 6
1816         - 15  # rls2101 NDRPDR iter env 6
1817         - 17  # rls2101 NDRPDR iter env 6
1818         - 19  # rls2101 NDRPDR iter env 6
1819         - 20  # rls2101 NDRPDR iter env 6
1820         - 21  # rls2101 NDRPDR iter env 6
1821         - 22  # rls2101 NDRPDR iter env 6
1822         - 25  # rls2101 NDRPDR iter env 6
1823         - 26  # rls2101 NDRPDR iter env 6
1824
1825     dpdk-performance-changes-2n-skx-h1:
1826       csit-dpdk-perf-report-iterative-2005-2n-skx:
1827         - 20  # NDRPDR iter
1828         - 21  # NDRPDR iter
1829         - 22  # NDRPDR iter
1830         - 23  # NDRPDR iter
1831         - 24  # NDRPDR iter
1832         - 25  # NDRPDR iter
1833         - 26  # NDRPDR iter
1834         - 27  # NDRPDR iter
1835         - 28  # NDRPDR iter
1836         - 29  # NDRPDR iter
1837     dpdk-performance-changes-2n-skx-ref:
1838       csit-dpdk-perf-report-iterative-2009-2n-skx:
1839         - 4   # NDRPDR iter env5
1840         - 5   # NDRPDR iter env5
1841         - 6   # NDRPDR iter env5
1842         - 7   # NDRPDR iter env5
1843         - 8   # NDRPDR iter env5
1844         - 9   # NDRPDR iter env5
1845         - 10  # NDRPDR iter env5
1846         - 11  # NDRPDR iter env5
1847         - 12  # NDRPDR iter env5
1848         - 13  # NDRPDR iter env5
1849     dpdk-performance-changes-2n-skx-cmp:
1850       csit-dpdk-perf-report-iterative-2101-2n-skx:
1851         - 11  # rls2101 NDRPDR iter env 6
1852         - 12  # rls2101 NDRPDR iter env 6
1853         - 13  # rls2101 NDRPDR iter env 6
1854         - 14  # rls2101 NDRPDR iter env 6
1855         - 15  # rls2101 NDRPDR iter env 6
1856         - 17  # rls2101 NDRPDR iter env 6
1857         - 18  # rls2101 NDRPDR iter env 6
1858         - 19  # rls2101 NDRPDR iter env 6
1859         - 20  # rls2101 NDRPDR iter env 6
1860         - 21  # rls2101 NDRPDR iter env 6
1861
1862     dpdk-performance-changes-2n-clx-h1:
1863       csit-dpdk-perf-report-iterative-2005-2n-clx:
1864         - 20  # NDRPDR iter
1865         - 21  # NDRPDR iter
1866         - 22  # NDRPDR iter
1867         - 23  # NDRPDR iter
1868         - 24  # NDRPDR iter
1869         - 25  # NDRPDR iter
1870         - 26  # NDRPDR iter
1871         - 27  # NDRPDR iter
1872         - 28  # NDRPDR iter
1873         - 29  # NDRPDR iter
1874     dpdk-performance-changes-2n-clx-ref:
1875       csit-dpdk-perf-report-iterative-2009-2n-clx:
1876         - 4   # NDRPDR iter env5
1877         - 5   # NDRPDR iter env5
1878         - 6   # NDRPDR iter env5
1879         - 7   # NDRPDR iter env5
1880         - 8   # NDRPDR iter env5
1881         - 9   # NDRPDR iter env5
1882         - 10  # NDRPDR iter env5
1883         - 11  # NDRPDR iter env5
1884         - 12  # NDRPDR iter env5
1885         - 13  # NDRPDR iter env5
1886     dpdk-performance-changes-2n-clx-cmp:
1887       csit-dpdk-perf-report-iterative-2101-2n-clx:
1888         - 12  # rls2101 NDRPDR iter env 6
1889         - 13  # rls2101 NDRPDR iter env 6
1890         - 14  # rls2101 NDRPDR iter env 6
1891         - 18  # rls2101 NDRPDR iter env 6
1892         - 22  # rls2101 NDRPDR iter env 6
1893
1894     dpdk-performance-changes-2n-zn2-ref:
1895       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1896         - 16  # NDRPDR iter env5
1897         - 21  # NDRPDR iter env5
1898         - 22  # NDRPDR iter env5
1899         - 23  # NDRPDR iter env5
1900         - 24  # NDRPDR iter env5
1901         - 25  # NDRPDR iter env5
1902         - 29  # NDRPDR iter env5
1903     dpdk-performance-changes-2n-zn2-cmp:
1904       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1905         - 11  # rls2101 NDRPDR iter env 6
1906         - 12  # rls2101 NDRPDR iter env 6
1907         - 13  # rls2101 NDRPDR iter env 6
1908         - 14  # rls2101 NDRPDR iter env 6
1909         - 16  # rls2101 NDRPDR iter env 6
1910         - 17  # rls2101 NDRPDR iter env 6
1911         - 18  # rls2101 NDRPDR iter env 6
1912         - 19  # rls2101 NDRPDR iter env 6
1913         - 20  # rls2101 NDRPDR iter env 6
1914         - 21  # rls2101 NDRPDR iter env 6
1915
1916 #    dpdk-performance-changes-2n-dnv-h1:
1917 #      csit-dpdk-perf-verify-2101-2n-dnv:
1918 #        - 9   # NDRPDR sel
1919 #        - 10  # NDRPDR sel
1920 #        - 11  # NDRPDR sel
1921 #        - 12  # NDRPDR sel
1922 #        - 13  # NDRPDR sel
1923 #        - 14  # NDRPDR sel
1924 #        - 15  # NDRPDR sel
1925 #        - 16  # NDRPDR sel
1926 #        - 17  # NDRPDR sel
1927 #        - 18  # NDRPDR sel
1928 #    dpdk-performance-changes-2n-dnv-ref:
1929 #      # No data
1930 #    dpdk-performance-changes-2n-dnv-cmp:
1931 #      # No data
1932 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1933
1934 #    dpdk-performance-changes-3n-dnv-h1:
1935 #      csit-dpdk-perf-verify-2101-3n-dnv:
1936 #        - 12  # NDRPDR sel
1937 #        - 13  # NDRPDR sel
1938 #        - 14  # NDRPDR sel
1939 #        - 15  # NDRPDR sel
1940 #        - 16  # NDRPDR sel
1941 #        - 17  # NDRPDR sel
1942 #        - 18  # NDRPDR sel
1943 #        - 19  # NDRPDR sel
1944 #        - 20  # NDRPDR sel
1945 #        - 22  # NDRPDR sel
1946 #    dpdk-performance-changes-3n-dnv-ref:
1947 #      # No data
1948 #    dpdk-performance-changes-3n-dnv-cmp:
1949 #      # No data
1950 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1951
1952     dpdk-performance-changes-3n-tsh-h1:
1953       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1954         - 5   # NDRPDR sel
1955     dpdk-performance-changes-3n-tsh-ref:
1956       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1957         - 1   # NDRPDR iter env5
1958         - 2   # NDRPDR iter env5
1959         - 3   # NDRPDR iter env5
1960         - 4   # NDRPDR iter env5
1961         - 5   # NDRPDR iter env5
1962         - 6   # NDRPDR iter env5
1963         - 7   # NDRPDR iter env5
1964         - 9   # NDRPDR iter env5
1965         - 10  # NDRPDR iter env5
1966         - 11  # NDRPDR iter env5
1967     dpdk-performance-changes-3n-tsh-cmp:
1968       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1969         - 11  # rls2101 NDRPDR iter env 6
1970         - 12  # rls2101 NDRPDR iter env 6
1971         - 13  # rls2101 NDRPDR iter env 6
1972         - 14  # rls2101 NDRPDR iter env 6
1973         - 16  # rls2101 NDRPDR iter env 6
1974         - 17  # rls2101 NDRPDR iter env 6
1975         - 18  # rls2101 NDRPDR iter env 6
1976         - 19  # rls2101 NDRPDR iter env 6
1977         - 20  # rls2101 NDRPDR iter env 6
1978         - 21  # rls2101 NDRPDR iter env 6
1979
1980     # Compare testbeds
1981
1982     vpp-compare-testbeds-ref:
1983       csit-vpp-perf-report-iterative-2101-3n-hsw:
1984         - 64  # rls2101.rel NDRPDR iter env 6
1985         - 71  # rls2101.rel NDRPDR iter env 6
1986         - 73  # rls2101.rel NDRPDR iter env 6
1987         - 74  # rls2101.rel NDRPDR iter env 6
1988         - 80  # rls2101.rel NDRPDR iter env 6
1989         - 81  # rls2101.rel NDRPDR iter env 6
1990         - 82  # rls2101.rel NDRPDR iter env 6
1991         - 83  # rls2101.rel NDRPDR iter env 6
1992         - 88  # rls2101.rel NDRPDR iter env 6
1993         - 89  # rls2101.rel NDRPDR iter env 6
1994     vpp-compare-testbeds-cmp:
1995       csit-vpp-perf-report-iterative-2101-3n-skx:
1996         - 36  # rls2101.rel NDRPDR iter env 6
1997         - 37  # rls2101.rel NDRPDR iter env 6
1998         - 38  # rls2101.rel NDRPDR iter env 6
1999         - 39  # rls2101.rel NDRPDR iter env 6
2000         - 40  # rls2101.rel NDRPDR iter env 6
2001         - 41  # rls2101.rel NDRPDR iter env 6
2002         - 42  # rls2101.rel NDRPDR iter env 6
2003         - 47  # rls2101.rel NDRPDR iter env 6
2004         - 48  # rls2101.rel NDRPDR iter env 6
2005         - 50  # rls2101.rel NDRPDR iter env 6
2006
2007     vpp-compare-testbeds-skx-clx-ref:
2008       csit-vpp-perf-report-iterative-2101-2n-skx:
2009         - 63  # rls2101.rel NDRPDR iter env 6
2010         - 69  # rls2101.rel NDRPDR iter env 6
2011         - 70  # rls2101.rel NDRPDR iter env 6
2012         - 75  # rls2101.rel NDRPDR iter env 6
2013         - 76  # rls2101.rel NDRPDR iter env 6
2014         - 77  # rls2101.rel NDRPDR iter env 6
2015         - 82  # rls2101.rel NDRPDR iter env 6
2016         - 85  # rls2101.rel NDRPDR iter env 6
2017         - 86  # rls2101.rel NDRPDR iter env 6
2018         - 94  # rls2101.rel NDRPDR iter env 6
2019         - 89  # rls2101.rel NDRPDR iter RND env 6
2020         - 90  # rls2101.rel NDRPDR iter RND env 6
2021         - 91  # rls2101.rel NDRPDR iter RND env 6
2022         - 92  # rls2101.rel NDRPDR iter RND env 6
2023         - 93  # rls2101.rel NDRPDR iter RND env 6
2024         - 96  # rls2101.rel NDRPDR iter RND env 6
2025         - 98  # rls2101.rel NDRPDR iter RND env 6
2026         - 99  # rls2101.rel NDRPDR iter RND env 6
2027         - 101 # rls2101.rel NDRPDR iter RND env 6
2028         - 102 # rls2101.rel NDRPDR iter RND env 6
2029         - 116 # rls2101.rel NDRPDR iter NAT env 6
2030         - 117 # rls2101.rel NDRPDR iter NAT env 6
2031         - 118 # rls2101.rel NDRPDR iter NAT env 6
2032         - 119 # rls2101.rel NDRPDR iter NAT env 6
2033         - 120 # rls2101.rel NDRPDR iter NAT env 6
2034         - 121 # rls2101.rel NDRPDR iter NAT env 6
2035         - 122 # rls2101.rel NDRPDR iter NAT env 6
2036         - 123 # rls2101.rel NDRPDR iter NAT env 6
2037         - 124 # rls2101.rel NDRPDR iter NAT env 6
2038         - 125 # rls2101.rel NDRPDR iter NAT env 6
2039     vpp-compare-testbeds-skx-clx-cmp:
2040       csit-vpp-perf-report-iterative-2101-2n-clx:
2041         - 54  # rls2101.rel NDRPDR iter env 6
2042         - 59  # rls2101.rel NDRPDR iter env 6
2043         - 60  # rls2101.rel NDRPDR iter env 6
2044         - 63  # rls2101.rel NDRPDR iter env 6
2045         - 66  # rls2101.rel NDRPDR iter env 6
2046         - 68  # rls2101.rel NDRPDR iter env 6
2047         - 73  # rls2101.rel NDRPDR iter env 6
2048         - 75  # rls2101.rel NDRPDR iter env 6
2049         - 86  # rls2101.rel NDRPDR iter env 6
2050         - 90  # rls2101.rel NDRPDR iter env 6
2051         - 80  # rls2101.rel NDRPDR iter RND env 6
2052         - 87  # rls2101.rel NDRPDR iter RND env 6
2053         - 91  # rls2101.rel NDRPDR iter RND env 6
2054         - 92  # rls2101.rel NDRPDR iter RND env 6
2055         - 93  # rls2101.rel NDRPDR iter RND env 6
2056         - 94  # rls2101.rel NDRPDR iter RND env 6
2057         - 95  # rls2101.rel NDRPDR iter RND env 6
2058         - 100 # rls2101.rel NDRPDR iter RND env 6
2059         - 106 # rls2101.rel NDRPDR iter RND env 6
2060         - 108 # rls2101.rel NDRPDR iter RND env 6
2061         - 112 # rls2101.rel NDRPDR iter NAT env 6
2062         - 113 # rls2101.rel NDRPDR iter NAT env 6
2063         - 114 # rls2101.rel NDRPDR iter NAT env 6
2064         - 115 # rls2101.rel NDRPDR iter NAT env 6
2065         - 116 # rls2101.rel NDRPDR iter NAT env 6
2066         - 117 # rls2101.rel NDRPDR iter NAT env 6
2067         - 118 # rls2101.rel NDRPDR iter NAT env 6
2068         - 119 # rls2101.rel NDRPDR iter NAT env 6
2069         - 120 # rls2101.rel NDRPDR iter NAT env 6
2070         - 121 # rls2101.rel NDRPDR iter NAT env 6
2071         - 122 # rls2101.rel NDRPDR iter MLX env 6
2072         - 123 # rls2101.rel NDRPDR iter MLX env 6
2073         - 124 # rls2101.rel NDRPDR iter MLX env 6
2074         - 126 # rls2101.rel NDRPDR iter MLX env 6
2075         - 127 # rls2101.rel NDRPDR iter MLX env 6
2076         - 128 # rls2101.rel NDRPDR iter MLX env 6
2077         - 129 # rls2101.rel NDRPDR iter MLX env 6
2078         - 130 # rls2101.rel NDRPDR iter MLX env 6
2079         - 131 # rls2101.rel NDRPDR iter MLX env 6
2080         - 132 # rls2101.rel NDRPDR iter MLX env 6
2081
2082     vpp-compare-testbeds-hsw-clx-ref:
2083       csit-vpp-perf-report-iterative-2101-3n-hsw:
2084         - 64  # rls2101.rel NDRPDR iter env 6
2085         - 71  # rls2101.rel NDRPDR iter env 6
2086         - 73  # rls2101.rel NDRPDR iter env 6
2087         - 74  # rls2101.rel NDRPDR iter env 6
2088         - 80  # rls2101.rel NDRPDR iter env 6
2089         - 81  # rls2101.rel NDRPDR iter env 6
2090         - 82  # rls2101.rel NDRPDR iter env 6
2091         - 83  # rls2101.rel NDRPDR iter env 6
2092         - 88  # rls2101.rel NDRPDR iter env 6
2093         - 89  # rls2101.rel NDRPDR iter env 6
2094         - 128 # rls2101.rel NDRPDR iter RND env 6
2095         - 129 # rls2101.rel NDRPDR iter RND env 6
2096         - 130 # rls2101.rel NDRPDR iter RND env 6
2097         - 131 # rls2101.rel NDRPDR iter RND env 6
2098         - 132 # rls2101.rel NDRPDR iter RND env 6
2099         - 133 # rls2101.rel NDRPDR iter RND env 6
2100         - 134 # rls2101.rel NDRPDR iter RND env 6
2101         - 135 # rls2101.rel NDRPDR iter RND env 6
2102         - 136 # rls2101.rel NDRPDR iter RND env 6
2103         - 137 # rls2101.rel NDRPDR iter RND env 6
2104     vpp-compare-testbeds-hsw-clx-cmp:
2105       csit-vpp-perf-report-iterative-2101-2n-clx:
2106         - 54  # rls2101.rel NDRPDR iter env 6
2107         - 59  # rls2101.rel NDRPDR iter env 6
2108         - 60  # rls2101.rel NDRPDR iter env 6
2109         - 63  # rls2101.rel NDRPDR iter env 6
2110         - 66  # rls2101.rel NDRPDR iter env 6
2111         - 68  # rls2101.rel NDRPDR iter env 6
2112         - 73  # rls2101.rel NDRPDR iter env 6
2113         - 75  # rls2101.rel NDRPDR iter env 6
2114         - 90  # rls2101.rel NDRPDR iter env 6
2115         - 80  # rls2101.rel NDRPDR iter RND env 6
2116         - 87  # rls2101.rel NDRPDR iter RND env 6
2117         - 91  # rls2101.rel NDRPDR iter RND env 6
2118         - 92  # rls2101.rel NDRPDR iter RND env 6
2119         - 93  # rls2101.rel NDRPDR iter RND env 6
2120         - 94  # rls2101.rel NDRPDR iter RND env 6
2121         - 95  # rls2101.rel NDRPDR iter RND env 6
2122         - 100 # rls2101.rel NDRPDR iter RND env 6
2123         - 106 # rls2101.rel NDRPDR iter RND env 6
2124         - 108 # rls2101.rel NDRPDR iter RND env 6
2125         - 112 # rls2101.rel NDRPDR iter NAT env 6
2126         - 113 # rls2101.rel NDRPDR iter NAT env 6
2127         - 114 # rls2101.rel NDRPDR iter NAT env 6
2128         - 115 # rls2101.rel NDRPDR iter NAT env 6
2129         - 116 # rls2101.rel NDRPDR iter NAT env 6
2130         - 117 # rls2101.rel NDRPDR iter NAT env 6
2131         - 118 # rls2101.rel NDRPDR iter NAT env 6
2132         - 119 # rls2101.rel NDRPDR iter NAT env 6
2133         - 120 # rls2101.rel NDRPDR iter NAT env 6
2134         - 121 # rls2101.rel NDRPDR iter NAT env 6
2135         - 122 # rls2101.rel NDRPDR iter MLX env 6
2136         - 123 # rls2101.rel NDRPDR iter MLX env 6
2137         - 124 # rls2101.rel NDRPDR iter MLX env 6
2138         - 126 # rls2101.rel NDRPDR iter MLX env 6
2139         - 127 # rls2101.rel NDRPDR iter MLX env 6
2140         - 128 # rls2101.rel NDRPDR iter MLX env 6
2141         - 129 # rls2101.rel NDRPDR iter MLX env 6
2142         - 130 # rls2101.rel NDRPDR iter MLX env 6
2143         - 131 # rls2101.rel NDRPDR iter MLX env 6
2144         - 132 # rls2101.rel NDRPDR iter MLX env 6
2145
2146     vpp-compare-testbeds-mrr-ref:
2147       csit-vpp-perf-report-iterative-2101-3n-hsw:
2148         - 63  # rls2101.rel MRR iter env 6
2149     vpp-compare-testbeds-mrr-cmp:
2150       csit-vpp-perf-report-iterative-2101-3n-skx:
2151         - 35  # rls2101.rel MRR iter env 6
2152
2153     vpp-compare-testbeds-mrr-skx-clx-ref:
2154       csit-vpp-perf-report-iterative-2101-2n-skx:
2155         - 62  # rls2101.rel MRR iter env 6
2156     vpp-compare-testbeds-mrr-skx-clx-cmp:
2157       csit-vpp-perf-report-iterative-2101-2n-clx:
2158         - 53  # rls2101.rel MRR iter env 6
2159
2160     vpp-compare-testbeds-mrr-hsw-clx-ref:
2161       csit-vpp-perf-report-iterative-2101-3n-hsw:
2162         - 63  # rls2101.rel MRR iter env 6
2163     vpp-compare-testbeds-mrr-hsw-clx-cmp:
2164       csit-vpp-perf-report-iterative-2101-2n-clx:
2165         - 53  # rls2101.rel MRR iter env 6
2166
2167     dpdk-compare-testbeds-ref:
2168       csit-dpdk-perf-report-iterative-2101-3n-hsw:
2169         - 11  # rls2101 NDRPDR iter env 6
2170         - 12  # rls2101 NDRPDR iter env 6
2171         - 13  # rls2101 NDRPDR iter env 6
2172         - 14  # rls2101 NDRPDR iter env 6
2173         - 16  # rls2101 NDRPDR iter env 6
2174         - 17  # rls2101 NDRPDR iter env 6
2175         - 18  # rls2101 NDRPDR iter env 6
2176         - 19  # rls2101 NDRPDR iter env 6
2177         - 20  # rls2101 NDRPDR iter env 6
2178         - 21  # rls2101 NDRPDR iter env 6
2179     dpdk-compare-testbeds-cmp:
2180       csit-dpdk-perf-report-iterative-2101-3n-skx:
2181         - 12  # rls2101 NDRPDR iter env 6
2182         - 14  # rls2101 NDRPDR iter env 6
2183         - 15  # rls2101 NDRPDR iter env 6
2184         - 17  # rls2101 NDRPDR iter env 6
2185         - 19  # rls2101 NDRPDR iter env 6
2186         - 20  # rls2101 NDRPDR iter env 6
2187         - 21  # rls2101 NDRPDR iter env 6
2188         - 22  # rls2101 NDRPDR iter env 6
2189         - 25  # rls2101 NDRPDR iter env 6
2190         - 26  # rls2101 NDRPDR iter env 6
2191
2192     dpdk-compare-testbeds-skx-clx-ref:
2193       csit-dpdk-perf-report-iterative-2101-2n-skx:
2194         - 11  # rls2101 NDRPDR iter env 6
2195         - 12  # rls2101 NDRPDR iter env 6
2196         - 13  # rls2101 NDRPDR iter env 6
2197         - 14  # rls2101 NDRPDR iter env 6
2198         - 15  # rls2101 NDRPDR iter env 6
2199         - 17  # rls2101 NDRPDR iter env 6
2200         - 18  # rls2101 NDRPDR iter env 6
2201         - 19  # rls2101 NDRPDR iter env 6
2202         - 20  # rls2101 NDRPDR iter env 6
2203         - 21  # rls2101 NDRPDR iter env 6
2204     dpdk-compare-testbeds-skx-clx-cmp:
2205       csit-dpdk-perf-report-iterative-2101-2n-clx:
2206         - 12  # rls2101 NDRPDR iter env 6
2207         - 13  # rls2101 NDRPDR iter env 6
2208         - 14  # rls2101 NDRPDR iter env 6
2209         - 18  # rls2101 NDRPDR iter env 6
2210         - 22  # rls2101 NDRPDR iter env 6
2211
2212     # Compare topologies
2213
2214     vpp-compare-topologies-ref:
2215       csit-vpp-perf-report-iterative-2101-3n-skx:
2216         - 36  # rls2101.rel NDRPDR iter env 6
2217         - 37  # rls2101.rel NDRPDR iter env 6
2218         - 38  # rls2101.rel NDRPDR iter env 6
2219         - 39  # rls2101.rel NDRPDR iter env 6
2220         - 40  # rls2101.rel NDRPDR iter env 6
2221         - 41  # rls2101.rel NDRPDR iter env 6
2222         - 42  # rls2101.rel NDRPDR iter env 6
2223         - 47  # rls2101.rel NDRPDR iter env 6
2224         - 48  # rls2101.rel NDRPDR iter env 6
2225         - 50  # rls2101.rel NDRPDR iter env 6
2226     vpp-compare-topologies-cmp:
2227       csit-vpp-perf-report-iterative-2101-2n-skx:
2228         - 63  # rls2101.rel NDRPDR iter env 6
2229         - 69  # rls2101.rel NDRPDR iter env 6
2230         - 70  # rls2101.rel NDRPDR iter env 6
2231         - 75  # rls2101.rel NDRPDR iter env 6
2232         - 76  # rls2101.rel NDRPDR iter env 6
2233         - 77  # rls2101.rel NDRPDR iter env 6
2234         - 82  # rls2101.rel NDRPDR iter env 6
2235         - 85  # rls2101.rel NDRPDR iter env 6
2236         - 86  # rls2101.rel NDRPDR iter env 6
2237         - 94  # rls2101.rel NDRPDR iter env 6
2238
2239     vpp-compare-topologies-mrr-ref:
2240       csit-vpp-perf-report-iterative-2101-3n-skx:
2241         - 35  # rls2101.rel MRR iter env 6
2242     vpp-compare-topologies-mrr-cmp:
2243       csit-vpp-perf-report-iterative-2101-2n-skx:
2244         - 62  # rls2101.rel MRR iter env 6
2245
2246     dpdk-compare-topologies-ref:
2247       csit-dpdk-perf-report-iterative-2101-3n-skx:
2248         - 12  # rls2101 NDRPDR iter env 6
2249         - 14  # rls2101 NDRPDR iter env 6
2250         - 15  # rls2101 NDRPDR iter env 6
2251         - 17  # rls2101 NDRPDR iter env 6
2252         - 19  # rls2101 NDRPDR iter env 6
2253         - 20  # rls2101 NDRPDR iter env 6
2254         - 21  # rls2101 NDRPDR iter env 6
2255         - 22  # rls2101 NDRPDR iter env 6
2256         - 25  # rls2101 NDRPDR iter env 6
2257         - 26  # rls2101 NDRPDR iter env 6
2258     dpdk-compare-topologies-cmp:
2259       csit-dpdk-perf-report-iterative-2101-2n-skx:
2260         - 11  # rls2101 NDRPDR iter env 6
2261         - 12  # rls2101 NDRPDR iter env 6
2262         - 13  # rls2101 NDRPDR iter env 6
2263         - 14  # rls2101 NDRPDR iter env 6
2264         - 15  # rls2101 NDRPDR iter env 6
2265         - 17  # rls2101 NDRPDR iter env 6
2266         - 18  # rls2101 NDRPDR iter env 6
2267         - 19  # rls2101 NDRPDR iter env 6
2268         - 20  # rls2101 NDRPDR iter env 6
2269         - 21  # rls2101 NDRPDR iter env 6
2270
2271   plot-layouts:
2272
2273     plot-soak-throughput:
2274       titlefont:
2275         size: 16
2276       xaxis:
2277         title: "<b>Test Cases [Index]</b>"
2278         titlefont:
2279           size: 14
2280         autorange: True
2281         fixedrange: False
2282         gridcolor: "rgb(230, 230, 230)"
2283         linecolor: "rgb(220, 220, 220)"
2284         linewidth: 1
2285         showgrid: True
2286         showline: True
2287         showticklabels: True
2288         tickcolor: "rgb(220, 220, 220)"
2289         tickmode: "linear"
2290         tickfont:
2291           size: 14
2292         zeroline: False
2293       yaxis:
2294         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
2295         titlefont:
2296           size: 14
2297         gridcolor: "rgb(230, 230, 230)"
2298         hoverformat: ".4r"
2299         tickformat: ".3r"
2300         linecolor: "rgb(220, 220, 220)"
2301         linewidth: 1
2302         showgrid: True
2303         showline: True
2304         showticklabels: True
2305         tickcolor: "rgb(220, 220, 220)"
2306         tickfont:
2307           size: 14
2308         zeroline: False
2309         range: [0,50]
2310       autosize: False
2311       margin:
2312         t: 50
2313         b: 0
2314         l: 80
2315         r: 20
2316       showlegend: True
2317       legend:
2318         orientation: "h"
2319         font:
2320           size: 14
2321       width: 700
2322       height: 900
2323       paper_bgcolor: "#fff"
2324       plot_bgcolor: "#fff"
2325       hoverlabel:
2326         namelength: -1
2327
2328     plot-service-density:
2329       titlefont:
2330         size: 16
2331       xaxis:
2332         side: "top"
2333         autorange: True
2334         fixedrange: False
2335         showgrid: False
2336         showline: False
2337         showticklabels: False
2338         ticks: ""
2339         ticklen: 0
2340         tickwidth: 0
2341         zeroline: False
2342       yaxis:
2343         autorange: "reversed"
2344         showgrid: False
2345         showline: False
2346         showticklabels: False
2347         ticks: ""
2348         ticklen: 0
2349         tickwidth: 0
2350         zeroline: False
2351       showlegend: False
2352       paper_bgcolor: "#fff"
2353       plot_bgcolor: "#fff"
2354       width: 700
2355       height: 700
2356       hoverlabel:
2357         namelength: -1
2358
2359     plot-hoststack:
2360       titlefont:
2361         size: 16
2362       xaxis:
2363         title: "<b>Test Cases [Index]</b>"
2364         titlefont:
2365           size: 14
2366         autorange: True
2367         fixedrange: False
2368         gridcolor: "rgb(230, 230, 230)"
2369         linecolor: "rgb(220, 220, 220)"
2370         linewidth: 1
2371         showgrid: True
2372         showline: True
2373         showticklabels: True
2374         tickcolor: "rgb(220, 220, 220)"
2375         tickmode: "linear"
2376         tickfont:
2377           size: 14
2378         zeroline: False
2379       yaxis:
2380         title: "<b>Bandwidth [Gbps]</b>"
2381         titlefont:
2382           size: 14
2383         gridcolor: "rgb(230, 230, 230)"
2384         hoverformat: ".4s"
2385         linecolor: "rgb(220, 220, 220)"
2386         linewidth: 1
2387         rangemode: "tozero"
2388         showgrid: True
2389         showline: True
2390         showticklabels: True
2391         tickcolor: "rgb(230, 230, 230)"
2392         tickformat: ".3s"
2393         tickfont:
2394           size: 14
2395         zeroline: False
2396       autosize: False
2397       margin:
2398         t: 50
2399         b: 20
2400         l: 80
2401         r: 20
2402       showlegend: True
2403       legend:
2404         orientation: "h"
2405         font:
2406           size: 14
2407       width: 700
2408       height: 800
2409       paper_bgcolor: "#fff"
2410       plot_bgcolor: "#fff"
2411       hoverlabel:
2412         namelength: -1
2413
2414     plot-throughput:
2415       titlefont:
2416         size: 16
2417       xaxis:
2418         title: "<b>Test Cases [Index]</b>"
2419         titlefont:
2420           size: 14
2421         autorange: True
2422         fixedrange: False
2423         gridcolor: "rgb(230, 230, 230)"
2424         linecolor: "rgb(220, 220, 220)"
2425         linewidth: 1
2426         showgrid: True
2427         showline: True
2428         showticklabels: True
2429         tickcolor: "rgb(220, 220, 220)"
2430         tickmode: "linear"
2431         tickfont:
2432           size: 14
2433         zeroline: False
2434       yaxis:
2435         title: "<b>Packet Throughput [Mpps]</b>"
2436         titlefont:
2437           size: 14
2438         gridcolor: "rgb(230, 230, 230)"
2439         hoverformat: ".4r"
2440         tickformat: ".3r"
2441         linecolor: "rgb(220, 220, 220)"
2442         linewidth: 1
2443         showgrid: True
2444         showline: True
2445         showticklabels: True
2446         tickcolor: "rgb(220, 220, 220)"
2447         tickfont:
2448           size: 14
2449         zeroline: False
2450         range: [0,50]
2451       autosize: False
2452       margin:
2453         t: 50
2454         b: 0
2455         l: 80
2456         r: 20
2457       showlegend: True
2458       legend:
2459         orientation: "h"
2460         font:
2461           size: 14
2462       width: 700
2463       height: 900
2464       paper_bgcolor: "#fff"
2465       plot_bgcolor: "#fff"
2466       hoverlabel:
2467         namelength: -1
2468
2469     plot-throughput-gbps:
2470       titlefont:
2471         size: 16
2472       xaxis:
2473         title: "<b>Test Cases [Index]</b>"
2474         titlefont:
2475           size: 14
2476         autorange: True
2477         fixedrange: False
2478         gridcolor: "rgb(230, 230, 230)"
2479         linecolor: "rgb(220, 220, 220)"
2480         linewidth: 1
2481         showgrid: True
2482         showline: True
2483         showticklabels: True
2484         tickcolor: "rgb(220, 220, 220)"
2485         tickmode: "linear"
2486         tickfont:
2487           size: 14
2488         zeroline: False
2489       yaxis:
2490         title: "<b>Data Throughput [Gbps]</b>"
2491         titlefont:
2492           size: 14
2493         gridcolor: "rgb(230, 230, 230)"
2494         hoverformat: ".4r"
2495         tickformat: ".3r"
2496         linecolor: "rgb(220, 220, 220)"
2497         linewidth: 1
2498         showgrid: True
2499         showline: True
2500         showticklabels: True
2501         tickcolor: "rgb(220, 220, 220)"
2502         tickfont:
2503           size: 14
2504         zeroline: False
2505         range: [0,10]
2506       autosize: False
2507       margin:
2508         t: 50
2509         b: 0
2510         l: 80
2511         r: 20
2512       showlegend: True
2513       legend:
2514         orientation: "h"
2515         font:
2516           size: 14
2517       width: 700
2518       height: 900
2519       paper_bgcolor: "#fff"
2520       plot_bgcolor: "#fff"
2521       hoverlabel:
2522         namelength: -1
2523
2524     plot-cps:
2525       titlefont:
2526         size: 16
2527       xaxis:
2528         title: "<b>Test Cases [Index]</b>"
2529         titlefont:
2530           size: 14
2531         autorange: True
2532         fixedrange: False
2533         gridcolor: "rgb(230, 230, 230)"
2534         linecolor: "rgb(220, 220, 220)"
2535         linewidth: 1
2536         showgrid: True
2537         showline: True
2538         showticklabels: True
2539         tickcolor: "rgb(220, 220, 220)"
2540         tickmode: "linear"
2541         tickfont:
2542           size: 14
2543         zeroline: False
2544       yaxis:
2545         title: "<b>Connection Rate [Mcps]</b>"
2546         titlefont:
2547           size: 14
2548         gridcolor: "rgb(230, 230, 230)"
2549         hoverformat: ".4r"
2550         tickformat: ".3s"
2551         linecolor: "rgb(220, 220, 220)"
2552         linewidth: 1
2553         showgrid: True
2554         showline: True
2555         showticklabels: True
2556         tickcolor: "rgb(220, 220, 220)"
2557         tickfont:
2558           size: 14
2559         zeroline: False
2560         range: [0,10]
2561       autosize: False
2562       margin:
2563         t: 50
2564         b: 0
2565         l: 80
2566         r: 20
2567       showlegend: True
2568       legend:
2569         orientation: "h"
2570         font:
2571           size: 14
2572       width: 700
2573       height: 900
2574       paper_bgcolor: "#fff"
2575       plot_bgcolor: "#fff"
2576       hoverlabel:
2577         namelength: -1
2578
2579     plot-throughput-speedup-analysis:
2580       titlefont:
2581         size: 16
2582       xaxis:
2583         title: "<b>Number of Cores [Qty]</b>"
2584         titlefont:
2585           size: 14
2586         autorange: True
2587         fixedrange: False
2588         gridcolor: "rgb(230, 230, 230)"
2589         linecolor: "rgb(220, 220, 220)"
2590         linewidth: 1
2591         showgrid: True
2592         showline: True
2593         showticklabels: True
2594         tickcolor: "rgb(238, 238, 238)"
2595         tickmode: "linear"
2596         tickfont:
2597           size: 14
2598         zeroline: False
2599       yaxis:
2600         title: "<b>Packet Throughput [Mpps]</b>"
2601         titlefont:
2602           size: 14
2603         type: "linear"
2604         gridcolor: "rgb(230, 230, 230)"
2605         hoverformat: ".4s"
2606         linecolor: "rgb(220, 220, 220)"
2607         linewidth: 1
2608         showgrid: True
2609         showline: True
2610         showticklabels: True
2611         tickcolor: "rgb(220, 220, 220)"
2612         tickformat: ".4s"
2613         tickfont:
2614           size: 14
2615         zeroline: True
2616         rangemode: "tozero"
2617         range: [0,100]
2618       legend:
2619         orientation: "h"
2620         font:
2621           size: 14
2622         xanchor: "left"
2623         yanchor: "top"
2624         x: 0
2625         y: -0.2
2626         bgcolor: "rgba(255, 255, 255, 0)"
2627         bordercolor: "rgba(255, 255, 255, 0)"
2628         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2629       autosize: False
2630       margin:
2631           't': 50
2632           'b': 150
2633           'l': 85
2634           'r': 10
2635       showlegend: True
2636       width: 700
2637       height: 700
2638       paper_bgcolor: "#fff"
2639       plot_bgcolor: "#fff"
2640       hoverlabel:
2641         namelength: -1
2642       annotations: [
2643         {
2644           text: "_ _          __          ...",
2645           align: "left",
2646           showarrow: False,
2647           xref: "paper",
2648           yref: "paper",
2649           xanchor: "left",
2650           yanchor: "top",
2651           x: 0,
2652           y: -0.14,
2653           font: {
2654             family: "Consolas, Courier New",
2655             size: 13
2656           },
2657         },
2658         {
2659           text: "    Perfect     Measured     Limit",
2660           align: "left",
2661           showarrow: False,
2662           xref: "paper",
2663           yref: "paper",
2664           xanchor: "left",
2665           yanchor: "top",
2666           x: 0,
2667           y: -0.15,
2668           font: {
2669             family: "Consolas, Courier New",
2670             size: 13
2671           },
2672         },
2673       ]
2674
2675     plot-throughput-speedup-analysis-gbps:
2676       titlefont:
2677         size: 16
2678       xaxis:
2679         title: "<b>Number of Cores [Qty]</b>"
2680         titlefont:
2681           size: 14
2682         autorange: True
2683         fixedrange: False
2684         gridcolor: "rgb(230, 230, 230)"
2685         linecolor: "rgb(220, 220, 220)"
2686         linewidth: 1
2687         showgrid: True
2688         showline: True
2689         showticklabels: True
2690         tickcolor: "rgb(238, 238, 238)"
2691         tickmode: "linear"
2692         tickfont:
2693           size: 14
2694         zeroline: False
2695       yaxis:
2696         title: "<b>Packet Throughput [Gbps]</b>"
2697         titlefont:
2698           size: 14
2699         type: "linear"
2700         gridcolor: "rgb(230, 230, 230)"
2701         hoverformat: ".4s"
2702         linecolor: "rgb(220, 220, 220)"
2703         linewidth: 1
2704         showgrid: True
2705         showline: True
2706         showticklabels: True
2707         tickcolor: "rgb(220, 220, 220)"
2708         tickformat: ".4s"
2709         tickfont:
2710           size: 14
2711         zeroline: True
2712         rangemode: "tozero"
2713         range: [0,100]
2714       legend:
2715         orientation: "h"
2716         font:
2717           size: 14
2718         xanchor: "left"
2719         yanchor: "top"
2720         x: 0
2721         y: -0.2
2722         bgcolor: "rgba(255, 255, 255, 0)"
2723         bordercolor: "rgba(255, 255, 255, 0)"
2724         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2725       autosize: False
2726       margin:
2727           't': 50
2728           'b': 150
2729           'l': 85
2730           'r': 10
2731       showlegend: True
2732       width: 700
2733       height: 700
2734       paper_bgcolor: "#fff"
2735       plot_bgcolor: "#fff"
2736       hoverlabel:
2737         namelength: -1
2738       annotations: [
2739         {
2740           text: "_ _          __",
2741           align: "left",
2742           showarrow: False,
2743           xref: "paper",
2744           yref: "paper",
2745           xanchor: "left",
2746           yanchor: "top",
2747           x: 0,
2748           y: -0.13,
2749           font: {
2750             family: "Consolas, Courier New",
2751             size: 13
2752           },
2753         },
2754         {
2755           text: "    Perfect     Measured",
2756           align: "left",
2757           showarrow: False,
2758           xref: "paper",
2759           yref: "paper",
2760           xanchor: "left",
2761           yanchor: "top",
2762           x: 0,
2763           y: -0.15,
2764           font: {
2765             family: "Consolas, Courier New",
2766             size: 13
2767           },
2768         },
2769       ]
2770
2771     plot-throughput-speedup-analysis-cps:
2772       titlefont:
2773         size: 16
2774       xaxis:
2775         title: "<b>Number of Cores [Qty]</b>"
2776         titlefont:
2777           size: 14
2778         autorange: True
2779         fixedrange: False
2780         gridcolor: "rgb(230, 230, 230)"
2781         linecolor: "rgb(220, 220, 220)"
2782         linewidth: 1
2783         showgrid: True
2784         showline: True
2785         showticklabels: True
2786         tickcolor: "rgb(238, 238, 238)"
2787         tickmode: "linear"
2788         tickfont:
2789           size: 14
2790         zeroline: False
2791       yaxis:
2792         title: "<b>Connection Rate [Mcps]</b>"
2793         titlefont:
2794           size: 14
2795         type: "linear"
2796         gridcolor: "rgb(230, 230, 230)"
2797         hoverformat: ".4s"
2798         linecolor: "rgb(220, 220, 220)"
2799         linewidth: 1
2800         showgrid: True
2801         showline: True
2802         showticklabels: True
2803         tickcolor: "rgb(220, 220, 220)"
2804         tickformat: ".4s"
2805         tickfont:
2806           size: 14
2807         zeroline: True
2808         rangemode: "tozero"
2809         range: [0,100]
2810       legend:
2811         orientation: "h"
2812         font:
2813           size: 14
2814         xanchor: "left"
2815         yanchor: "top"
2816         x: 0
2817         y: -0.2
2818         bgcolor: "rgba(255, 255, 255, 0)"
2819         bordercolor: "rgba(255, 255, 255, 0)"
2820         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2821       autosize: False
2822       margin:
2823           't': 50
2824           'b': 150
2825           'l': 85
2826           'r': 10
2827       showlegend: True
2828       width: 700
2829       height: 700
2830       paper_bgcolor: "#fff"
2831       plot_bgcolor: "#fff"
2832       hoverlabel:
2833         namelength: -1
2834       annotations: [
2835         {
2836           text: "_ _          __",
2837           align: "left",
2838           showarrow: False,
2839           xref: "paper",
2840           yref: "paper",
2841           xanchor: "left",
2842           yanchor: "top",
2843           x: 0,
2844           y: -0.13,
2845           font: {
2846             family: "Consolas, Courier New",
2847             size: 13
2848           },
2849         },
2850         {
2851           text: "    Perfect     Measured",
2852           align: "left",
2853           showarrow: False,
2854           xref: "paper",
2855           yref: "paper",
2856           xanchor: "left",
2857           yanchor: "top",
2858           x: 0,
2859           y: -0.15,
2860           font: {
2861             family: "Consolas, Courier New",
2862             size: 13
2863           },
2864         },
2865       ]
2866
2867     plot-latency:
2868       titlefont:
2869         size: 16
2870       xaxis:
2871         title: "<b>Direction</b>"
2872         titlefont:
2873           size: 14
2874         autorange: True
2875         fixedrange: False
2876         gridcolor: "rgb(230, 230, 230)"
2877         linecolor: "rgb(220, 220, 220)"
2878         linewidth: 1
2879         showgrid: True
2880         showline: True
2881         showticklabels: False
2882         tickcolor: "rgb(220, 220, 220)"
2883         tickmode: "linear"
2884         tickfont:
2885           size: 14
2886         zeroline: False
2887       yaxis:
2888         title: "<b>Packet Latency [uSec]</b>"
2889         titlefont:
2890           size: 14
2891         type: "linear"
2892         gridcolor: "rgb(230, 230, 230)"
2893         hoverformat: ".4s"
2894         linecolor: "rgb(220, 220, 220)"
2895         linewidth: 1
2896         showgrid: True
2897         showline: True
2898         showticklabels: True
2899         tickcolor: "rgb(220, 220, 220)"
2900         tickformat: ".4s"
2901         tickfont:
2902           size: 14
2903         zeroline: True
2904         rangemode: "tozero"
2905       legend:
2906         orientation: "h"
2907         font:
2908           size: 14
2909         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2910       autosize: False
2911       margin:
2912           't': 50
2913           'b': 150
2914           'l': 80
2915           'r': 10
2916       showlegend: True
2917       width: 700
2918       height: 700
2919       paper_bgcolor: "#fff"
2920       plot_bgcolor: "#fff"
2921       hoverlabel:
2922         namelength: -1
2923
2924     plot-hdrh-latency:
2925       title:
2926         text: ""
2927         xanchor: "center"
2928         x: 0.5
2929         font:
2930           size: 16
2931       width: 700
2932       plot_bgcolor: "white"
2933       annotations:
2934         - font:
2935             size: 14
2936           showarrow: False
2937           text: "<b>Packet Latency [uSec]</b>"
2938           x: 1
2939           xanchor: "right"
2940           xref: "paper"
2941           y: -0.045
2942           yanchor: "top"
2943           yref: "paper"
2944         - font:
2945             size: 14
2946           showarrow: False
2947           text: "<b>Probability [%]</b>"
2948           textangle: 270
2949           x: -0.06
2950           xanchor: "center"
2951           xref: "paper"
2952           y: 0.5
2953           yanchor: "middle"
2954           yref: "paper"
2955         - font:
2956             size: 14
2957           showarrow: False
2958           text: "<b>Direction: E-W</b>"
2959           x: 0.24
2960           xanchor: "center"
2961           xref: "paper"
2962           y: 1.05
2963           yanchor: "bottom"
2964           yref: "paper"
2965         - font:
2966             size: 14
2967           showarrow: False
2968           text: "<b>Direction: W-E</b>"
2969           x: 0.74
2970           xanchor: "center"
2971           xref: "paper"
2972           y: 1.05
2973           yanchor: "bottom"
2974           yref: "paper"
2975
2976     plot-hdrh-latency-percentile-x-log:
2977       title:
2978         text: "<b>Latency by Percentile Distribution</b>"
2979         xanchor: "center"
2980         x: 0.5
2981         font:
2982           size: 18
2983       showlegend: True
2984       legend:
2985         traceorder: "normal"
2986         orientation: "h"
2987         font:
2988           size: 16
2989         xanchor: "left"
2990         yanchor: "top"
2991         x: 0
2992         y: -0.2
2993         bgcolor: "rgba(255, 255, 255, 0)"
2994         bordercolor: "rgba(255, 255, 255, 0)"
2995       xaxis:
2996         type: "log"
2997         title: "<b>Percentile [%]</b>"
2998         titlefont:
2999           size: 14
3000         autorange: False
3001         fixedrange: True
3002         gridcolor: "rgb(230, 230, 230)"
3003         linecolor: "rgb(220, 220, 220)"
3004         linewidth: 1
3005         showgrid: True
3006         showline: True
3007         showticklabels: True
3008         tickcolor: "rgb(220, 220, 220)"
3009         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
3010         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
3011         tickfont:
3012           size: 14
3013       yaxis:
3014         title: "<b>One-Way Latency per Direction [uSec]</b>"
3015         titlefont:
3016           size: 14
3017         gridcolor: "rgb(230, 230, 230)"
3018         linecolor: "rgb(220, 220, 220)"
3019         linewidth: 1
3020         showgrid: True
3021         showline: True
3022         showticklabels: True
3023         tickcolor: "rgb(220, 220, 220)"
3024         tickfont:
3025           size: 14
3026       autosize: False
3027       width: 700
3028       height: 700
3029       paper_bgcolor: "white"
3030       plot_bgcolor: "white"
3031
3032     plot-hdrh-latency-by-percentile:
3033       title:
3034         text: "<b>Latency by Percentile Distribution</b>"
3035         xanchor: "center"
3036         x: 0.5
3037         font:
3038           size: 18
3039       showlegend: True
3040       legend:
3041         traceorder: "normal"
3042         orientation: "h"
3043         font:
3044           size: 16
3045         xanchor: "left"
3046         yanchor: "top"
3047         x: 0
3048         y: -0.2
3049         bgcolor: "rgba(255, 255, 255, 0)"
3050         bordercolor: "rgba(255, 255, 255, 0)"
3051       xaxis:
3052         type: "linear"
3053         title: "<b>Percentile [%]</b>"
3054         titlefont:
3055           size: 14
3056         autorange: False
3057         fixedrange: False
3058         range: [0, 100]
3059         gridcolor: "rgb(230, 230, 230)"
3060         linecolor: "rgb(220, 220, 220)"
3061         linewidth: 1
3062         showgrid: True
3063         showline: True
3064         showticklabels: True
3065         tickcolor: "rgb(220, 220, 220)"
3066         tickvals: [0, 25, 50, 75, 100]
3067         ticktext: [0, 25, 50, 75, 100]
3068         tickfont:
3069           size: 14
3070       yaxis:
3071         title: "<b>One-Way Latency per Direction [uSec]</b>"
3072         titlefont:
3073           size: 14
3074         gridcolor: "rgb(230, 230, 230)"
3075         linecolor: "rgb(220, 220, 220)"
3076         linewidth: 1
3077         showgrid: True
3078         showline: True
3079         showticklabels: True
3080         tickcolor: "rgb(220, 220, 220)"
3081         tickfont:
3082           size: 14
3083       width: 700
3084       height: 700
3085       paper_bgcolor: "white"
3086       plot_bgcolor: "white"
3087
3088     plot-scatter-error-bars-gbps:
3089       titlefont:
3090         size: 16
3091       xaxis:
3092         title: "<b>Test Cases [Index]</b>"
3093         titlefont:
3094           size: 14
3095         autorange: True
3096         fixedrange: False
3097         gridcolor: "rgb(230, 230, 230)"
3098         linecolor: "rgb(220, 220, 220)"
3099         linewidth: 1
3100         showgrid: True
3101         showline: True
3102         showticklabels: True
3103         tickcolor: "rgb(220, 220, 220)"
3104         tickmode: "linear"
3105         tickfont:
3106           size: 14
3107         zeroline: False
3108       yaxis:
3109         title: "<b>Data Throughput [Gbps]</b>"
3110         titlefont:
3111           size: 14
3112         gridcolor: "rgb(230, 230, 230)"
3113         hoverformat: ".4r"
3114         tickformat: ".3r"
3115         linecolor: "rgb(220, 220, 220)"
3116         linewidth: 1
3117         showgrid: True
3118         showline: True
3119         showticklabels: True
3120         tickcolor: "rgb(220, 220, 220)"
3121         tickfont:
3122           size: 14
3123         zeroline: False
3124         range: [0,10]
3125       autosize: False
3126       margin:
3127         t:&nbs