Report: Add rls data, fixes
[csit.git] / resources / tools / presentation / specifications / report / data_sets.yaml
index 503c621..bc6ecfe 100644 (file)
       - 13  # rls2206.rel NDRPDR cov env 10
       - 14  # rls2206.rel NDRPDR cov env 10
       - 15  # rls2206.rel NDRPDR cov env 10
-      - 16  # rls2206.rel NDRPDR cov env 10
+      - 16  # rls2206.rel NDRPDR cov env 10
       - 17  # rls2206.rel NDRPDR cov env 10
       - 18  # rls2206.rel NDRPDR cov env 10
       - 19  # rls2206.rel NDRPDR cov env 10
       - 29  # rls2206.rel NDRPDR cov env 10
       - 30  # rls2206.rel NDRPDR cov env 10
       - 31  # rls2206.rel NDRPDR cov env 10
-      - 32  # rls2206.rel NDRPDR cov env 10
+      - 32  # rls2206.rel NDRPDR cov env 10
       - 33  # rls2206.rel NDRPDR cov env 10
+      - 34  # rls2206.rel NDRPDR cov env 10
 
   dpdk-3n-skx-hist-iter:
     csit-dpdk-perf-report-iterative-2110-3n-skx:
 
   vpp-2n-skx-curr-nfv-mrr:
     csit-vpp-perf-report-iterative-2206-2n-skx:
-      - 70  # rls2206.rel MRR nf-density iter env 10
+      - 51  # rls2206.rel MRR nf-density iter env 10
 
   vpp-2n-skx-curr-nfv-reconf:
     csit-vpp-perf-report-iterative-2206-2n-skx:
       - 1   # rls2206.rel NDRPDR cov env 10
       - 2   # rls2206.rel NDRPDR cov env 10
       - 3   # rls2206.rel NDRPDR cov env 10
-      - 4   # rls2206.rel NDRPDR cov env 10
+      - 4   # rls2206.rel NDRPDR cov env 10
       - 5   # rls2206.rel NDRPDR cov env 10
       - 6   # rls2206.rel NDRPDR cov env 10
       - 7   # rls2206.rel NDRPDR cov env 10
       - 9   # rls2206.rel NDRPDR cov env 10
       - 10  # rls2206.rel NDRPDR cov env 10
       - 11  # rls2206.rel NDRPDR cov env 10
-      - 12  # rls2206.rel NDRPDR cov env 10
+      - 12  # rls2206.rel NDRPDR cov env 10
       - 13  # rls2206.rel NDRPDR cov env 10
       - 14  # rls2206.rel NDRPDR cov env 10
       - 15  # rls2206.rel NDRPDR cov env 10
       - 16  # rls2206.rel NDRPDR cov env 10
-      - 17  # rls2206.rel NDRPDR cov env 10
+      - 17  # rls2206.rel NDRPDR cov env 10
 
   dpdk-2n-skx-hist-iter:
     csit-dpdk-perf-report-iterative-2110-2n-skx:
   vpp-2n-zn2-curr-iter:
     csit-vpp-perf-report-iterative-2206-2n-zn2:
       - 47  # rls2206.rel NDRPDR iter env 10
-      - 48  # rls2206.rel NDRPDR iter env 10
-      - 49  # rls2206.rel NDRPDR iter env 10
+      - 48  # rls2206.rel NDRPDR iter env 10
+      - 49  # rls2206.rel NDRPDR iter env 10
       - 50  # rls2206.rel NDRPDR iter env 10
       - 51  # rls2206.rel NDRPDR iter env 10
       - 52  # rls2206.rel NDRPDR iter env 10
       - 53  # rls2206.rel NDRPDR iter env 10
       - 54  # rls2206.rel NDRPDR iter env 10
       # - 55  # rls2206.rel NDRPDR iter env 10
-      - 56  # rls2206.rel NDRPDR iter env 10
+      - 56  # rls2206.rel NDRPDR iter env 10
 
   vpp-2n-zn2-curr-iter-best:
     csit-vpp-perf-report-iterative-2206-2n-zn2:
       - 43  # rls2202.rel MRR iter env 10
 
   vpp-2n-zn2-curr-cov:
-    # csit-vpp-perf-report-coverage-2202-2n-zn2:
-    # csit-vpp-perf-report-iterative-2206-2n-zn2:
-    csit-vpp-perf-report-coverage-2202-2n-zn2:
-      - 16  # rls2202.rel NDRPDR cov env 9
+    csit-vpp-perf-report-coverage-2206-2n-zn2:
+      # - 1   # rls2206.rel NDRPDR cov env 10
+      - 2   # rls2206.rel NDRPDR cov env 10
+      - 3   # rls2206.rel NDRPDR cov env 10
+      - 4   # rls2206.rel NDRPDR cov env 10
+      - 5   # rls2206.rel NDRPDR cov env 10
+      - 6   # rls2206.rel NDRPDR cov env 10
+      - 7   # rls2206.rel NDRPDR cov env 10
+      # - 8   # rls2206.rel NDRPDR cov env 10
+      - 9   # rls2206.rel NDRPDR cov env 10
+      # - 10  # rls2206.rel NDRPDR cov env 10
+      - 11  # rls2206.rel NDRPDR cov env 10
+      - 12  # rls2206.rel NDRPDR cov env 10
+      # - 13  # rls2206.rel NDRPDR cov env 10
+      # - 14  # rls2206.rel NDRPDR cov env 10
+      # - 15  # rls2206.rel NDRPDR cov env 10
 
   dpdk-2n-zn2-hist-iter:
     csit-dpdk-perf-report-iterative-2110-2n-zn2:
       - 117 # rls2206.rel NDRPDR iter env 10
       - 123 # rls2206.rel NDRPDR iter env 10
       - 124 # rls2206.rel NDRPDR iter env 10
+      - 126 # rls2206.rel NDRPDR iter env 10
       - 129 # rls2206.rel NDRPDR iter env 10
       - 130 # rls2206.rel NDRPDR iter env 10
 
       - 112 # rls2206.rel VSAP iter env 10
       - 125 # rls2206.rel VSAP iter env 10
       - 128 # rls2206.rel VSAP iter env 10
+      - 135 # rls2206.rel VSAP iter env 10
       - 144 # rls2206.rel VSAP iter env 10
       - 145 # rls2206.rel VSAP iter env 10
       - 146 # rls2206.rel VSAP iter env 10
       - 147 # rls2206.rel VSAP iter env 10
+      - 148 # rls2206.rel VSAP iter env 10
 
   vpp-2n-clx-curr-nfv-ndrpdr:
     csit-vpp-perf-report-iterative-2206-2n-clx:
       - 118 # rls2206.rel NDRPDR nf-density iter env 10
       - 119 # rls2206.rel NDRPDR nf-density iter env 10
       - 121 # rls2206.rel NDRPDR nf-density iter env 10
-      - 133 # rls2206.rel NDRPDR nf-density iter env 10
+      - 133 # rls2206.rel NDRPDR nf-density iter env 10
       - 139 # rls2206.rel NDRPDR nf-density iter env 10
-      - 140 # rls2206.rel NDRPDR nf-density iter env 10
+      - 140 # rls2206.rel NDRPDR nf-density iter env 10
       - 141 # rls2206.rel NDRPDR nf-density iter env 10
       - 142 # rls2206.rel NDRPDR nf-density iter env 10
       - 143 # rls2206.rel NDRPDR nf-density iter env 10
 
   vpp-2n-clx-curr-soak:
     csit-vpp-perf-report-iterative-2206-2n-clx:
+      - 111 # rls2206.rel soak env 10
       - 137 # rls2206.rel soak env 10
   vpp-soak-vs-ndr-2n-clx-ref:
     csit-vpp-perf-report-iterative-2206-2n-clx:
       - 117 # rls2206.rel NDRPDR iter env 10
       - 123 # rls2206.rel NDRPDR iter env 10
       - 124 # rls2206.rel NDRPDR iter env 10
+      - 126 # rls2206.rel NDRPDR iter env 10
       - 129 # rls2206.rel NDRPDR iter env 10
       - 130 # rls2206.rel NDRPDR iter env 10
   vpp-soak-vs-ndr-2n-clx:
       - 117 # rls2206.rel NDRPDR iter env 10
       - 123 # rls2206.rel NDRPDR iter env 10
       - 124 # rls2206.rel NDRPDR iter env 10
+      - 126 # rls2206.rel NDRPDR iter env 10
       - 129 # rls2206.rel NDRPDR iter env 10
       - 130 # rls2206.rel NDRPDR iter env 10
+      - 111 # rls2206.rel soak env 10
       - 137 # rls2206.rel soak env 10
 
   vpp-2n-clx-curr-cov:
     csit-vpp-perf-report-coverage-2206-2n-clx:
+      - 4   # rls2206.rel NDRPDR cov env 10
+      - 5   # rls2206.rel NDRPDR cov env 10
+      - 6   # rls2206.rel NDRPDR cov env 10
+      - 7   # rls2206.rel NDRPDR cov env 10
+      - 8   # rls2206.rel NDRPDR cov env 10
+      - 9   # rls2206.rel NDRPDR cov env 10
       - 10  # rls2206.rel NDRPDR cov env 10
       - 11  # rls2206.rel NDRPDR cov env 10
       - 12  # rls2206.rel NDRPDR cov env 10
+      - 13  # rls2206.rel NDRPDR cov env 10
+      - 14  # rls2206.rel NDRPDR cov env 10
+      - 15  # rls2206.rel NDRPDR cov env 10
+      - 16  # rls2206.rel NDRPDR cov env 10
+      - 17  # rls2206.rel NDRPDR cov env 10
+      - 18  # rls2206.rel NDRPDR cov env 10
+      - 19  # rls2206.rel NDRPDR cov env 10
+      - 20  # rls2206.rel NDRPDR cov env 10
 
   dpdk-2n-clx-hist-iter:
     csit-dpdk-perf-report-iterative-2110-2n-clx:
 
   dpdk-2n-clx-curr-iter:
     csit-dpdk-perf-report-iterative-2206-2n-clx:
-      - 1   # rls2206 NDRPDR iter env 10
-      -   # rls2206 NDRPDR iter env 10
-      -   # rls2206 NDRPDR iter env 10
-      -   # rls2206 NDRPDR iter env 10
-      -   # rls2206 NDRPDR iter env 10
-      -   # rls2206 NDRPDR iter env 10
-      -   # rls2206 NDRPDR iter env 10
-      -   # rls2206 NDRPDR iter env 10
-      - 10  # rls2206 NDRPDR iter env 10
-      - 11  # rls2206 NDRPDR iter env 10
+      - 15  # rls2206 NDRPDR iter env 10
+      - 17  # rls2206 NDRPDR iter env 10
+      - 18  # rls2206 NDRPDR iter env 10
+      - 22  # rls2206 NDRPDR iter env 10
+      - 23  # rls2206 NDRPDR iter env 10
+      - 24  # rls2206 NDRPDR iter env 10
+      - 25  # rls2206 NDRPDR iter env 10
+      - 26  # rls2206 NDRPDR iter env 10
+      - 27  # rls2206 NDRPDR iter env 10
+      - 28  # rls2206 NDRPDR iter env 10
 
   dpdk-2n-clx-curr-iter-best:
     csit-dpdk-perf-report-iterative-2206-2n-clx:
-      -   # rls2206 NDRPDR iter env 10
+      - 22  # rls2206 NDRPDR iter env 10
 
   # 3n-tsh
 
       - 38  # rls2206.rel NDRPDR iter env 10
       - 39  # rls2206.rel NDRPDR iter env 10
       - 40  # rls2206.rel NDRPDR iter env 10
-      - 41  # rls2206.rel NDRPDR iter env 10
+      - 41  # rls2206.rel NDRPDR iter env 10
       - 42  # rls2206.rel NDRPDR iter env 10
       - 43  # rls2206.rel NDRPDR iter env 10
-      - 44  # rls2206.rel NDRPDR iter env 10
+      - 44  # rls2206.rel NDRPDR iter env 10
       - 45  # rls2206.rel NDRPDR iter env 10
       - 46  # rls2206.rel NDRPDR iter env 10
 
       - 29  # rls2206.rel MRR iter env 10
 
   vpp-3n-tsh-curr-cov:
-    # csit-vpp-perf-report-coverage-2206-3n-tsh:
-    # csit-vpp-perf-report-iterative-2206-3n-tsh:
-    csit-vpp-perf-report-coverage-2202-3n-tsh:
-      - 18  # rls2202.rel NDRPDR cov env 9
+    csit-vpp-perf-report-coverage-2206-3n-tsh:
+      - 1   # rls2206.rel NDRPDR cov env 10
+      - 2   # rls2206.rel NDRPDR cov env 10
+      - 3   # rls2206.rel NDRPDR cov env 10
+      - 4   # rls2206.rel NDRPDR cov env 10
+      - 5   # rls2206.rel NDRPDR cov env 10
+      - 6   # rls2206.rel NDRPDR cov env 10
+      - 7   # rls2206.rel NDRPDR cov env 10
+      - 8   # rls2206.rel NDRPDR cov env 10
+      - 9   # rls2206.rel NDRPDR cov env 10
+      - 10  # rls2206.rel NDRPDR cov env 10
+      - 11  # rls2206.rel NDRPDR cov env 10
+      - 12  # rls2206.rel NDRPDR cov env 10
+      - 13  # rls2206.rel NDRPDR cov env 10
+      - 14  # rls2206.rel NDRPDR cov env 10
+      - 15  # rls2206.rel NDRPDR cov env 10
+      - 16  # rls2206.rel NDRPDR cov env 10
+      - 17  # rls2206.rel NDRPDR cov env 10
 
   dpdk-3n-tsh-hist-iter:
     csit-dpdk-perf-report-iterative-2110-3n-tsh:
       - 44  # rls2206.rel NDRPDR iter env 10
       - 45  # rls2206.rel NDRPDR iter env 10
       - 46  # rls2206.rel NDRPDR iter env 10
-      - 47  # rls2206.rel NDRPDR iter env 10
+      - 47  # rls2206.rel NDRPDR iter env 10
 
   vpp-2n-tx2-curr-iter-best:
     csit-vpp-perf-report-iterative-2206-2n-tx2:
       - 29  # rls2206.rel MRR iter env 10
 
   vpp-2n-tx2-curr-cov:
-    # csit-vpp-perf-report-coverage-2206-2n-tx2:
-    # csit-vpp-perf-report-iterative-2206-2n-tx2:
-    csit-vpp-perf-report-coverage-2202-2n-tx2:
-      - 15  # rls2202.rel NDRPDR cov env 9
+    csit-vpp-perf-report-coverage-2206-2n-tx2:
+      - 1   # rls2206.rel NDRPDR cov env 10
+      - 2   # rls2206.rel NDRPDR cov env 10
+      - 3   # rls2206.rel NDRPDR cov env 10
+      - 4   # rls2206.rel NDRPDR cov env 10
+      - 5   # rls2206.rel NDRPDR cov env 10
+      - 6   # rls2206.rel NDRPDR cov env 10
+      - 7   # rls2206.rel NDRPDR cov env 10
+      - 8   # rls2206.rel NDRPDR cov env 10
+      - 9   # rls2206.rel NDRPDR cov env 10
+      - 10  # rls2206.rel NDRPDR cov env 10
+      - 11  # rls2206.rel NDRPDR cov env 10
+      - 12  # rls2206.rel NDRPDR cov env 10
+      - 13  # rls2206.rel NDRPDR cov env 10
+      - 14  # rls2206.rel NDRPDR cov env 10
 
   dpdk-2n-tx2-hist-iter:
     csit-dpdk-perf-report-iterative-2110-2n-tx2:
       - 22  # rls2206.rel MRR iter env 10
 
   vpp-3n-dnv-curr-cov:
-    csit-vpp-perf-report-coverage-2202-3n-dnv:
+    csit-vpp-perf-report-coverage-2206-3n-dnv:
       - 1   # rls2206.rel NDRPDR cov env 10
       - 2   # rls2206.rel NDRPDR cov env 10
       - 3   # rls2206.rel NDRPDR cov env 10
   #     - 11  # rls2202.rel MRR iter env 9
 
   # vpp-3n-aws-curr-cov:
-  #   # csit-vpp-perf-report-coverage-2206-3n-aws:
-  #   # csit-vpp-perf-report-iterative-2206-3n-aws:
-  #   csit-vpp-perf-report-coverage-2202-3n-aws:
-  #     - 1   # rls2202.rel NDRPDR cov env 9
+  #   csit-vpp-perf-report-coverage-2206-3n-aws:
+  #     - 1   # rls2209.rel NDRPDR cov env 10
 
   # 2n-icx
 
 
   vpp-2n-icx-prev-iter-new-env:
     csit-vpp-perf-report-iterative-2206-2n-icx:
-      - 10  # rls2202.rel NDRPDR iter env 10
-      - 1 # rls2202.rel NDRPDR iter env 10
-      - 1 # rls2202.rel NDRPDR iter env 10
-      - 20  # rls2202.rel NDRPDR iter env 10
-      - 21  # rls2202.rel NDRPDR iter env 10
-      - 22  # rls2202.rel NDRPDR iter env 10
-      - 23  # rls2202.rel NDRPDR iter env 10
-      - 24  # rls2202.rel NDRPDR iter env 10
-      - 26  # rls2202.rel NDRPDR iter env 10
-      - 27  # rls2202.rel NDRPDR iter env 10
+      - 107 # rls2202.rel NDRPDR iter env 10
+      - 108 # rls2202.rel NDRPDR iter env 10
+      - 109 # rls2202.rel NDRPDR iter env 10
+      - 110 # rls2202.rel NDRPDR iter env 10
+      - 111 # rls2202.rel NDRPDR iter env 10
+      - 112 # rls2202.rel NDRPDR iter env 10
+      - 113 # rls2202.rel NDRPDR iter env 10
+      - 114 # rls2202.rel NDRPDR iter env 10
+      - 115 # rls2202.rel NDRPDR iter env 10
+      - 116 # rls2202.rel NDRPDR iter env 10
 
   vpp-2n-icx-curr-iter:
     csit-vpp-perf-report-iterative-2206-2n-icx:
 
   vpp-3n-icx-prev-iter-new-env:
     csit-vpp-perf-report-iterative-2206-3n-icx:
-      -   # rls2202.rel NDRPDR iter env 10
-      -   # rls2202.rel NDRPDR iter env 10
-      - 6   # rls2202.rel NDRPDR iter env 10
-      -   # rls2202.rel NDRPDR iter env 10
-      -   # rls2202.rel NDRPDR iter env 10
-      -   # rls2202.rel NDRPDR iter env 10
-      - 13  # rls2202.rel NDRPDR iter env 10
-      - 14  # rls2202.rel NDRPDR iter env 10
-      - 15  # rls2202.rel NDRPDR iter env 10
-      - 16  # rls2202.rel NDRPDR iter env 10
+      - 60  # rls2202.rel NDRPDR iter env 10
+      - 61  # rls2202.rel NDRPDR iter env 10
+      - 62  # rls2202.rel NDRPDR iter env 10
+      - 63  # rls2202.rel NDRPDR iter env 10
+      - 64  # rls2202.rel NDRPDR iter env 10
+      - 65  # rls2202.rel NDRPDR iter env 10
+      - 66  # rls2202.rel NDRPDR iter env 10
+      - 67  # rls2202.rel NDRPDR iter env 10
+      - 68  # rls2202.rel NDRPDR iter env 10
+      - 69  # rls2202.rel NDRPDR iter env 10
 
   vpp-3n-icx-curr-iter:
     csit-vpp-perf-report-iterative-2206-3n-icx:
 
   vpp-3n-icx-prev-iter-mrr-new-env:
     csit-vpp-perf-report-iterative-2206-3n-icx:
-      -   # rls2202.rel MRR iter env 10
+      - 59  # rls2202.rel MRR iter env 10
 
   vpp-3n-icx-curr-iter-mrr:
     csit-vpp-perf-report-iterative-2206-3n-icx:
       - 1   # rls2206.rel NDRPDR cov env 10
       - 2   # rls2206.rel NDRPDR cov env 10
       - 3   # rls2206.rel NDRPDR cov env 10
+      - 35  # rls2206.rel NDRPDR cov env 10
       - 4   # rls2206.rel NDRPDR cov env 10
       - 34  # rls2206.rel NDRPDR cov env 10
       - 5   # rls2206.rel NDRPDR cov env 10
       - 21  # rls2206.rel NDRPDR cov env 10
       - 22  # rls2206.rel NDRPDR cov env 10
       - 23  # rls2206.rel NDRPDR cov env 10
-      - 24  # rls2206.rel NDRPDR cov env 10
+      - 24  # rls2206.rel NDRPDR cov env 10
       - 25  # rls2206.rel NDRPDR cov env 10
       - 26  # rls2206.rel NDRPDR cov env 10
       - 27  # rls2206.rel NDRPDR cov env 10
   vpp-3n-alt-curr-iter:
     csit-vpp-perf-report-iterative-2206-3n-alt:
       - 20  # rls2206.rel NDRPDR iter env 10
-      - 21  # rls2206.rel NDRPDR iter env 10
+      - 21  # rls2206.rel NDRPDR iter env 10
       - 22  # rls2206.rel NDRPDR iter env 10
       - 23  # rls2206.rel NDRPDR iter env 10
       - 24  # rls2206.rel NDRPDR iter env 10
       - 25  # rls2206.rel NDRPDR iter env 10
-      - 26  # rls2206.rel NDRPDR iter env 10
+      - 26  # rls2206.rel NDRPDR iter env 10
       # - 27  # rls2206.rel NDRPDR iter env 10
       # - 28  # rls2206.rel NDRPDR iter env 10
-      - 29  # rls2206.rel NDRPDR iter env 10
+      - 29  # rls2206.rel NDRPDR iter env 10
 
   vpp-3n-alt-curr-iter-best:
     csit-vpp-perf-report-iterative-2206-3n-alt:
       - 12  # rls2206.rel MRR iter env 10
 
   vpp-3n-alt-curr-cov:
-    # csit-vpp-perf-report-coverage-2206-3n-alt:
-    csit-vpp-perf-report-iterative-2206-3n-alt:
-      - 6   # rls2206.rc2 NDRPDR iter env 10
+    csit-vpp-perf-report-coverage-2206-3n-alt:
+      # - 1   # rls2206.rel NDRPDR iter env 10
+      - 2   # rls2206.rel NDRPDR iter env 10
+      - 3   # rls2206.rel NDRPDR iter env 10
+      # - 4   # rls2206.rel NDRPDR iter env 10
+      - 5   # rls2206.rel NDRPDR iter env 10
+      - 6   # rls2206.rel NDRPDR iter env 10
+      # - 7   # rls2206.rel NDRPDR iter env 10
+      # - 8   # rls2206.rel NDRPDR iter env 10
+      # - 9   # rls2206.rel NDRPDR iter env 10
+      - 10  # rls2206.rel NDRPDR iter env 10
+      - 11  # rls2206.rel NDRPDR iter env 10
+      - 12  # rls2206.rel NDRPDR iter env 10
+      # - 13  # rls2206.rel NDRPDR iter env 10
+      # - 14  # rls2206.rel NDRPDR iter env 10
+      # - 15  # rls2206.rel NDRPDR iter env 10
+      # - 16  # rls2206.rel NDRPDR iter env 10
+      # - 17  # rls2206.rel NDRPDR iter env 10
 
   dpdk-3n-alt-curr-iter:
     csit-dpdk-perf-report-iterative-2206-3n-alt: