Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
Report: Add wireguard tests
[csit.git] / resources / tools / presentation / specifications / report / data_sets.yaml
diff --git a/resources/tools/presentation/specifications/report/data_sets.yaml b/resources/tools/presentation/specifications/report/data_sets.yaml
index 4efc811..5620ea9 100644 (file)
--- a/resources/tools/presentation/specifications/report/data_sets.yaml
+++ b/resources/tools/presentation/specifications/report/data_sets.yaml
@@ -24,14 +24,20 @@
     csit-trex-perf-report-iterative-2210-2n-icx:
       - 1   # rls2210.rel NDRPDR iter env 11
       - 2   # rls2210.rel NDRPDR iter env 11
+      - 4   # rls2210.rel NDRPDR iter env 11
+      - 7   # rls2210.rel NDRPDR iter env 11
+      - 8   # rls2210.rel NDRPDR iter env 11
+      - 9   # rls2210.rel NDRPDR iter env 11
+      - 10  # rls2210.rel NDRPDR iter env 11
+      - 11  # rls2210.rel NDRPDR iter env 11
+      - 12  # rls2210.rel NDRPDR iter env 11
 
   trex-2n-icx-curr-iter-best:
     csit-trex-perf-report-iterative-2210-2n-icx:
       - 1   # rls2210.rel NDRPDR iter env 11
 
   trex-2n-icx-curr-cov:
-    # csit-trex-perf-report-coverage-2210-2n-icx:
-    csit-trex-perf-report-coverage-2206-2n-icx:
+    csit-trex-perf-report-coverage-2210-2n-icx:
       - 1   # rls2210.rel NDRPDR cov env 11
 
   # TRex 1n-aws
@@ -46,20 +52,23 @@
 
   trex-1n-aws-curr-iter:
     csit-trex-perf-report-iterative-2210-1n-aws:
+      - 4   # rls2210.rel NDRPDR iter env 11
       - 5   # rls2210.rel NDRPDR iter env 11
       - 6   # rls2210.rel NDRPDR iter env 11
       - 7   # rls2210.rel NDRPDR iter env 11
       - 11  # rls2210.rel NDRPDR iter env 11
       - 12  # rls2210.rel NDRPDR iter env 11
       - 13  # rls2210.rel NDRPDR iter env 11
+      - 15  # rls2210.rel NDRPDR iter env 11
+      - 16  # rls2210.rel NDRPDR iter env 11
+      - 17  # rls2210.rel NDRPDR iter env 11
 
   trex-1n-aws-curr-iter-best:
     csit-trex-perf-report-iterative-2210-1n-aws:
       - 5   # rls2210.rel NDRPDR iter env 11
 
   trex-1n-aws-curr-cov:
-    # csit-trex-perf-report-coverage-2210-1n-aws:
-    csit-trex-perf-report-coverage-2206-1n-aws:
+    csit-trex-perf-report-coverage-2210-1n-aws:
       - 1   # rls2210.rel NDRPDR cov env 11
 
   # 2n-zn2
@@ -98,7 +107,15 @@
   vpp-2n-zn2-curr-iter:
     csit-vpp-perf-report-iterative-2210-2n-zn2:
       - 16  # rls2210.rel NDRPDR iter env 11
+      - 18  # rls2210.rel NDRPDR iter env 11
+      - 19  # rls2210.rel NDRPDR iter env 11
       - 20  # rls2210.rel NDRPDR iter env 11
+      - 21  # rls2210.rel NDRPDR iter env 11
+      - 22  # rls2210.rel NDRPDR iter env 11
+      - 23  # rls2210.rel NDRPDR iter env 11
+      - 24  # rls2210.rel NDRPDR iter env 11
+      - 25  # rls2210.rel NDRPDR iter env 11
+      - 26  # rls2210.rel NDRPDR iter env 11
 
   vpp-2n-zn2-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-2n-zn2:
@@ -245,6 +262,11 @@
       - 72  # rls2210.rel NDRPDR iter env 11
       - 73  # rls2210.rel NDRPDR iter env 11
       - 74  # rls2210.rel NDRPDR iter env 11
+      - 75  # rls2210.rel NDRPDR iter env 11
+      - 76  # rls2210.rel NDRPDR iter env 11
+      - 77  # rls2210.rel NDRPDR iter env 11
+      - 78  # rls2210.rel NDRPDR iter env 11
+      - 79  # rls2210.rel NDRPDR iter env 11
 
   vpp-2n-clx-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-2n-clx:
@@ -306,6 +328,7 @@
   vpp-2n-clx-curr-soak:
     csit-vpp-perf-report-iterative-2210-2n-clx:
       - 61  # rls2210.rel soak env 11
+      - 80  # rls2210.rel soak env 11
   vpp-soak-vs-ndr-2n-clx-ref:
     csit-vpp-perf-report-iterative-2210-2n-clx:
       - 46  # rls2210.rel NDRPDR iter env 11
@@ -313,6 +336,11 @@
       - 72  # rls2210.rel NDRPDR iter env 11
       - 73  # rls2210.rel NDRPDR iter env 11
       - 74  # rls2210.rel NDRPDR iter env 11
+      - 75  # rls2210.rel NDRPDR iter env 11
+      - 76  # rls2210.rel NDRPDR iter env 11
+      - 77  # rls2210.rel NDRPDR iter env 11
+      - 78  # rls2210.rel NDRPDR iter env 11
+      - 79  # rls2210.rel NDRPDR iter env 11
   vpp-soak-vs-ndr-2n-clx:
     csit-vpp-perf-report-iterative-2210-2n-clx:
       - 46  # rls2210.rel NDRPDR iter env 11
@@ -320,7 +348,13 @@
       - 72  # rls2210.rel NDRPDR iter env 11
       - 73  # rls2210.rel NDRPDR iter env 11
       - 74  # rls2210.rel NDRPDR iter env 11
+      - 75  # rls2210.rel NDRPDR iter env 11
+      - 76  # rls2210.rel NDRPDR iter env 11
+      - 77  # rls2210.rel NDRPDR iter env 11
+      - 78  # rls2210.rel NDRPDR iter env 11
+      - 79  # rls2210.rel NDRPDR iter env 11
       - 61  # rls2210.rel soak env 11
+      - 80  # rls2210.rel soak env 11
 
   vpp-2n-clx-curr-cov:
     csit-vpp-perf-report-coverage-2210-2n-clx:
@@ -338,6 +372,9 @@
       - 14  # rls2210.rel NDRPDR cov env 11
       - 15  # rls2210.rel NDRPDR cov env 11
       - 16  # rls2210.rel NDRPDR cov env 11
+      - 17  # rls2210.rel NDRPDR cov env 11
+      - 18  # rls2210.rel NDRPDR cov env 11
+      - 19  # rls2210.rel NDRPDR cov env 11
 
   dpdk-2n-clx-hist-iter:
     csit-dpdk-perf-report-iterative-2202-2n-clx:
@@ -418,10 +455,16 @@
   vpp-3n-tsh-curr-iter:
     csit-vpp-perf-report-iterative-2210-3n-tsh:
       - 10  # rls2210.rel NDRPDR iter env 11
+      - 11  # rls2210.rel NDRPDR iter env 11
+      - 12  # rls2210.rel NDRPDR iter env 11
+      - 13  # rls2210.rel NDRPDR iter env 11
+      - 14  # rls2210.rel NDRPDR iter env 11
+      - 15  # rls2210.rel NDRPDR iter env 11
+      - 16  # rls2210.rel NDRPDR iter env 11
 
   vpp-3n-tsh-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-3n-tsh:
-      - 10  # rls2210.rel NDRPDR iter env 11
+      - 11  # rls2210.rel NDRPDR iter env 11
 
   vpp-3n-tsh-hist-iter-mrr:
     csit-vpp-perf-report-iterative-2206-3n-tsh:
@@ -533,7 +576,15 @@
   vpp-2n-tx2-curr-iter:
     csit-vpp-perf-report-iterative-2210-2n-tx2:
       - 11  # rls2210.rel NDRPDR iter env 11
+      - 12  # rls2210.rel NDRPDR iter env 11
       - 13  # rls2210.rel NDRPDR iter env 11
+      - 14  # rls2210.rel NDRPDR iter env 11
+      - 15  # rls2210.rel NDRPDR iter env 11
+      - 16  # rls2210.rel NDRPDR iter env 11
+      - 17  # rls2210.rel NDRPDR iter env 11
+      - 18  # rls2210.rel NDRPDR iter env 11
+      # - 19  # rls2210.rel NDRPDR iter env 11
+      - 20  # rls2210.rel NDRPDR iter env 11
 
   vpp-2n-tx2-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-2n-tx2:
@@ -798,6 +849,12 @@
       - 21  # rls2210.rel NDRPDR iter env 11
       - 22  # rls2210.rel NDRPDR iter env 11
       - 23  # rls2210.rel NDRPDR iter env 11
+      - 24  # rls2210.rel NDRPDR iter env 11
+      - 25  # rls2210.rel NDRPDR iter env 11
+      - 26  # rls2210.rel NDRPDR iter env 11
+      - 27  # rls2210.rel NDRPDR iter env 11
+      - 28  # rls2210.rel NDRPDR iter env 11
+      - 29  # rls2210.rel NDRPDR iter env 11
 
   vpp-2n-aws-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-2n-aws:
@@ -875,10 +932,19 @@
   vpp-2n-icx-curr-iter:
     csit-vpp-perf-report-iterative-2210-2n-icx:
       - 47  # rls2210.rel NDRPDR iter env 11
+      - 73  # rls2210.rel NDRPDR iter env 11
+      - 74  # rls2210.rel NDRPDR iter env 11
+      - 75  # rls2210.rel NDRPDR iter env 11
+      - 76  # rls2210.rel NDRPDR iter env 11
+      - 77  # rls2210.rel NDRPDR iter env 11
+      - 78  # rls2210.rel NDRPDR iter env 11
+      - 79  # rls2210.rel NDRPDR iter env 11
+      - 80  # rls2210.rel NDRPDR iter env 11
+      - 81  # rls2210.rel NDRPDR iter env 11
 
   vpp-2n-icx-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-2n-icx:
-      - 47  # rls2210.rel NDRPDR iter env 11
+      - 77  # rls2210.rel NDRPDR iter env 11
 
   vpp-2n-icx-hist-iter-mrr:
     csit-vpp-perf-report-iterative-2206-2n-icx:
@@ -910,7 +976,8 @@
       - 64  # rls2210.rel NDRPDR nf-density iter env 11
       - 66  # rls2210.rel NDRPDR nf-density iter env 11
       - 67  # rls2210.rel NDRPDR nf-density iter env 11
-      
+      - 87  # rls2210.rel NDRPDR nf-density iter env 11
+  
   vpp-2n-icx-curr-nfv-mrr:
     csit-vpp-perf-report-iterative-2210-2n-icx:
       - 49  # rls2210.rel MRR nf-density iter env 11
@@ -924,17 +991,40 @@
       - 62  # rls2210.rel NDRPDR reconf iter env 11
       - 68  # rls2210.rel NDRPDR reconf iter env 11
       - 72  # rls2210.rel NDRPDR reconf iter env 11
+      - 83  # rls2210.rel NDRPDR reconf iter env 11
+      - 84  # rls2210.rel NDRPDR reconf iter env 11
+      - 85  # rls2210.rel NDRPDR reconf iter env 11
 
   vpp-2n-icx-curr-soak:
     csit-vpp-perf-report-iterative-2210-2n-icx:
       - 63  # rls2210.rel soak env 11
+      - 86  # rls2210.rel soak env 11
   vpp-soak-vs-ndr-2n-icx-ref:
     csit-vpp-perf-report-iterative-2210-2n-icx:
       - 47  # rls2210.rel NDRPDR iter env 11
+      - 73  # rls2210.rel NDRPDR iter env 11
+      - 74  # rls2210.rel NDRPDR iter env 11
+      - 75  # rls2210.rel NDRPDR iter env 11
+      - 76  # rls2210.rel NDRPDR iter env 11
+      - 77  # rls2210.rel NDRPDR iter env 11
+      - 78  # rls2210.rel NDRPDR iter env 11
+      - 79  # rls2210.rel NDRPDR iter env 11
+      - 80  # rls2210.rel NDRPDR iter env 11
+      - 81  # rls2210.rel NDRPDR iter env 11
   vpp-soak-vs-ndr-2n-icx:
     csit-vpp-perf-report-iterative-2210-2n-icx:
       - 47  # rls2210.rel NDRPDR iter env 11
+      - 73  # rls2210.rel NDRPDR iter env 11
+      - 74  # rls2210.rel NDRPDR iter env 11
+      - 75  # rls2210.rel NDRPDR iter env 11
+      - 76  # rls2210.rel NDRPDR iter env 11
+      - 77  # rls2210.rel NDRPDR iter env 11
+      - 78  # rls2210.rel NDRPDR iter env 11
+      - 79  # rls2210.rel NDRPDR iter env 11
+      - 80  # rls2210.rel NDRPDR iter env 11
+      - 81  # rls2210.rel NDRPDR iter env 11
       - 63  # rls2210.rel soak env 11
+      - 86  # rls2210.rel soak env 11
 
   vpp-2n-icx-curr-iter-gso:
     csit-vpp-perf-report-iterative-2210-2n-icx:
@@ -953,6 +1043,15 @@
       - 14  # rls2210.rel NDRPDR cov env 11
       - 15  # rls2210.rel NDRPDR cov env 11
       - 16  # rls2210.rel NDRPDR cov env 11
+      - 17  # rls2210.rel NDRPDR cov env 11
+      - 18  # rls2210.rel NDRPDR cov env 11
+      - 19  # rls2210.rel NDRPDR cov env 11
+      - 20  # rls2210.rel NDRPDR cov env 11
+      - 21  # rls2210.rel NDRPDR cov env 11
+      - 22  # rls2210.rel NDRPDR cov env 11
+      - 23  # rls2210.rel NDRPDR cov env 11
+      - 24  # rls2210.rel NDRPDR cov env 11
+      - 25  # rls2210.rel NDRPDR cov env 11
 
   dpdk-2n-icx-hist-iter:
     csit-dpdk-perf-report-iterative-2202-2n-icx:
@@ -1033,10 +1132,22 @@
   vpp-3n-icx-curr-iter:
     csit-vpp-perf-report-iterative-2210-3n-icx:
       - 26  # rls2210.rel NDRPDR iter env 11
+      - 28  # rls2210.rel NDRPDR iter env 11
+      - 29  # rls2210.rel NDRPDR iter env 11
+      - 30  # rls2210.rel NDRPDR iter env 11
+      - 31  # rls2210.rel NDRPDR iter env 11
+      - 32  # rls2210.rel NDRPDR iter env 11
+      - 33  # rls2210.rel NDRPDR iter env 11
+      - 34  # rls2210.rel NDRPDR iter env 11
+      - 35  # rls2210.rel NDRPDR iter env 11
+      - 38  # rls2210.rel NDRPDR iter env 11
+      - 51  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 52  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 53  # rls2210.rel NDRPDR iter env 11 wireguard
 
   vpp-3n-icx-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-3n-icx:
-      - 26  # rls2210.rel NDRPDR iter env 11
+      - 38  # rls2210.rel NDRPDR iter env 11
 
   vpp-3n-icx-hist-iter-mrr:
     csit-vpp-perf-report-iterative-2206-3n-icx:
@@ -1053,7 +1164,7 @@
 
   vpp-3n-icx-curr-iter-mrr:
     csit-vpp-perf-report-iterative-2210-3n-icx:
-      - 25  # rls2210.rel MRR iter env 11
+      - 43  # rls2210.rel MRR iter env 11
 
   # vpp-3n-icx-hist-iter-hoststack-new-env:
   #   csit-vpp-perf-report-iterative-2110-3n-icx:
@@ -1065,16 +1176,29 @@
 
   vpp-3n-icx-curr-iter-hoststack:
     csit-vpp-perf-report-iterative-2210-3n-icx:
-      - 17  # rls2210.rc2 hoststack iter env 11
-      - 21  # rls2210.rc2 hoststack iter env 11
-      - 22  # rls2210.rc2 hoststack iter env 11
-      - 23  # rls2210.rc2 hoststack iter env 11
-      - 24  # rls2210.rc2 hoststack iter env 11
+      - 39  # rls2210.rel hoststack iter env 11
+      - 40  # rls2210.rel hoststack iter env 11
+      - 41  # rls2210.rel hoststack iter env 11
+      - 42  # rls2210.rel hoststack iter env 11
+      - 44  # rls2210.rel hoststack iter env 11
+      - 45  # rls2210.rel hoststack iter env 11
+      - 46  # rls2210.rel hoststack iter env 11
+      - 47  # rls2210.rel hoststack iter env 11
+      - 48  # rls2210.rel hoststack iter env 11
+      - 49  # rls2210.rel hoststack iter env 11
 
   vpp-3n-icx-curr-cov:
-    # csit-vpp-perf-report-coverage-2210-3n-icx:
-    csit-vpp-perf-report-coverage-2206-3n-icx:
-      - 1   # rls2206.rel NDRPDR cov env 10
+    csit-vpp-perf-report-coverage-2210-3n-icx:
+      - 7   # rls2210.rel NDRPDR cov env 11
+      - 8   # rls2210.rel NDRPDR cov env 11
+      - 9   # rls2210.rel NDRPDR cov env 11
+      - 10  # rls2210.rel NDRPDR cov env 11
+      - 11  # rls2210.rel NDRPDR cov env 11
+      - 12  # rls2210.rel NDRPDR cov env 11
+      - 13  # rls2210.rel NDRPDR cov env 11
+      - 14  # rls2210.rel NDRPDR cov env 11
+      - 15  # rls2210.rel NDRPDR cov env 11
+      - 16  # rls2210.rel NDRPDR cov env 11
 
   dpdk-3n-icx-hist-iter:
     csit-dpdk-perf-report-iterative-2202-3n-icx:
@@ -1144,6 +1268,14 @@
     csit-vpp-perf-report-iterative-2210-3n-alt:
       - 9   # rls2210.rel NDRPDR iter env 11
       - 10  # rls2210.rel NDRPDR iter env 11
+      - 11  # rls2210.rel NDRPDR iter env 11
+      - 12  # rls2210.rel NDRPDR iter env 11
+      - 13  # rls2210.rel NDRPDR iter env 11
+      - 14  # rls2210.rel NDRPDR iter env 11
+      - 15  # rls2210.rel NDRPDR iter env 11
+      - 16  # rls2210.rel NDRPDR iter env 11
+      - 17  # rls2210.rel NDRPDR iter env 11
+      # - 18  # rls2210.rel NDRPDR iter env 11
 
   vpp-3n-alt-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-3n-alt:
@@ -1233,9 +1365,21 @@
       - 27  # rls2210.rel NDRPDR iter env 11
       - 28  # rls2210.rel NDRPDR iter env 11
       - 29  # rls2210.rel NDRPDR iter env 11
-      - 32  # rls2210.rel NDRPDR iter env 11
-      - 33  # rls2210.rel NDRPDR iter env 11
-      - 34  # rls2210.rel NDRPDR iter env 11
+      - 36  # rls2210.rel NDRPDR iter env 11
+      - 37  # rls2210.rel NDRPDR iter env 11
+      - 38  # rls2210.rel NDRPDR iter env 11
+      - 39  # rls2210.rel NDRPDR iter env 11
+      - 40  # rls2210.rel NDRPDR iter env 11
+      - 46  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 47  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 48  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 49  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 50  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 51  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 52  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 53  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 54  # rls2210.rel NDRPDR iter env 11 wireguard
+      - 55  # rls2210.rel NDRPDR iter env 11 wireguard
 
   vpp-3n-snr-curr-iter-best:
     csit-vpp-perf-report-iterative-2210-3n-snr:
@@ -1255,7 +1399,7 @@
 
   vpp-3n-snr-curr-iter-mrr:
     csit-vpp-perf-report-iterative-2210-3n-snr:
-      - 24  # rls2210.rel MRR iter env 11
+      - 44  # rls2210.rel MRR iter env 11
 
   vpp-3n-snr-curr-cov:
     csit-vpp-perf-report-coverage-2210-3n-snr:
Integration tests