docs(infra): HW version
[csit.git] / docs / content / infrastructure / fdio_csit_testbed_versioning.md
1 ---
2 bookToc: true
3 title: "FD.io CSIT Testbed Versioning"
4 weight: 4
5 ---
6
7 # FD.io CSIT Testbed Versioning
8
9 CSIT test environment versioning has been introduced to track modifications of
10 the test environment.
11
12 Any benchmark anomalies (progressions, regressions) between releases of a DUT
13 application (e.g. VPP, DPDK), are determined by testing it in the same test
14 environment, to avoid test environment changes clouding the picture.
15 To beter distinguish impact of test environment changes, we also execute tests
16 without any SUT (just with TRex TG sending packets over a link looping back to
17 TG).
18
19 A mirror approach is introduced to determine benchmarking anomalies due to the
20 test environment change. This is achieved by testing the same DUT application
21 version between releases of CSIT test system. This works under the assumption
22 that the behaviour of the DUT is deterministic under the test conditions.
23
24 CSIT test environment versioning scheme ensures integrity of all the test system
25 components, including their HW revisions, compiled SW code versions and SW
26 source code, within a specific CSIT version. Components included in the CSIT
27 environment versioning include:
28
29 - **HW** Server hardware firmware and BIOS (motherboard, processsor,
30   NIC(s), accelerator card(s)), tracked in CSIT branch.
31 - **Linux** Server Linux OS version and configuration, tracked in CSIT
32   Reports.
33 - **TRex** TRex Traffic Generator version, drivers and configuration
34   tracked in TG Settings.
35 - **CSIT** CSIT framework code tracked in CSIT release branches.
36
37 Following is the list of CSIT versions to date:
38
39 - Ver. 1 associated with CSIT rls1908 branch (
40   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls1908),
41   [Linux](https://docs.fd.io/csit/rls1908/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
42   [TRex](https://docs.fd.io/csit/rls1908/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
43   [CSIT](https://git.fd.io/csit/tree/?h=rls1908)
44   ).
45 - Ver. 2 associated with CSIT rls2001 branch (
46   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2001),
47   [Linux](https://docs.fd.io/csit/rls2001/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
48   [TRex](https://docs.fd.io/csit/rls2001/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
49   [CSIT](https://git.fd.io/csit/tree/?h=rls2001)
50   ).
51 - Ver. 4 associated with CSIT rls2005 branch (
52   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2005),
53   [Linux](https://docs.fd.io/csit/rls2005/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
54   [TRex](https://docs.fd.io/csit/rls2005/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
55   [CSIT](https://git.fd.io/csit/tree/?h=rls2005)
56   ).
57 - Ver. 5 associated with CSIT rls2009 branch (
58   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2009),
59   [Linux](https://docs.fd.io/csit/rls2009/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
60   [TRex](https://docs.fd.io/csit/rls2009/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
61   [CSIT](https://git.fd.io/csit/tree/?h=rls2009)
62   ).
63   - The main change is TRex data-plane core resource adjustments:
64     [increase from 7 to 8 cores and pinning cores to interfaces](https://gerrit.fd.io/r/c/csit/+/28184)
65     for better TRex performance with symmetric traffic profiles.
66 - Ver. 6 associated with CSIT rls2101 branch (
67   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2101),
68   [Linux](https://docs.fd.io/csit/rls2101/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
69   [TRex](https://docs.fd.io/csit/rls2101/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
70   [CSIT](https://git.fd.io/csit/tree/?h=rls2101)
71   ).
72   - The main change is TRex version upgrade: increase from 2.82 to 2.86.
73 - Ver. 7 associated with CSIT rls2106 branch (
74   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2106),
75   [Linux](https://s3-docs.fd.io/csit/rls2106/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
76   [TRex](https://s3-docs.fd.io/csit/rls2106/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
77   [CSIT](https://git.fd.io/csit/tree/?h=rls2106)
78   ).
79   - TRex version upgrade: increase from 2.86 to 2.88.
80   - Ubuntu upgrade from 18.04 LTS to 20.04.2 LTS.
81 - Ver. 8 associated with CSIT rls2110 branch (
82   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2110),
83   [Linux](https://s3-docs.fd.io/csit/rls2110/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
84   [TRex](https://s3-docs.fd.io/csit/rls2110/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
85   [CSIT](https://git.fd.io/csit/tree/?h=rls2110)
86   ).
87   - Intel NIC 700/800 series firmware upgrade based on DPDK compatibility
88     matrix.
89 - Ver. 9 associated with CSIT rls2202 branch (
90   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2202),
91   [Linux](https://s3-docs.fd.io/csit/rls2202/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
92   [TRex](https://s3-docs.fd.io/csit/rls2202/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
93   [CSIT](https://git.fd.io/csit/tree/?h=rls2202)
94   ).
95   - Intel NIC 700/800 series firmware upgrade based on DPDK compatibility
96     matrix.
97 - Ver. 10 associated with CSIT rls2206 branch (
98   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2206),
99   [Linux](https://s3-docs.fd.io/csit/rls2206/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
100   [TRex](https://s3-docs.fd.io/csit/rls2206/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
101   [CSIT](https://git.fd.io/csit/tree/?h=rls2206)
102   ).
103   - Intel NIC 700/800 series firmware upgrade based on DPDK compatibility
104     matrix.
105   - Mellanox 556A series firmware upgrade based on DPDK compatibility
106     matrix.
107   - Intel IceLake all core turbo frequency turned off. Current base frequency
108     is 2.6GHz.
109   - TRex version upgrade: increase from 2.88 to 2.97.
110 - Ver. 11 associated with CSIT rls2210 branch (
111   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2210),
112   [Linux](https://s3-docs.fd.io/csit/rls2210/report/vpp_performance_tests/test_environment.html#sut-settings-linux),
113   [TRex](https://s3-docs.fd.io/csit/rls2210/report/vpp_performance_tests/test_environment.html#tg-settings-trex),
114   [CSIT](https://git.fd.io/csit/tree/?h=rls2210)
115   ).
116   - Intel NIC 700/800 series firmware upgrade based on DPDK compatibility
117     matrix.
118   - Mellanox 556A series firmware upgrade based on DPDK compatibility
119     matrix.
120   - Ubuntu upgrade from 20.04.2 LTS to 22.04.1 LTS.
121   - TRex version upgrade: increase from 2.97 to 3.00.
122 - Ver. 12 associated with CSIT rls2306 branch (
123   [HW](https://git.fd.io/csit/tree/docs/lab?h=rls2306),
124   [CSIT](https://git.fd.io/csit/tree/?h=rls2306)
125   ).
126   - Intel NIC 700/800 series firmware upgrade based on DPDK compatibility
127     matrix.
128   - Mellanox 556A/MCX713106AS-VEAT series firmware upgrade based on DPDK compatibility
129     matrix.
130   - TRex version upgrade: increase from 3.00 to 3.03.