UTI: Export results
[csit.git] / resources / libraries / robot / shared / test_teardown.robot
1 # Copyright (c) 2021 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 """Keywords used in test teardowns."""
15
16 *** Settings ***
17 | Resource | resources/libraries/robot/shared/default.robot
18 | Library | resources.libraries.python.PapiHistory
19 | Library | resources.libraries.python.topology.Topology
20 | Variables | resources/libraries/python/Constants.py
21 |
22 | Documentation | Test teardown keywords.
23
24 *** Keywords ***
25 | Tear down test
26 | | [Documentation]
27 | | ... | Common test teardown for VPP tests.
28 | |
29 | | ... | *Arguments:*
30 | | ... | - ${actions} - Additional teardown action. Type: list
31 | |
32 | | [Arguments] | @{actions}
33 | |
34 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
35 | | Show PAPI History On All DUTs | ${nodes}
36 | | Run Keyword If Test Failed
37 | | ... | Show Log On All DUTs | ${nodes}
38 | | Run Keyword If Test Failed
39 | | ... | Get Core Files on All Nodes | ${nodes}
40 | | Run Keyword If Test Failed
41 | | ... | Verify VPP PID in Teardown
42 | | Run Keyword If Test Failed
43 | | ... | VPP Show Memory On All DUTs | ${nodes}
44 | | FOR | ${action} | IN | @{actions}
45 | | | Run Keyword | Additional Test Tear Down Action For ${action}
46 | | END
47 | | Clean Sockets On All Nodes | ${nodes}
48 | | Finalize Test Export
49
50 | Tear down test raw
51 | | [Documentation]
52 | | ... | Common test teardown for raw tests.
53 | |
54 | | ... | *Arguments:*
55 | | ... | - ${actions} - Additional teardown action. Type: list
56 | |
57 | | [Arguments] | @{actions}
58 | |
59 | | Remove All Added Ports On All DUTs From Topology | ${nodes}
60 | | FOR | ${action} | IN | @{actions}
61 | | | Run Keyword | Additional Test Tear Down Action For ${action}
62 | | END
63 | | Clean Sockets On All Nodes | ${nodes}
64 | | Finalize Test Export
65
66 # Additional Test Tear Down Actions in alphabetical order
67 | Additional Test Tear Down Action For acl
68 | | [Documentation]
69 | | ... | Additional teardown for tests which uses ACL feature.
70 | |
71 | | Run Keyword If Test Failed
72 | | ... | Vpp Log Plugin Acl Settings | ${dut1}
73 | | Run Keyword If Test Failed
74 | | ... | Vpp Log Plugin Acl Interface Assignment | ${dut1}
75
76 | Additional Test Tear Down Action For classify
77 | | [Documentation]
78 | | ... | Additional teardown for tests which uses classify tables.
79 | |
80 | | Run Keyword If Test Failed
81 | | ... | Show Classify Tables Verbose on all DUTs | ${nodes}
82
83 | Additional Test Tear Down Action For container
84 | | [Documentation]
85 | | ... | Additional teardown for tests which uses containers.
86 | |
87 | | FOR | ${container_group} | IN | @{container_groups}
88 | | | Destroy all '${container_group}' containers
89 | | END
90
91 | Additional Test Tear Down Action For nginx
92 | | [Documentation]
93 | | ... | Additional teardown for tests which uses nginx.
94 | |
95 | | FOR | ${dut} | IN | @{duts}
96 | | | Kill Program | ${nodes['${dut}']} | nginx
97 | | END
98
99 | Additional Test Tear Down Action For det44
100 | | [Documentation]
101 | | ... | Additional teardown for tests which uses DET44 feature.
102 | |
103 | | FOR | ${dut} | IN | @{duts}
104 | | | Run Keyword If Test Failed
105 | | | ... | Show DET44 verbose | ${nodes['${dut}']}
106 | | END
107
108 | Additional Test Tear Down Action For geneve4
109 | | [Documentation]
110 | | ... | Additional teardown for tests which uses GENEVE IPv4 tunnel.
111 | |
112 | | FOR | ${dut} | IN | @{duts}
113 | | | Run Keyword If Test Failed
114 | | | ... | Show Geneve Tunnel Data | ${nodes['${dut}']}
115 | | END
116
117 | Additional Test Tear Down Action For iPerf3
118 | | [Documentation]
119 | | ... | Additional teardown for test which uses iPerf3 server.
120 | |
121 | | Run Keyword And Ignore Error
122 | | ... | Teardown iPerf | ${nodes['${iperf_server_node}']}
123
124 | Additional Test Tear Down Action For ipsec_sa
125 | | [Documentation]
126 | | ... | Additional teardown for tests which uses IPSec security association.
127 | |
128 | | FOR | ${dut} | IN | @{duts}
129 | | | Run Keyword If Test Failed
130 | | | ... | Show Ipsec Security Association | ${nodes['${dut}']}
131 | | END
132
133 | Additional Test Tear Down Action For linux_bridge
134 | | [Documentation]
135 | | ... | Additional teardown for tests which uses linux_bridge.
136 | |
137 | | FOR | ${dut} | IN | @{duts}
138 | | | Linux Del Bridge | ${nodes['${dut}']} | ${bid_TAP}
139 | | END
140
141 | Additional Test Tear Down Action For macipacl
142 | | [Documentation]
143 | | ... | Additional teardown for tests which uses MACIP ACL feature.
144 | |
145 | | Run Keyword If Test Failed
146 | | ... | Vpp Log Macip Acl Settings | ${dut1}
147 | | Run Keyword If Test Failed
148 | | ... | Vpp Log Macip Acl Interface Assignment | ${dut1}
149
150 | Additional Test Tear Down Action For namespace
151 | | [Documentation]
152 | | ... | Additional teardown for tests which uses namespace.
153 | |
154 | | FOR | ${dut} | IN | @{duts}
155 | | | Clean Up Namespaces | ${nodes['${dut}']}
156 | | END
157
158 | Additional Test Tear Down Action For nat-ed
159 | | [Documentation]
160 | | ... | Additional teardown for tests which uses NAT feature.
161 | |
162 | | FOR | ${dut} | IN | @{duts}
163 | | | Show NAT44 Config | ${nodes['${dut}']}
164 | | | Show NAT44 Summary | ${nodes['${dut}']}
165 | | | Show NAT Base Data | ${nodes['${dut}']}
166 | | | Vpp Get Ip Table Summary | ${nodes['${dut}']}
167 | | END
168
169 | Additional Test Tear Down Action For packet_trace
170 | | [Documentation]
171 | | ... | Additional teardown for tests which uses packet trace.
172 | |
173 | | Show Packet Trace on All DUTs | ${nodes}
174
175 | Additional Test Tear Down Action For telemetry
176 | | [Documentation]
177 | | ... | Additional teardown for tests which uses telemetry reads.
178 | |
179 | | Run Telemetry On All DUTs
180 | | ... | ${nodes} | profile=${telemetry_profile}.yaml
181
182 | Additional Test Tear Down Action For performance
183 | | [Documentation]
184 | | ... | Additional teardown for tests which uses performance measurement.
185 | | ... | Optionally, call \${resetter} (if defined) to reset DUT state.
186 | |
187 | | Run Keyword If Test Passed | Return From Keyword
188 | | ${use_latency} = | Get Use Latency
189 | | ${rate_for_teardown} = | Get Rate For Teardown
190 | | Call Resetter
191 | | Set Test Variable | \${extended_debug} | ${True}
192 | | Send traffic at specified rate
193 | | ... | trial_duration=${1.0}
194 | | ... | rate=${rate_for_teardown}
195 | | ... | trial_multiplicity=${1}
196 | | ... | use_latency=${use_latency}
197 | | ... | duration_limit=${1.0}
198
199 | Additional Test Tear Down Action For srv6
200 | | [Documentation]
201 | | ... | Additional teardown for tests which uses SRv6.
202 | |
203 | | Run Keyword If Test Failed
204 | | ... | Show SR Policies on all DUTs | ${nodes}
205 | | Run Keyword If Test Failed
206 | | ... | Show SR Steering Policies on all DUTs | ${nodes}
207 | | Run Keyword If Test Failed
208 | | ... | Show SR LocalSIDs on all DUTs | ${nodes}
209
210 | Additional Test Tear Down Action For vhost
211 | | [Documentation]
212 | | ... | Additional teardown for tests which uses vhost(s) and VM(s).
213 | |
214 | | Show VPP vhost on all DUTs | ${nodes}
215 | | ${vnf_status} | ${value}= | Run Keyword And Ignore Error
216 | | ... | Keyword Should Exist | vnf_manager.Kill All VMs
217 | | Run Keyword If | '${vnf_status}' == 'PASS' | vnf_manager.Kill All VMs
218
219 | Additional Test Tear Down Action For vhost-pt
220 | | [Documentation]
221 | | ... | Additional teardown for tests which uses pci-passtrough and VM(s).
222 | |
223 | | ${vnf_status} | ${value}= | Run Keyword And Ignore Error
224 | | ... | Keyword Should Exist | vnf_manager.Kill All VMs
225 | | Run Keyword If | '${vnf_status}' == 'PASS' | vnf_manager.Kill All VMs