JumpAvg: Fix string format
[csit.git] / resources / libraries / python / Constants.py
1 # Copyright (c) 2022 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 """Constants used in CSIT.
15
16 "Constant" means a value that keeps its value since initialization. The value
17 does not need to be hard coded here, but can be read from environment variables.
18 """
19
20
21 import os
22
23
24 def get_str_from_env(env_var_names, default_value):
25     """Attempt to read string from environment variable, return that or default.
26
27     If environment variable exists, but is empty (and default is not),
28     empty string is returned.
29
30     Several environment variable names are examined, as CSIT currently supports
31     a mix of naming conventions.
32     Here "several" means there are hard coded prefixes to try,
33     and env_var_names itself can be single name, or a list or a tuple of names.
34
35     :param env_var_names: Base names of environment variable to attempt to read.
36     :param default_value: Value to return if the env var does not exist.
37     :type env_var_names: str, or list of str, or tuple of str
38     :type default_value: str
39     :returns: The value read, or default value.
40     :rtype: str
41     """
42     prefixes = (u"FDIO_CSIT_", u"CSIT_", u"")
43     if not isinstance(env_var_names, (list, tuple)):
44         env_var_names = [env_var_names]
45     for name in env_var_names:
46         for prefix in prefixes:
47             value = os.environ.get(prefix + name, None)
48             if value is not None:
49                 return value
50     return default_value
51
52
53 def get_int_from_env(env_var_names, default_value):
54     """Attempt to read int from environment variable, return that or default.
55
56     String value is read, default is returned also if conversion fails.
57
58     :param env_var_names: Base names of environment variable to attempt to read.
59     :param default_value: Value to return if read or conversion fails.
60     :type env_var_names: str, or list of str, or tuple of str
61     :type default_value: int
62     :returns: The value read, or default value.
63     :rtype: int
64     """
65     env_str = get_str_from_env(env_var_names, u"")
66     try:
67         return int(env_str)
68     except ValueError:
69         return default_value
70
71
72 def get_float_from_env(env_var_names, default_value):
73     """Attempt to read float from environment variable, return that or default.
74
75     String value is read, default is returned also if conversion fails.
76
77     :param env_var_names: Base names of environment variable to attempt to read.
78     :param default_value: Value to return if read or conversion fails.
79     :type env_var_names: str, or list of str, or tuple of str
80     :type default_value: float
81     :returns: The value read, or default value.
82     :rtype: float
83     """
84     env_str = get_str_from_env(env_var_names, u"")
85     try:
86         return float(env_str)
87     except ValueError:
88         return default_value
89
90
91 def get_pessimistic_bool_from_env(env_var_names):
92     """Attempt to read bool from environment variable, assume False by default.
93
94     Conversion is lenient and pessimistic, only few strings are considered true.
95
96     :param env_var_names: Base names of environment variable to attempt to read.
97     :type env_var_names: str, or list of str, or tuple of str
98     :returns: The value read, or False.
99     :rtype: bool
100     """
101     env_str = get_str_from_env(env_var_names, u"").lower()
102     return bool(env_str in (u"true", u"yes", u"y", u"1"))
103
104
105 def get_optimistic_bool_from_env(env_var_names):
106     """Attempt to read bool from environment variable, assume True by default.
107
108     Conversion is lenient and optimistic, only few strings are considered false.
109
110     :param env_var_names: Base names of environment variable to attempt to read.
111     :type env_var_names: str, or list of str, or tuple of str
112     :returns: The value read, or True.
113     :rtype: bool
114     """
115     env_str = get_str_from_env(env_var_names, u"").lower()
116     return bool(env_str not in (u"false", u"no", u"n", u"0"))
117
118
119 class Constants:
120     """Constants used in CSIT."""
121
122     # Version for CSIT data model. See docs/model/.
123     MODEL_VERSION = u"1.0.0"
124
125     # Global off-switch in case JSON export is large or slow.
126     EXPORT_JSON = get_optimistic_bool_from_env(u"EXPORT_JSON")
127
128     # OpenVPP testing directory location at topology nodes
129     REMOTE_FW_DIR = u"/tmp/openvpp-testing"
130
131     # shell scripts location
132     RESOURCES_LIB_SH = u"resources/libraries/bash"
133
134     # python scripts location
135     RESOURCES_LIB_PY = u"resources/libraries/python"
136
137     # shell scripts location
138     RESOURCES_TOOLS = u"resources/tools"
139
140     # Python API provider location
141     RESOURCES_PAPI_PROVIDER = u"resources/tools/papi/vpp_papi_provider.py"
142
143     # Templates location
144     RESOURCES_TPL = u"resources/templates"
145
146     # vat templates location
147     RESOURCES_TPL_VAT = u"resources/templates/vat"
148
149     # Kubernetes templates location
150     RESOURCES_TPL_K8S = u"resources/templates/kubernetes"
151
152     # Container templates location
153     RESOURCES_TPL_CONTAINER = u"resources/templates/container"
154
155     # VPP Communications Library templates location
156     RESOURCES_TPL_VCL = u"resources/templates/vcl"
157
158     # VPP Communications Library templates location
159     RESOURCES_TPL_TELEMETRY = u"resources/templates/telemetry"
160
161     # VPP Communications Library LD_PRELOAD library
162     VCL_LDPRELOAD_LIBRARY = u"/usr/lib/x86_64-linux-gnu/libvcl_ldpreload.so"
163
164     # OpenVPP VAT binary name
165     VAT_BIN_NAME = u"vpp_api_test"
166
167     # VPP service unit name
168     VPP_UNIT = u"vpp"
169
170     # Number of system CPU cores.
171     CPU_CNT_SYSTEM = 1
172
173     # Number of vswitch main thread CPU cores.
174     CPU_CNT_MAIN = 1
175
176     # QEMU binary path
177     QEMU_BIN_PATH = u"/usr/bin"
178
179     # QEMU VM kernel image path
180     QEMU_VM_KERNEL = u"/opt/boot/vmlinuz"
181
182     # QEMU VM kernel initrd path
183     QEMU_VM_KERNEL_INITRD = u"/opt/boot/initrd.img"
184
185     # QEMU VM nested image path
186     QEMU_VM_IMAGE = u"/var/lib/vm/image.iso"
187
188     # QEMU VM DPDK path
189     QEMU_VM_DPDK = u"/opt/dpdk-21.11"
190
191     # Docker container SUT image
192     DOCKER_SUT_IMAGE_UBUNTU = u"csit_sut-ubuntu2004:local"
193
194     # Docker container arm SUT image
195     DOCKER_SUT_IMAGE_UBUNTU_ARM = u"csit_sut-ubuntu2004:local"
196
197     # TRex install directory
198     TREX_INSTALL_DIR = u"/opt/trex-core-2.88"
199
200     # TRex pcap files directory
201     TREX_PCAP_DIR = f"{TREX_INSTALL_DIR}/scripts/avl"
202
203     # TRex limit memory.
204     TREX_LIMIT_MEMORY = get_int_from_env(u"TREX_LIMIT_MEMORY", 8192)
205
206     # TRex number of cores
207     TREX_CORE_COUNT = get_int_from_env(u"TREX_CORE_COUNT", 8)
208
209     # TRex set number of RX/TX descriptors
210     # Set to 0 to use default values
211     TREX_TX_DESCRIPTORS_COUNT = get_int_from_env(
212         u"TREX_TX_DESCRIPTORS_COUNT", 0
213     )
214     TREX_RX_DESCRIPTORS_COUNT = get_int_from_env(
215         u"TREX_RX_DESCRIPTORS_COUNT", 0
216     )
217
218     # Trex force start regardless ports state
219     TREX_SEND_FORCE = get_pessimistic_bool_from_env(u"TREX_SEND_FORCE")
220
221     # TRex extra commandline arguments
222     TREX_EXTRA_CMDLINE = get_str_from_env(
223         u"TREX_EXTRA_CMDLINE", u"--mbuf-factor 32")
224
225     # Graph node variant value
226     GRAPH_NODE_VARIANT = get_str_from_env(u"GRAPH_NODE_VARIANT", u"")
227
228     # Default memory page size in case multiple configured in system
229     DEFAULT_HUGEPAGE_SIZE = get_str_from_env(u"DEFAULT_HUGEPAGE_SIZE", u"2M")
230
231     # Sysctl kernel.core_pattern
232     KERNEL_CORE_PATTERN = u"/tmp/%p-%u-%g-%s-%t-%h-%e.core"
233
234     # Core dump directory
235     CORE_DUMP_DIR = u"/tmp"
236
237     # Perf stat events (comma separated).
238     PERF_STAT_EVENTS = get_str_from_env(
239         u"PERF_STAT_EVENTS",
240         u"cpu-clock,context-switches,cpu-migrations,page-faults,"
241         u"cycles,instructions,branches,branch-misses,L1-icache-load-misses")
242
243     # Equivalent to ~0 used in vpp code
244     BITWISE_NON_ZERO = 0xffffffff
245
246     # Default path to VPP API socket.
247     SOCKSVR_PATH = u"/run/vpp/api.sock"
248
249     # Number of trials to execute in MRR test.
250     PERF_TRIAL_MULTIPLICITY = get_int_from_env(u"PERF_TRIAL_MULTIPLICITY", 10)
251
252     # Duration [s] of one trial in MRR test.
253     PERF_TRIAL_DURATION = get_float_from_env(u"PERF_TRIAL_DURATION", 1.0)
254
255     # Whether to use latency streams in main search trials.
256     PERF_USE_LATENCY = get_pessimistic_bool_from_env(u"PERF_USE_LATENCY")
257
258     # Duration of one latency-specific trial in NDRPDR test.
259     PERF_TRIAL_LATENCY_DURATION = get_float_from_env(
260         u"PERF_TRIAL_LATENCY_DURATION", 5.0)
261
262     # For some testbeds TG takes longer than usual to start sending traffic.
263     # This constant [s] allows longer wait, without affecting
264     # the approximate duration. For example, use 0.098 for AWS.
265     PERF_TRIAL_STL_DELAY = get_float_from_env(u"PERF_TRIAL_STL_DELAY", 0.0)
266
267     # ASTF usually needs a different value for the delay.
268     PERF_TRIAL_ASTF_DELAY = get_float_from_env(
269         u"PERF_TRIAL_ASTF_DELAY", 0.112
270     )
271
272     # Extended debug (incl. vpp packet trace, linux perf stat, ...).
273     # Full list is available as suite variable (__init__.robot) or is
274     # override by test.
275     EXTENDED_DEBUG = get_pessimistic_bool_from_env(u"EXTENDED_DEBUG")
276
277     # UUID string of DUT1 /tmp volume created outside of the
278     # DUT1 docker in case of vpp-device test. ${EMPTY} value means that
279     #  /tmp directory is inside the DUT1 docker.
280     DUT1_UUID = get_str_from_env(u"DUT1_UUID", u"")
281
282     # Default path to VPP API Stats socket.
283     SOCKSTAT_PATH = u"/run/vpp/stats.sock"
284
285     # Global "kill switch" for CRC checking during runtime.
286     FAIL_ON_CRC_MISMATCH = get_pessimistic_bool_from_env(
287         u"FAIL_ON_CRC_MISMATCH"
288     )
289
290     # Default IP4 prefix length (if not defined in topology file)
291     DEFAULT_IP4_PREFIX_LENGTH = u"24"
292
293     # Maximum number of interfaces in a data path
294     DATAPATH_INTERFACES_MAX = 100
295
296     # Mapping from NIC name to its bps limit.
297     NIC_NAME_TO_BPS_LIMIT = {
298         u"Intel-X520-DA2": 10000000000,
299         u"Intel-X553": 10000000000,
300         u"Intel-X710": 10000000000,
301         u"Intel-XL710": 24500000000,
302         u"Intel-XXV710": 24500000000,
303         u"Intel-E810CQ": 100000000000,
304         u"Mellanox-CX556A": 100000000000,
305         u"Amazon-Nitro-50G": 10000000000,
306         u"virtual": 100000000,
307     }
308
309     # Mapping from NIC name to its pps limit.
310     NIC_NAME_TO_PPS_LIMIT = {
311         u"Intel-X520-DA2": 14880952,
312         u"Intel-X553": 14880952,
313         u"Intel-X710": 14880952,
314         u"Intel-XL710": 18750000,
315         u"Intel-XXV710": 18750000,
316         u"Intel-E810CQ": 58500000,
317         # 2n-clx testbeds show duration stretching on high rates,
318         # depending on encapsulation TRex has to generate.
319         # 40 Mpps is still too much for dot1q (~8% stretching).
320         # 36 Mpps is around the maximal VPP throughput (l2patch 4c8t).
321         # Vxlan traffic will still show stretching at 36 Mpps (>12%),
322         # but we do not care about those tests that much.
323         u"Mellanox-CX556A": 36000000, # 148809523,
324         u"Amazon-Nitro-50G": 1200000,
325         u"virtual": 14880952,
326     }
327
328     # Suite file names use codes for NICs.
329     NIC_NAME_TO_CODE = {
330         u"Intel-X520-DA2": u"10ge2p1x520",
331         u"Intel-X553": u"10ge2p1x553",
332         u"Intel-X710": u"10ge2p1x710",
333         u"Intel-XL710": u"40ge2p1xl710",
334         u"Intel-XXV710": u"25ge2p1xxv710",
335         u"Intel-E810CQ": u"100ge2p1e810cq",
336         u"Amazon-Nitro-50G": u"50ge1p1ena",
337         u"Mellanox-CX556A": u"100ge2p1cx556a",
338     }
339
340     # Shortened lowercase NIC model name, useful for presentation.
341     NIC_CODE_TO_SHORT_NAME = {
342         u"10ge2p1x520": u"x520",
343         u"10ge2p1x553": u"x553",
344         u"10ge2p1x710": u"x710",
345         u"40ge2p1xl710": u"xl710",
346         u"25ge2p1xxv710": u"xxv710",
347         u"100ge2p1e810cq": u"e810cq",
348         u"50ge1p1ena": u"ena",
349         u"100ge2p1cx556a": u"cx556a",
350     }
351
352     # Not each driver is supported by each NIC.
353     NIC_NAME_TO_DRIVER = {
354         u"Intel-X520-DA2": [u"vfio-pci", u"af_xdp"],
355         u"Intel-X553": [u"vfio-pci", u"af_xdp"],
356         u"Intel-X710": [u"vfio-pci", u"avf", u"af_xdp"],
357         u"Intel-XL710": [u"vfio-pci", u"avf", u"af_xdp"],
358         u"Intel-XXV710": [u"vfio-pci", u"avf", u"af_xdp"],
359         u"Intel-E810CQ": [u"vfio-pci", u"avf", u"af_xdp"],
360         u"Amazon-Nitro-50G": [u"vfio-pci"],
361         u"Mellanox-CX556A": [u"rdma-core", u"af_xdp"],
362     }
363
364     # Each driver needs different prugin to work.
365     NIC_DRIVER_TO_PLUGINS = {
366         u"vfio-pci": u"dpdk_plugin.so",
367         u"avf": u"avf_plugin.so",
368         u"rdma-core": u"rdma_plugin.so",
369         u"af_xdp": u"af_xdp_plugin.so",
370     }
371
372     # Tags to differentiate tests for different NIC driver.
373     NIC_DRIVER_TO_TAG = {
374         u"vfio-pci": u"DRV_VFIO_PCI",
375         u"avf": u"DRV_AVF",
376         u"rdma-core": u"DRV_RDMA_CORE",
377         u"af_xdp": u"DRV_AF_XDP",
378     }
379
380     # Suite names have to be different, add prefix.
381     NIC_DRIVER_TO_SUITE_PREFIX = {
382         u"vfio-pci": u"",
383         u"avf": u"avf-",
384         u"rdma-core": u"rdma-",
385         u"af_xdp": u"af-xdp-",
386     }
387
388     # Number of virtual functions of physical nic.
389     NIC_DRIVER_TO_VFS = {
390         u"vfio-pci": u"nic_vfs}= | 0",
391         u"avf": u"nic_vfs}= | 1",
392         u"rdma-core": u"nic_vfs}= | 0",
393         u"af_xdp": u"nic_vfs}= | 0",
394     }
395
396     # Not each driver is supported by each NIC.
397     DPDK_NIC_NAME_TO_DRIVER = {
398         u"Intel-X520-DA2": [u"vfio-pci"],
399         u"Intel-X553": [u"vfio-pci"],
400         u"Intel-X710": [u"vfio-pci"],
401         u"Intel-XL710": [u"vfio-pci"],
402         u"Intel-XXV710": [u"vfio-pci"],
403         u"Intel-E810CQ": [u"vfio-pci"],
404         u"Amazon-Nitro-50G": [u"vfio-pci"],
405         u"Mellanox-CX556A": [u"mlx5_core"],
406     }
407
408     # Tags to differentiate tests for different NIC driver.
409     DPDK_NIC_DRIVER_TO_TAG = {
410         u"vfio-pci": u"DRV_VFIO_PCI",
411         u"mlx5_core": u"DRV_MLX5_CORE",
412     }
413
414     # Suite names have to be different, add prefix.
415     DPDK_NIC_DRIVER_TO_SUITE_PREFIX = {
416         u"vfio-pci": u"",
417         u"mlx5_core": u"mlx5-",
418     }
419
420     # Some identifiers constructed from suite names
421     # have to be independent of NIC driver used.
422     # In order to remove or reject the NIC driver part,
423     # it is useful to have a list of such prefixes precomputed.
424     FORBIDDEN_SUITE_PREFIX_LIST = [
425         prefix for prefix in NIC_DRIVER_TO_SUITE_PREFIX.values() if prefix
426     ]
427     FORBIDDEN_SUITE_PREFIX_LIST += [
428         prefix for prefix in DPDK_NIC_DRIVER_TO_SUITE_PREFIX.values() if prefix
429     ]
430
431     # TODO CSIT-1481: Crypto HW should be read from topology file instead.
432     NIC_NAME_TO_CRYPTO_HW = {
433         u"Intel-X553": u"HW_C3xxx",
434         u"Intel-X710": u"HW_DH895xcc",
435         u"Intel-XL710": u"HW_DH895xcc",
436     }
437
438     DEVICE_TYPE_TO_KEYWORD = {
439         u"scapy": None
440     }
441
442     PERF_TYPE_TO_KEYWORD = {
443         u"mrr": u"Traffic should pass with maximum rate",
444         u"ndrpdr": u"Find NDR and PDR intervals using optimized search",
445         u"soak": u"Find critical load using PLRsearch",
446     }
447
448     PERF_TYPE_TO_SUITE_DOC_VER = {
449         u"mrr": u'''fication:** In MaxReceivedRate tests TG sends traffic at \\
450 | ... | line rate and reports total received packets over trial period. \\''',
451         u"ndrpdr": u'''rification:** TG finds and reports throughput NDR (Non \\
452 | ... | Drop Rate) with zero packet loss tolerance and throughput PDR \\
453 | ... | (Partial Drop Rate) with non-zero packet loss tolerance (LT) \\
454 | ... | expressed in percentage of packets transmitted. NDR and PDR are \\
455 | ... | discovered for different Ethernet L2 frame sizes using MLRsearch \\
456 | ... | library.''',
457         u"soak": u'''rification:** TG sends traffic at dynamically computed \\
458 | ... | rate as PLRsearch algorithm gathers data and improves its estimate \\
459 | ... | of a rate at which a prescribed small fraction of packets \\
460 | ... | would be lost. After set time, the serarch stops \\
461 | ... | and the algorithm reports its current estimate. \\''',
462     }
463
464     PERF_TYPE_TO_TEMPLATE_DOC_VER = {
465         u"mrr": u'''Measure MaxReceivedRate for ${frame_size}B frames \\
466 | | ... | using burst trials throughput test. \\''',
467         u"ndrpdr": u"Measure NDR and PDR values using MLRsearch algorithm.",
468         u"soak": u"Estimate critical rate using PLRsearch algorithm. \\",
469     }