resources/libraries/python/Constants.py

   1 # Copyright (c) 2021 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 """Constants used in CSIT.
  15
  16 "Constant" means a value that keeps its value since initialization. The value
  17 does not need to be hard coded here, but can be read from environment variables.
  18 """
  19
  20
  21 import os
  22
  23
  24 def get_str_from_env(env_var_names, default_value):
  25     """Attempt to read string from environment variable, return that or default.
  26
  27     If environment variable exists, but is empty (and default is not),
  28     empty string is returned.
  29
  30     Several environment variable names are examined, as CSIT currently supports
  31     a mix of naming conventions.
  32     Here "several" means there are hard coded prefixes to try,
  33     and env_var_names itself can be single name, or a list or a tuple of names.
  34
  35     :param env_var_names: Base names of environment variable to attempt to read.
  36     :param default_value: Value to return if the env var does not exist.
  37     :type env_var_names: str, or list of str, or tuple of str
  38     :type default_value: str
  39     :returns: The value read, or default value.
  40     :rtype: str
  41     """
  42     prefixes = (u"FDIO_CSIT_", u"CSIT_", u"")
  43     if not isinstance(env_var_names, (list, tuple)):
  44         env_var_names = [env_var_names]
  45     for name in env_var_names:
  46         for prefix in prefixes:
  47             value = os.environ.get(prefix + name, None)
  48             if value is not None:
  49                 return value
  50     return default_value
  51
  52
  53 def get_int_from_env(env_var_names, default_value):
  54     """Attempt to read int from environment variable, return that or default.
  55
  56     String value is read, default is returned also if conversion fails.
  57
  58     :param env_var_names: Base names of environment variable to attempt to read.
  59     :param default_value: Value to return if read or conversion fails.
  60     :type env_var_names: str, or list of str, or tuple of str
  61     :type default_value: int
  62     :returns: The value read, or default value.
  63     :rtype: int
  64     """
  65     env_str = get_str_from_env(env_var_names, u"")
  66     try:
  67         return int(env_str)
  68     except ValueError:
  69         return default_value
  70
  71
  72 def get_float_from_env(env_var_names, default_value):
  73     """Attempt to read float from environment variable, return that or default.
  74
  75     String value is read, default is returned also if conversion fails.
  76
  77     :param env_var_names: Base names of environment variable to attempt to read.
  78     :param default_value: Value to return if read or conversion fails.
  79     :type env_var_names: str, or list of str, or tuple of str
  80     :type default_value: float
  81     :returns: The value read, or default value.
  82     :rtype: float
  83     """
  84     env_str = get_str_from_env(env_var_names, u"")
  85     try:
  86         return float(env_str)
  87     except ValueError:
  88         return default_value
  89
  90
  91 def get_pessimistic_bool_from_env(env_var_names):
  92     """Attempt to read bool from environment variable, assume False by default.
  93
  94     Conversion is lenient and pessimistic, only few strings are considered true.
  95
  96     :param env_var_names: Base names of environment variable to attempt to read.
  97     :type env_var_names: str, or list of str, or tuple of str
  98     :returns: The value read, or False.
  99     :rtype: bool
 100     """
 101     env_str = get_str_from_env(env_var_names, u"").lower()
 102     return bool(env_str in (u"true", u"yes", u"y", u"1"))
 103
 104
 105 def get_optimistic_bool_from_env(env_var_names):
 106     """Attempt to read bool from environment variable, assume True by default.
 107
 108     Conversion is lenient and optimistic, only few strings are considered false.
 109
 110     :param env_var_names: Base names of environment variable to attempt to read.
 111     :type env_var_names: str, or list of str, or tuple of str
 112     :returns: The value read, or True.
 113     :rtype: bool
 114     """
 115     env_str = get_str_from_env(env_var_names, u"").lower()
 116     return bool(env_str not in (u"false", u"no", u"n", u"0"))
 117
 118
 119 class Constants:
 120     """Constants used in CSIT."""
 121
 122     # Version for CSIT data model. See docs/model/.
 123     MODEL_VERSION = u"0.1.0"
 124
 125     # OpenVPP testing directory location at topology nodes
 126     REMOTE_FW_DIR = u"/tmp/openvpp-testing"
 127
 128     # shell scripts location
 129     RESOURCES_LIB_SH = u"resources/libraries/bash"
 130
 131     # python scripts location
 132     RESOURCES_LIB_PY = u"resources/libraries/python"
 133
 134     # shell scripts location
 135     RESOURCES_TOOLS = u"resources/tools"
 136
 137     # Python API provider location
 138     RESOURCES_PAPI_PROVIDER = u"resources/tools/papi/vpp_papi_provider.py"
 139
 140     # Templates location
 141     RESOURCES_TPL = u"resources/templates"
 142
 143     # vat templates location
 144     RESOURCES_TPL_VAT = u"resources/templates/vat"
 145
 146     # Kubernetes templates location
 147     RESOURCES_TPL_K8S = u"resources/templates/kubernetes"
 148
 149     # Container templates location
 150     RESOURCES_TPL_CONTAINER = u"resources/templates/container"
 151
 152     # VPP Communications Library templates location
 153     RESOURCES_TPL_VCL = u"resources/templates/vcl"
 154
 155     # VPP Communications Library templates location
 156     RESOURCES_TPL_TELEMETRY = u"resources/templates/telemetry"
 157
 158     # VPP Communications Library LD_PRELOAD library
 159     VCL_LDPRELOAD_LIBRARY = u"/usr/lib/x86_64-linux-gnu/libvcl_ldpreload.so"
 160
 161     # OpenVPP VAT binary name
 162     VAT_BIN_NAME = u"vpp_api_test"
 163
 164     # VPP service unit name
 165     VPP_UNIT = u"vpp"
 166
 167     # Number of system CPU cores.
 168     CPU_CNT_SYSTEM = 1
 169
 170     # Number of vswitch main thread CPU cores.
 171     CPU_CNT_MAIN = 1
 172
 173     # QEMU binary path
 174     QEMU_BIN_PATH = u"/usr/bin"
 175
 176     # QEMU VM kernel image path
 177     QEMU_VM_KERNEL = u"/opt/boot/vmlinuz"
 178
 179     # QEMU VM kernel initrd path
 180     QEMU_VM_KERNEL_INITRD = u"/opt/boot/initrd.img"
 181
 182     # QEMU VM nested image path
 183     QEMU_VM_IMAGE = u"/var/lib/vm/image.iso"
 184
 185     # QEMU VM DPDK path
 186     QEMU_VM_DPDK = u"/opt/dpdk-21.08"
 187
 188     # Docker container SUT image
 189     DOCKER_SUT_IMAGE_UBUNTU = u"csit_sut-ubuntu2004:local"
 190
 191     # Docker container arm SUT image
 192     DOCKER_SUT_IMAGE_UBUNTU_ARM = u"csit_sut-ubuntu2004:local"
 193
 194     # TRex install directory
 195     TREX_INSTALL_DIR = u"/opt/trex-core-2.88"
 196
 197     # TRex pcap files directory
 198     TREX_PCAP_DIR = f"{TREX_INSTALL_DIR}/scripts/avl"
 199
 200     # TRex limit memory.
 201     TREX_LIMIT_MEMORY = get_int_from_env(u"TREX_LIMIT_MEMORY", 8192)
 202
 203     # TRex number of cores
 204     TREX_CORE_COUNT = get_int_from_env(u"TREX_CORE_COUNT", 8)
 205
 206     # TRex set number of RX/TX descriptors
 207     # Set to 0 to use default values
 208     TREX_TX_DESCRIPTORS_COUNT = get_int_from_env(
 209         u"TREX_TX_DESCRIPTORS_COUNT", 0
 210     )
 211     TREX_RX_DESCRIPTORS_COUNT = get_int_from_env(
 212         u"TREX_RX_DESCRIPTORS_COUNT", 0
 213     )
 214
 215     # Trex force start regardless ports state
 216     TREX_SEND_FORCE = get_pessimistic_bool_from_env(u"TREX_SEND_FORCE")
 217
 218     # TRex extra commandline arguments
 219     TREX_EXTRA_CMDLINE = get_str_from_env(
 220         u"TREX_EXTRA_CMDLINE", u"--mbuf-factor 32")
 221
 222     # Graph node variant value
 223     GRAPH_NODE_VARIANT = get_str_from_env(u"GRAPH_NODE_VARIANT", u"")
 224
 225     # Default memory page size in case multiple configured in system
 226     DEFAULT_HUGEPAGE_SIZE = get_str_from_env(u"DEFAULT_HUGEPAGE_SIZE", u"2M")
 227
 228     # Sysctl kernel.core_pattern
 229     KERNEL_CORE_PATTERN = u"/tmp/%p-%u-%g-%s-%t-%h-%e.core"
 230
 231     # Core dump directory
 232     CORE_DUMP_DIR = u"/tmp"
 233
 234     # Perf stat events (comma separated).
 235     PERF_STAT_EVENTS = get_str_from_env(
 236         u"PERF_STAT_EVENTS",
 237         u"cpu-clock,context-switches,cpu-migrations,page-faults,"
 238         u"cycles,instructions,branches,branch-misses,L1-icache-load-misses")
 239
 240     # Equivalent to ~0 used in vpp code
 241     BITWISE_NON_ZERO = 0xffffffff
 242
 243     # Default path to VPP API socket.
 244     SOCKSVR_PATH = u"/run/vpp/api.sock"
 245
 246     # Number of trials to execute in MRR test.
 247     PERF_TRIAL_MULTIPLICITY = get_int_from_env(u"PERF_TRIAL_MULTIPLICITY", 10)
 248
 249     # Duration [s] of one trial in MRR test.
 250     PERF_TRIAL_DURATION = get_float_from_env(u"PERF_TRIAL_DURATION", 1.0)
 251
 252     # Whether to use latency streams in main search trials.
 253     PERF_USE_LATENCY = get_pessimistic_bool_from_env(u"PERF_USE_LATENCY")
 254
 255     # Duration of one latency-specific trial in NDRPDR test.
 256     PERF_TRIAL_LATENCY_DURATION = get_float_from_env(
 257         u"PERF_TRIAL_LATENCY_DURATION", 5.0)
 258
 259     # For some testbeds TG takes longer than usual to start sending traffic.
 260     # This constant [s] allows longer wait, without affecting
 261     # the approximate duration. For example, use 0.098 for AWS.
 262     PERF_TRIAL_STL_DELAY = get_float_from_env(u"PERF_TRIAL_STL_DELAY", 0.0)
 263
 264     # ASTF usually needs a different value for the delay.
 265     PERF_TRIAL_ASTF_DELAY = get_float_from_env(
 266         u"PERF_TRIAL_ASTF_DELAY", 0.112
 267     )
 268
 269     # Extended debug (incl. vpp packet trace, linux perf stat, ...).
 270     # Full list is available as suite variable (__init__.robot) or is
 271     # override by test.
 272     EXTENDED_DEBUG = get_pessimistic_bool_from_env(u"EXTENDED_DEBUG")
 273
 274     # UUID string of DUT1 /tmp volume created outside of the
 275     # DUT1 docker in case of vpp-device test. ${EMPTY} value means that
 276     #  /tmp directory is inside the DUT1 docker.
 277     DUT1_UUID = get_str_from_env(u"DUT1_UUID", u"")
 278
 279     # Default path to VPP API Stats socket.
 280     SOCKSTAT_PATH = u"/run/vpp/stats.sock"
 281
 282     # Global "kill switch" for CRC checking during runtime.
 283     FAIL_ON_CRC_MISMATCH = get_pessimistic_bool_from_env(
 284         u"FAIL_ON_CRC_MISMATCH"
 285     )
 286
 287     # Default IP4 prefix length (if not defined in topology file)
 288     DEFAULT_IP4_PREFIX_LENGTH = u"24"
 289
 290     # Maximum number of interfaces in a data path
 291     DATAPATH_INTERFACES_MAX = 100
 292
 293     # Mapping from NIC name to its bps limit.
 294     NIC_NAME_TO_BPS_LIMIT = {
 295         u"Intel-X520-DA2": 10000000000,
 296         u"Intel-X553": 10000000000,
 297         u"Intel-X710": 10000000000,
 298         u"Intel-XL710": 24500000000,
 299         u"Intel-XXV710": 24500000000,
 300         u"Intel-E810CQ": 100000000000,
 301         u"Mellanox-CX556A": 100000000000,
 302         u"Amazon-Nitro-50G": 10000000000,
 303         u"virtual": 100000000,
 304     }
 305
 306     # Mapping from NIC name to its pps limit.
 307     NIC_NAME_TO_PPS_LIMIT = {
 308         u"Intel-X520-DA2": 14880952,
 309         u"Intel-X553": 14880952,
 310         u"Intel-X710": 14880952,
 311         u"Intel-XL710": 18750000,
 312         u"Intel-XXV710": 18750000,
 313         u"Intel-E810CQ": 58500000,
 314         # 2n-clx testbeds show duration stretching on high rates,
 315         # depending on encapsulation TRex has to generate.
 316         # 40 Mpps is still too much for dot1q (~8% stretching).
 317         # 36 Mpps is around the maximal VPP throughput (l2patch 4c8t).
 318         # Vxlan traffic will still show stretching at 36 Mpps (>12%),
 319         # but we do not care about those tests that much.
 320         u"Mellanox-CX556A": 36000000, # 148809523,
 321         u"Amazon-Nitro-50G": 1200000,
 322         u"virtual": 14880952,
 323     }
 324
 325     # Suite file names use codes for NICs.
 326     NIC_NAME_TO_CODE = {
 327         u"Intel-X520-DA2": u"10ge2p1x520",
 328         u"Intel-X553": u"10ge2p1x553",
 329         u"Intel-X710": u"10ge2p1x710",
 330         u"Intel-XL710": u"40ge2p1xl710",
 331         u"Intel-XXV710": u"25ge2p1xxv710",
 332         u"Intel-E810CQ": u"100ge2p1e810cq",
 333         u"Amazon-Nitro-50G": u"50ge1p1ENA",
 334         u"Mellanox-CX556A": u"100ge2p1cx556a",
 335     }
 336
 337     # Not each driver is supported by each NIC.
 338     NIC_NAME_TO_DRIVER = {
 339         u"Intel-X520-DA2": [u"vfio-pci", u"af_xdp"],
 340         u"Intel-X553": [u"vfio-pci", u"af_xdp"],
 341         u"Intel-X710": [u"vfio-pci", u"avf", u"af_xdp"],
 342         u"Intel-XL710": [u"vfio-pci", u"avf", u"af_xdp"],
 343         u"Intel-XXV710": [u"vfio-pci", u"avf", u"af_xdp"],
 344         u"Intel-E810CQ": [u"vfio-pci", u"avf", u"af_xdp"],
 345         u"Amazon-Nitro-50G": [u"vfio-pci"],
 346         u"Mellanox-CX556A": [u"rdma-core", u"af_xdp"],
 347     }
 348
 349     # Each driver needs different prugin to work.
 350     NIC_DRIVER_TO_PLUGINS = {
 351         u"vfio-pci": u"dpdk_plugin.so",
 352         u"avf": u"avf_plugin.so",
 353         u"rdma-core": u"rdma_plugin.so",
 354         u"af_xdp": u"af_xdp_plugin.so",
 355     }
 356
 357     # Tags to differentiate tests for different NIC driver.
 358     NIC_DRIVER_TO_TAG = {
 359         u"vfio-pci": u"DRV_VFIO_PCI",
 360         u"avf": u"DRV_AVF",
 361         u"rdma-core": u"DRV_RDMA_CORE",
 362         u"af_xdp": u"DRV_AF_XDP",
 363     }
 364
 365     # Suite names have to be different, add prefix.
 366     NIC_DRIVER_TO_SUITE_PREFIX = {
 367         u"vfio-pci": u"",
 368         u"avf": u"avf-",
 369         u"rdma-core": u"rdma-",
 370         u"af_xdp": u"af-xdp-",
 371     }
 372
 373     # Number of virtual functions of physical nic.
 374     NIC_DRIVER_TO_VFS = {
 375         u"vfio-pci": u"nic_vfs}= | 0",
 376         u"avf": u"nic_vfs}= | 1",
 377         u"rdma-core": u"nic_vfs}= | 0",
 378         u"af_xdp": u"nic_vfs}= | 0",
 379     }
 380
 381     # Not each driver is supported by each NIC.
 382     DPDK_NIC_NAME_TO_DRIVER = {
 383         u"Intel-X520-DA2": [u"vfio-pci"],
 384         u"Intel-X553": [u"vfio-pci"],
 385         u"Intel-X710": [u"vfio-pci"],
 386         u"Intel-XL710": [u"vfio-pci"],
 387         u"Intel-XXV710": [u"vfio-pci"],
 388         u"Intel-E810CQ": [u"vfio-pci"],
 389         u"Amazon-Nitro-50G": [u"vfio-pci"],
 390         u"Mellanox-CX556A": [u"mlx5_core"],
 391     }
 392
 393     # Tags to differentiate tests for different NIC driver.
 394     DPDK_NIC_DRIVER_TO_TAG = {
 395         u"vfio-pci": u"DRV_VFIO_PCI",
 396         u"mlx5_core": u"DRV_MLX5_CORE",
 397     }
 398
 399     # Suite names have to be different, add prefix.
 400     DPDK_NIC_DRIVER_TO_SUITE_PREFIX = {
 401         u"vfio-pci": u"",
 402         u"mlx5_core": u"mlx5-",
 403     }
 404
 405     # Some identifiers constructed from suite names
 406     # have to be independent of NIC driver used.
 407     # In order to remove or reject the NIC driver part,
 408     # it is useful to have a list of such prefixes precomputed.
 409     FORBIDDEN_SUITE_PREFIX_LIST = [
 410         prefix for prefix in NIC_DRIVER_TO_SUITE_PREFIX.values() if prefix
 411     ]
 412     FORBIDDEN_SUITE_PREFIX_LIST += [
 413         prefix for prefix in DPDK_NIC_DRIVER_TO_SUITE_PREFIX.values() if prefix
 414     ]
 415
 416     # TODO CSIT-1481: Crypto HW should be read from topology file instead.
 417     NIC_NAME_TO_CRYPTO_HW = {
 418         u"Intel-X553": u"HW_C3xxx",
 419         u"Intel-X710": u"HW_DH895xcc",
 420         u"Intel-XL710": u"HW_DH895xcc",
 421     }
 422
 423     DEVICE_TYPE_TO_KEYWORD = {
 424         u"scapy": None
 425     }
 426
 427     PERF_TYPE_TO_KEYWORD = {
 428         u"mrr": u"Traffic should pass with maximum rate",
 429         u"ndrpdr": u"Find NDR and PDR intervals using optimized search",
 430         u"soak": u"Find critical load using PLRsearch",
 431     }
 432
 433     PERF_TYPE_TO_SUITE_DOC_VER = {
 434         u"mrr": u'''fication:** In MaxReceivedRate tests TG sends traffic at \\
 435 | ... | line rate and reports total received packets over trial period. \\''',
 436         u"ndrpdr": u'''rification:** TG finds and reports throughput NDR (Non \\
 437 | ... | Drop Rate) with zero packet loss tolerance and throughput PDR \\
 438 | ... | (Partial Drop Rate) with non-zero packet loss tolerance (LT) \\
 439 | ... | expressed in percentage of packets transmitted. NDR and PDR are \\
 440 | ... | discovered for different Ethernet L2 frame sizes using MLRsearch \\
 441 | ... | library.''',
 442         u"soak": u'''rification:** TG sends traffic at dynamically computed \\
 443 | ... | rate as PLRsearch algorithm gathers data and improves its estimate \\
 444 | ... | of a rate at which a prescribed small fraction of packets \\
 445 | ... | would be lost. After set time, the serarch stops \\
 446 | ... | and the algorithm reports its current estimate. \\''',
 447     }
 448
 449     PERF_TYPE_TO_TEMPLATE_DOC_VER = {
 450         u"mrr": u'''Measure MaxReceivedRate for ${frame_size}B frames \\
 451 | | ... | using burst trials throughput test. \\''',
 452         u"ndrpdr": u"Measure NDR and PDR values using MLRsearch algorithm.",
 453         u"soak": u"Estimate critical rate using PLRsearch algorithm. \\",
 454     }