resources/libraries/python/VppConfigGenerator.py

   1 # Copyright (c) 2021 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 """VPP Configuration File Generator library."""
  15
  16 import re
  17
  18 from resources.libraries.python.Constants import Constants
  19 from resources.libraries.python.ssh import exec_cmd_no_error
  20 from resources.libraries.python.topology import NodeType
  21 from resources.libraries.python.topology import Topology
  22 from resources.libraries.python.VPPUtil import VPPUtil
  23
  24 __all__ = [u"VppConfigGenerator"]
  25
  26
  27 def pci_dev_check(pci_dev):
  28     """Check if provided PCI address is in correct format.
  29
  30     :param pci_dev: PCI address (expected format: xxxx:xx:xx.x).
  31     :type pci_dev: str
  32     :returns: True if PCI address is in correct format.
  33     :rtype: bool
  34     :raises ValueError: If PCI address is in incorrect format.
  35     """
  36     pattern = re.compile(
  37         r"^[0-9A-Fa-f]{4}:[0-9A-Fa-f]{2}:[0-9A-Fa-f]{2}\.[0-9A-Fa-f]$"
  38     )
  39     if not re.match(pattern, pci_dev):
  40         raise ValueError(
  41             f"PCI address {pci_dev} is not in valid format xxxx:xx:xx.x"
  42         )
  43     return True
  44
  45
  46 class VppConfigGenerator:
  47     """VPP Configuration File Generator."""
  48
  49     def __init__(self):
  50         """Initialize library."""
  51         # VPP Node to apply configuration on
  52         self._node = u""
  53         # Topology node key
  54         self._node_key = u""
  55         # VPP Configuration
  56         self._nodeconfig = dict()
  57         # Serialized VPP Configuration
  58         self._vpp_config = u""
  59         # VPP Service name
  60         self._vpp_service_name = u"vpp"
  61         # VPP Logfile location
  62         self._vpp_logfile = u"/tmp/vpe.log"
  63         # VPP Startup config location
  64         self._vpp_startup_conf = u"/etc/vpp/startup.conf"
  65
  66     def set_node(self, node, node_key=None):
  67         """Set DUT node.
  68
  69         :param node: Node to store configuration on.
  70         :param node_key: Topology node key.
  71         :type node: dict
  72         :type node_key: str
  73         :raises RuntimeError: If Node type is not DUT.
  74         """
  75         if node[u"type"] != NodeType.DUT:
  76             raise RuntimeError(
  77                 u"Startup config can only be applied to DUTnode."
  78             )
  79         self._node = node
  80         self._node_key = node_key
  81
  82     def get_config_str(self):
  83         """Get dumped startup configuration in VPP config format.
  84
  85         :returns: Startup configuration in VPP config format.
  86         :rtype: str
  87         """
  88         self.dump_config(self._nodeconfig)
  89         return self._vpp_config
  90
  91     def add_config_item(self, config, value, path):
  92         """Add startup configuration item.
  93
  94         :param config: Startup configuration of node.
  95         :param value: Value to insert.
  96         :param path: Path where to insert item.
  97         :type config: dict
  98         :type value: str
  99         :type path: list
 100         """
 101         if len(path) == 1:
 102             config[path[0]] = value
 103             return
 104         if path[0] not in config:
 105             config[path[0]] = dict()
 106         elif isinstance(config[path[0]], str):
 107             config[path[0]] = dict() if config[path[0]] == u"" \
 108                 else {config[path[0]]: u""}
 109         self.add_config_item(config[path[0]], value, path[1:])
 110
 111     def dump_config(self, obj, level=-1):
 112         """Dump the startup configuration in VPP config format.
 113
 114         :param obj: Python Object to print.
 115         :param level: Nested level for indentation.
 116         :type obj: Obj
 117         :type level: int
 118         :returns: nothing
 119         """
 120         indent = u"  "
 121         if level >= 0:
 122             self._vpp_config += f"{level * indent}{{\n"
 123         if isinstance(obj, dict):
 124             for key, val in obj.items():
 125                 if hasattr(val, u"__iter__") and not isinstance(val, str):
 126                     self._vpp_config += f"{(level + 1) * indent}{key}\n"
 127                     self.dump_config(val, level + 1)
 128                 else:
 129                     self._vpp_config += f"{(level + 1) * indent}{key} {val}\n"
 130         else:
 131             for val in obj:
 132                 self._vpp_config += f"{(level + 1) * indent}{val}\n"
 133         if level >= 0:
 134             self._vpp_config += f"{level * indent}}}\n"
 135
 136     def add_unix_log(self, value=None):
 137         """Add UNIX log configuration.
 138
 139         :param value: Log file.
 140         :type value: str
 141         """
 142         path = [u"unix", u"log"]
 143         if value is None:
 144             value = self._vpp_logfile
 145         self.add_config_item(self._nodeconfig, value, path)
 146
 147     def add_unix_cli_listen(self, value=u"/run/vpp/cli.sock"):
 148         """Add UNIX cli-listen configuration.
 149
 150         :param value: CLI listen address and port or path to CLI socket.
 151         :type value: str
 152         """
 153         path = [u"unix", u"cli-listen"]
 154         self.add_config_item(self._nodeconfig, value, path)
 155
 156     def add_unix_gid(self, value=u"vpp"):
 157         """Add UNIX gid configuration.
 158
 159         :param value: Gid.
 160         :type value: str
 161         """
 162         path = [u"unix", u"gid"]
 163         self.add_config_item(self._nodeconfig, value, path)
 164
 165     def add_unix_nodaemon(self):
 166         """Add UNIX nodaemon configuration."""
 167         path = [u"unix", u"nodaemon"]
 168         self.add_config_item(self._nodeconfig, u"", path)
 169
 170     def add_unix_coredump(self):
 171         """Add UNIX full-coredump configuration."""
 172         path = [u"unix", u"full-coredump"]
 173         self.add_config_item(self._nodeconfig, u"", path)
 174
 175     def add_unix_exec(self, value):
 176         """Add UNIX exec configuration."""
 177         path = [u"unix", u"exec"]
 178         self.add_config_item(self._nodeconfig, value, path)
 179
 180     def add_socksvr(self, socket=Constants.SOCKSVR_PATH):
 181         """Add socksvr configuration."""
 182         path = [u"socksvr", u"socket-name"]
 183         self.add_config_item(self._nodeconfig, socket, path)
 184
 185     def add_graph_node_variant(self, variant=Constants.GRAPH_NODE_VARIANT):
 186         """Add default graph node variant.
 187
 188         :param value: Graph node variant default value.
 189         :type value: str
 190         """
 191         if variant == u"":
 192             return
 193         variant_list = [u"hsw", u"skx", u"icl"]
 194         if variant not in variant_list:
 195             raise ValueError("Invalid graph node variant value")
 196         path = [u"node", u"default", u"variant"]
 197         self.add_config_item(self._nodeconfig, variant, path)
 198
 199     def add_api_segment_gid(self, value=u"vpp"):
 200         """Add API-SEGMENT gid configuration.
 201
 202         :param value: Gid.
 203         :type value: str
 204         """
 205         path = [u"api-segment", u"gid"]
 206         self.add_config_item(self._nodeconfig, value, path)
 207
 208     def add_api_segment_global_size(self, value):
 209         """Add API-SEGMENT global-size configuration.
 210
 211         :param value: Global size.
 212         :type value: str
 213         """
 214         path = [u"api-segment", u"global-size"]
 215         self.add_config_item(self._nodeconfig, value, path)
 216
 217     def add_api_segment_api_size(self, value):
 218         """Add API-SEGMENT api-size configuration.
 219
 220         :param value: API size.
 221         :type value: str
 222         """
 223         path = [u"api-segment", u"api-size"]
 224         self.add_config_item(self._nodeconfig, value, path)
 225
 226     def add_buffers_per_numa(self, value):
 227         """Increase number of buffers allocated.
 228
 229         :param value: Number of buffers allocated.
 230         :type value: int
 231         """
 232         path = [u"buffers", u"buffers-per-numa"]
 233         self.add_config_item(self._nodeconfig, value, path)
 234
 235     def add_buffers_default_data_size(self, value):
 236         """Increase buffers data-size allocated.
 237
 238         :param value: Buffers data-size allocated.
 239         :type value: int
 240         """
 241         path = [u"buffers", u"default data-size"]
 242         self.add_config_item(self._nodeconfig, value, path)
 243
 244     def add_dpdk_dev(self, *devices):
 245         """Add DPDK PCI device configuration.
 246
 247         :param devices: PCI device(s) (format xxxx:xx:xx.x)
 248         :type devices: tuple
 249         """
 250         for device in devices:
 251             if pci_dev_check(device):
 252                 path = [u"dpdk", f"dev {device}"]
 253                 self.add_config_item(self._nodeconfig, u"", path)
 254
 255     def add_dpdk_dev_parameter(self, device, parameter, value):
 256         """Add parameter for DPDK device.
 257
 258         :param device: PCI device (format xxxx:xx:xx.x).
 259         :param parameter: Parameter name.
 260         :param value: Parameter value.
 261         :type device: str
 262         :type parameter: str
 263         :type value: str
 264         """
 265         if pci_dev_check(device):
 266             path = [u"dpdk", f"dev {device}", parameter]
 267             self.add_config_item(self._nodeconfig, value, path)
 268
 269     def add_dpdk_cryptodev(self, count):
 270         """Add DPDK Crypto PCI device configuration.
 271
 272         :param count: Number of HW crypto devices to add.
 273         :type count: int
 274         """
 275         cryptodev = Topology.get_cryptodev(self._node)
 276         for i in range(count):
 277             cryptodev_config = re.sub(r"\d.\d$", f"1.{str(i)}", cryptodev)
 278             path = [u"dpdk", f"dev {cryptodev_config}"]
 279             self.add_config_item(self._nodeconfig, u"", path)
 280         self.add_dpdk_uio_driver(u"vfio-pci")
 281
 282     def add_dpdk_sw_cryptodev(self, sw_pmd_type, socket_id, count):
 283         """Add DPDK SW Crypto device configuration.
 284
 285         :param sw_pmd_type: Type of SW crypto device PMD to add.
 286         :param socket_id: Socket ID.
 287         :param count: Number of SW crypto devices to add.
 288         :type sw_pmd_type: str
 289         :type socket_id: int
 290         :type count: int
 291         """
 292         for _ in range(count):
 293             cryptodev_config = f"vdev cryptodev_{sw_pmd_type}_pmd," \
 294                 f"socket_id={str(socket_id)}"
 295             path = [u"dpdk", cryptodev_config]
 296             self.add_config_item(self._nodeconfig, u"", path)
 297
 298     def add_dpdk_dev_default_rxq(self, value):
 299         """Add DPDK dev default rxq configuration.
 300
 301         :param value: Default number of rxqs.
 302         :type value: str
 303         """
 304         path = [u"dpdk", u"dev default", u"num-rx-queues"]
 305         self.add_config_item(self._nodeconfig, value, path)
 306
 307     def add_dpdk_dev_default_txq(self, value):
 308         """Add DPDK dev default txq configuration.
 309
 310         :param value: Default number of txqs.
 311         :type value: str
 312         """
 313         path = [u"dpdk", u"dev default", u"num-tx-queues"]
 314         self.add_config_item(self._nodeconfig, value, path)
 315
 316     def add_dpdk_dev_default_rxd(self, value):
 317         """Add DPDK dev default rxd configuration.
 318
 319         :param value: Default number of rxds.
 320         :type value: str
 321         """
 322         path = [u"dpdk", u"dev default", u"num-rx-desc"]
 323         self.add_config_item(self._nodeconfig, value, path)
 324
 325     def add_dpdk_dev_default_txd(self, value):
 326         """Add DPDK dev default txd configuration.
 327
 328         :param value: Default number of txds.
 329         :type value: str
 330         """
 331         path = [u"dpdk", u"dev default", u"num-tx-desc"]
 332         self.add_config_item(self._nodeconfig, value, path)
 333
 334     def add_dpdk_log_level(self, value):
 335         """Add DPDK log-level configuration.
 336
 337         :param value: Log level.
 338         :type value: str
 339         """
 340         path = [u"dpdk", u"log-level"]
 341         self.add_config_item(self._nodeconfig, value, path)
 342
 343     def add_dpdk_no_pci(self):
 344         """Add DPDK no-pci."""
 345         path = [u"dpdk", u"no-pci"]
 346         self.add_config_item(self._nodeconfig, u"", path)
 347
 348     def add_dpdk_uio_driver(self, value=None):
 349         """Add DPDK uio-driver configuration.
 350
 351         :param value: DPDK uio-driver configuration. By default, driver will be
 352             loaded automatically from Topology file, still leaving option
 353             to manually override by parameter.
 354         :type value: str
 355         """
 356         if value is None:
 357             value = Topology.get_uio_driver(self._node)
 358         path = [u"dpdk", u"uio-driver"]
 359         self.add_config_item(self._nodeconfig, value, path)
 360
 361     def add_dpdk_max_simd_bitwidth(self, variant=Constants.GRAPH_NODE_VARIANT):
 362         """Add DPDK max-simd-bitwidth configuration.
 363
 364         :param value: Graph node variant default value.
 365         :type value: str
 366         """
 367         if variant == u"icl":
 368             value = 512
 369         elif variant in [u"skx", u"hsw"]:
 370             value = 256
 371         else:
 372             return
 373
 374         path = [u"dpdk", u"max-simd-bitwidth"]
 375         self.add_config_item(self._nodeconfig, value, path)
 376
 377     def add_cpu_main_core(self, value):
 378         """Add CPU main core configuration.
 379
 380         :param value: Main core option.
 381         :type value: str
 382         """
 383         path = [u"cpu", u"main-core"]
 384         self.add_config_item(self._nodeconfig, value, path)
 385
 386     def add_cpu_corelist_workers(self, value):
 387         """Add CPU corelist-workers configuration.
 388
 389         :param value: Corelist-workers option.
 390         :type value: str
 391         """
 392         path = [u"cpu", u"corelist-workers"]
 393         self.add_config_item(self._nodeconfig, value, path)
 394
 395     def add_main_heap_size(self, value):
 396         """Add Main Heap Size configuration.
 397
 398         :param value: Amount of heap.
 399         :type value: str
 400         """
 401         path = [u"memory", u"main-heap-size"]
 402         self.add_config_item(self._nodeconfig, value, path)
 403
 404     def add_main_heap_page_size(self, value):
 405         """Add Main Heap Page Size configuration.
 406
 407         :param value: Heap page size.
 408         :type value: str
 409         """
 410         path = [u"memory", u"main-heap-page-size"]
 411         self.add_config_item(self._nodeconfig, value, path)
 412
 413     def add_default_hugepage_size(self, value=Constants.DEFAULT_HUGEPAGE_SIZE):
 414         """Add Default Hugepage Size configuration.
 415
 416         :param value: Hugepage size.
 417         :type value: str
 418         """
 419         path = [u"memory", u"default-hugepage-size"]
 420         self.add_config_item(self._nodeconfig, value, path)
 421
 422     def add_api_trace(self):
 423         """Add API trace configuration."""
 424         path = [u"api-trace", u"on"]
 425         self.add_config_item(self._nodeconfig, u"", path)
 426
 427     def add_ip6_hash_buckets(self, value):
 428         """Add IP6 hash buckets configuration.
 429
 430         :param value: Number of IP6 hash buckets.
 431         :type value: str
 432         """
 433         path = [u"ip6", u"hash-buckets"]
 434         self.add_config_item(self._nodeconfig, value, path)
 435
 436     def add_ip6_heap_size(self, value):
 437         """Add IP6 heap-size configuration.
 438
 439         :param value: IP6 Heapsize amount.
 440         :type value: str
 441         """
 442         path = [u"ip6", u"heap-size"]
 443         self.add_config_item(self._nodeconfig, value, path)
 444
 445     def add_spd_flow_cache_ipv4_outbound(self):
 446         """Add SPD flow cache for IP4 outbound traffic"""
 447         path = [u"ipsec", u"ipv4-outbound-spd-flow-cache"]
 448         self.add_config_item(self._nodeconfig, "on", path)
 449
 450     def add_statseg_size(self, value):
 451         """Add Stats Heap Size configuration.
 452
 453         :param value: Stats heapsize amount.
 454         :type value: str
 455         """
 456         path = [u"statseg", u"size"]
 457         self.add_config_item(self._nodeconfig, value, path)
 458
 459     def add_statseg_page_size(self, value):
 460         """Add Stats Heap Page Size configuration.
 461
 462         :param value: Stats heapsize amount.
 463         :type value: str
 464         """
 465         path = [u"statseg", u"page-size"]
 466         self.add_config_item(self._nodeconfig, value, path)
 467
 468     def add_statseg_per_node_counters(self, value):
 469         """Add stats per-node-counters configuration.
 470
 471         :param value: "on" to switch the counters on.
 472         :type value: str
 473         """
 474         path = [u"statseg", u"per-node-counters"]
 475         self.add_config_item(self._nodeconfig, value, path)
 476
 477     def add_plugin(self, state, *plugins):
 478         """Add plugin section for specific plugin(s).
 479
 480         :param state: State of plugin [enable|disable].
 481         :param plugins: Plugin(s) to disable.
 482         :type state: str
 483         :type plugins: list
 484         """
 485         for plugin in plugins:
 486             path = [u"plugins", f"plugin {plugin}", state]
 487             self.add_config_item(self._nodeconfig, u" ", path)
 488
 489     def add_dpdk_no_multi_seg(self):
 490         """Add DPDK no-multi-seg configuration."""
 491         path = [u"dpdk", u"no-multi-seg"]
 492         self.add_config_item(self._nodeconfig, u"", path)
 493
 494     def add_dpdk_no_tx_checksum_offload(self):
 495         """Add DPDK no-tx-checksum-offload configuration."""
 496         path = [u"dpdk", u"no-tx-checksum-offload"]
 497         self.add_config_item(self._nodeconfig, u"", path)
 498
 499     def add_nat(self, value=u"deterministic"):
 500         """Add NAT mode configuration.
 501
 502         :param value: NAT mode.
 503         :type value: str
 504         """
 505         path = [u"nat", value]
 506         self.add_config_item(self._nodeconfig, u"", path)
 507
 508     def add_nat_max_translations_per_thread(self, value):
 509         """Add NAT max. translations per thread number configuration.
 510
 511         :param value: NAT mode.
 512         :type value: str
 513         """
 514         path = [u"nat", u"max translations per thread"]
 515         self.add_config_item(self._nodeconfig, value, path)
 516
 517     def add_nsim_poll_main_thread(self):
 518         """Add NSIM poll-main-thread configuration."""
 519         path = [u"nsim", u"poll-main-thread"]
 520         self.add_config_item(self._nodeconfig, u"", path)
 521
 522     def add_tcp_congestion_control_algorithm(self, value=u"cubic"):
 523         """Add TCP congestion control algorithm.
 524
 525         :param value: The congestion control algorithm to use. Example: cubic
 526         :type value: str
 527         """
 528         path = [u"tcp", u"cc-algo"]
 529         self.add_config_item(self._nodeconfig, value, path)
 530
 531     def add_tcp_preallocated_connections(self, value):
 532         """Add TCP pre-allocated connections.
 533
 534         :param value: The number of pre-allocated connections.
 535         :type value: int
 536         """
 537         path = [u"tcp", u"preallocated-connections"]
 538         self.add_config_item(self._nodeconfig, value, path)
 539
 540     def add_tcp_preallocated_half_open_connections(self, value):
 541         """Add TCP pre-allocated half open connections.
 542
 543         :param value: The number of pre-allocated half open connections.
 544         :type value: int
 545         """
 546         path = [u"tcp", u"preallocated-half-open-connections"]
 547         self.add_config_item(self._nodeconfig, value, path)
 548
 549     def add_session_enable(self):
 550         """Add session enable."""
 551         path = [u"session", u"enable"]
 552         self.add_config_item(self._nodeconfig, u"", path)
 553
 554     def add_session_event_queues_memfd_segment(self):
 555         """Add session event queue memfd segment."""
 556         path = [u"session", u"evt_qs_memfd_seg"]
 557         self.add_config_item(self._nodeconfig, u"", path)
 558
 559     def add_session_event_queue_length(self, value):
 560         """Add session event queue length.
 561
 562         :param value: Session event queue length.
 563         :type value: int
 564         """
 565         path = [u"session", u"event-queue-length"]
 566         self.add_config_item(self._nodeconfig, value, path)
 567
 568     def add_session_event_queues_segment_size(self, value):
 569         """Add session event queue length.
 570
 571         :param value: Session event queue segment size.
 572         :type value: str
 573         """
 574         path = [u"session", u"evt_qs_seg_size"]
 575         self.add_config_item(self._nodeconfig, value, path)
 576
 577     def add_session_preallocated_sessions(self, value):
 578         """Add the number of pre-allocated sessions.
 579
 580         :param value: Number of pre-allocated sessions.
 581         :type value: int
 582         """
 583         path = [u"session", u"preallocated-sessions"]
 584         self.add_config_item(self._nodeconfig, value, path)
 585
 586     def add_session_v4_session_table_buckets(self, value):
 587         """Add number of v4 session table buckets to the config.
 588
 589         :param value: Number of v4 session table buckets.
 590         :type value: int
 591         """
 592         path = [u"session", u"v4-session-table-buckets"]
 593         self.add_config_item(self._nodeconfig, value, path)
 594
 595     def add_session_v4_session_table_memory(self, value):
 596         """Add the size of v4 session table memory.
 597
 598         :param value: Size of v4 session table memory.
 599         :type value: str
 600         """
 601         path = [u"session", u"v4-session-table-memory"]
 602         self.add_config_item(self._nodeconfig, value, path)
 603
 604     def add_session_v4_halfopen_table_buckets(self, value):
 605         """Add the number of v4 halfopen table buckets.
 606
 607         :param value: Number of v4 halfopen table buckets.
 608         :type value: int
 609         """
 610         path = [u"session", u"v4-halfopen-table-buckets"]
 611         self.add_config_item(self._nodeconfig, value, path)
 612
 613     def add_session_v4_halfopen_table_memory(self, value):
 614         """Add the size of v4 halfopen table memory.
 615
 616         :param value: Size of v4 halfopen table memory.
 617         :type value: str
 618         """
 619         path = [u"session", u"v4-halfopen-table-memory"]
 620         self.add_config_item(self._nodeconfig, value, path)
 621
 622     def add_session_local_endpoints_table_buckets(self, value):
 623         """Add the number of local endpoints table buckets.
 624
 625         :param value: Number of local endpoints table buckets.
 626         :type value: int
 627         """
 628         path = [u"session", u"local-endpoints-table-buckets"]
 629         self.add_config_item(self._nodeconfig, value, path)
 630
 631     def add_session_local_endpoints_table_memory(self, value):
 632         """Add the size of local endpoints table memory.
 633
 634         :param value: Size of local endpoints table memory.
 635         :type value: str
 636         """
 637         path = [u"session", u"local-endpoints-table-memory"]
 638         self.add_config_item(self._nodeconfig, value, path)
 639
 640     def write_config(self, filename=None):
 641         """Generate and write VPP startup configuration to file.
 642
 643         Use data from calls to this class to form a startup.conf file and
 644         replace /etc/vpp/startup.conf with it on topology node.
 645
 646         :param filename: Startup configuration file name.
 647         :type filename: str
 648         """
 649         self.dump_config(self._nodeconfig)
 650
 651         if filename is None:
 652             filename = self._vpp_startup_conf
 653
 654         cmd = f"echo \"{self._vpp_config}\" | sudo tee {filename}"
 655         exec_cmd_no_error(
 656             self._node, cmd, message=u"Writing config file failed!"
 657         )
 658
 659     def apply_config(self, filename=None, verify_vpp=True):
 660         """Generate and write VPP startup configuration to file and restart VPP.
 661
 662         Use data from calls to this class to form a startup.conf file and
 663         replace /etc/vpp/startup.conf with it on topology node.
 664
 665         :param filename: Startup configuration file name.
 666         :param verify_vpp: Verify VPP is running after restart.
 667         :type filename: str
 668         :type verify_vpp: bool
 669         """
 670         self.write_config(filename=filename)
 671
 672         VPPUtil.restart_vpp_service(self._node, self._node_key)
 673         if verify_vpp:
 674             VPPUtil.verify_vpp(self._node)