make graph node variant can be configured from gerrit trigger
[csit.git] / resources / libraries / python / VppConfigGenerator.py
1 # Copyright (c) 2020 Cisco and/or its affiliates.
2 # Licensed under the Apache License, Version 2.0 (the "License");
3 # you may not use this file except in compliance with the License.
4 # You may obtain a copy of the License at:
5 #
6 #     http://www.apache.org/licenses/LICENSE-2.0
7 #
8 # Unless required by applicable law or agreed to in writing, software
9 # distributed under the License is distributed on an "AS IS" BASIS,
10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
11 # See the License for the specific language governing permissions and
12 # limitations under the License.
13
14 """VPP Configuration File Generator library.
15
16 TODO: Support initialization with default values,
17 so that we do not need to have block of 6 "Add Unix" commands
18 in 7 various places of CSIT code.
19 """
20
21 import re
22
23 from resources.libraries.python.Constants import Constants
24 from resources.libraries.python.ssh import exec_cmd_no_error
25 from resources.libraries.python.topology import NodeType
26 from resources.libraries.python.topology import Topology
27 from resources.libraries.python.VPPUtil import VPPUtil
28
29 __all__ = [u"VppConfigGenerator"]
30
31
32 def pci_dev_check(pci_dev):
33     """Check if provided PCI address is in correct format.
34
35     :param pci_dev: PCI address (expected format: xxxx:xx:xx.x).
36     :type pci_dev: str
37     :returns: True if PCI address is in correct format.
38     :rtype: bool
39     :raises ValueError: If PCI address is in incorrect format.
40     """
41     pattern = re.compile(
42         r"^[0-9A-Fa-f]{4}:[0-9A-Fa-f]{2}:[0-9A-Fa-f]{2}\.[0-9A-Fa-f]$"
43     )
44     if not re.match(pattern, pci_dev):
45         raise ValueError(
46             f"PCI address {pci_dev} is not in valid format xxxx:xx:xx.x"
47         )
48     return True
49
50
51 class VppConfigGenerator:
52     """VPP Configuration File Generator."""
53
54     def __init__(self):
55         """Initialize library."""
56         # VPP Node to apply configuration on
57         self._node = u""
58         # Topology node key
59         self._node_key = u""
60         # VPP Configuration
61         self._nodeconfig = dict()
62         # Serialized VPP Configuration
63         self._vpp_config = u""
64         # VPP Service name
65         self._vpp_service_name = u"vpp"
66         # VPP Logfile location
67         self._vpp_logfile = u"/tmp/vpe.log"
68         # VPP Startup config location
69         self._vpp_startup_conf = u"/etc/vpp/startup.conf"
70         # VPP Startup config backup location
71         self._vpp_startup_conf_backup = None
72
73     def set_node(self, node, node_key=None):
74         """Set DUT node.
75
76         :param node: Node to store configuration on.
77         :param node_key: Topology node key.
78         :type node: dict
79         :type node_key: str
80         :raises RuntimeError: If Node type is not DUT.
81         """
82         if node[u"type"] != NodeType.DUT:
83             raise RuntimeError(
84                 u"Startup config can only be applied to DUTnode."
85             )
86         self._node = node
87         self._node_key = node_key
88
89     def set_vpp_logfile(self, logfile):
90         """Set VPP logfile location.
91
92         :param logfile: VPP logfile location.
93         :type logfile: str
94         """
95         self._vpp_logfile = logfile
96
97     def set_vpp_startup_conf_backup(self, backup=u"/etc/vpp/startup.backup"):
98         """Set VPP startup configuration backup.
99
100         :param backup: VPP logfile location.
101         :type backup: str
102         """
103         self._vpp_startup_conf_backup = backup
104
105     def get_config_str(self):
106         """Get dumped startup configuration in VPP config format.
107
108         :returns: Startup configuration in VPP config format.
109         :rtype: str
110         """
111         self.dump_config(self._nodeconfig)
112         return self._vpp_config
113
114     def add_config_item(self, config, value, path):
115         """Add startup configuration item.
116
117         :param config: Startup configuration of node.
118         :param value: Value to insert.
119         :param path: Path where to insert item.
120         :type config: dict
121         :type value: str
122         :type path: list
123         """
124         if len(path) == 1:
125             config[path[0]] = value
126             return
127         if path[0] not in config:
128             config[path[0]] = dict()
129         elif isinstance(config[path[0]], str):
130             config[path[0]] = dict() if config[path[0]] == u"" \
131                 else {config[path[0]]: u""}
132         self.add_config_item(config[path[0]], value, path[1:])
133
134     def dump_config(self, obj, level=-1):
135         """Dump the startup configuration in VPP config format.
136
137         :param obj: Python Object to print.
138         :param level: Nested level for indentation.
139         :type obj: Obj
140         :type level: int
141         :returns: nothing
142         """
143         indent = u"  "
144         if level >= 0:
145             self._vpp_config += f"{level * indent}{{\n"
146         if isinstance(obj, dict):
147             for key, val in obj.items():
148                 if hasattr(val, u"__iter__") and not isinstance(val, str):
149                     self._vpp_config += f"{(level + 1) * indent}{key}\n"
150                     self.dump_config(val, level + 1)
151                 else:
152                     self._vpp_config += f"{(level + 1) * indent}{key} {val}\n"
153         else:
154             for val in obj:
155                 self._vpp_config += f"{(level + 1) * indent}{val}\n"
156         if level >= 0:
157             self._vpp_config += f"{level * indent}}}\n"
158
159     def add_unix_log(self, value=None):
160         """Add UNIX log configuration.
161
162         :param value: Log file.
163         :type value: str
164         """
165         path = [u"unix", u"log"]
166         if value is None:
167             value = self._vpp_logfile
168         self.add_config_item(self._nodeconfig, value, path)
169
170     def add_unix_cli_listen(self, value=u"/run/vpp/cli.sock"):
171         """Add UNIX cli-listen configuration.
172
173         :param value: CLI listen address and port or path to CLI socket.
174         :type value: str
175         """
176         path = [u"unix", u"cli-listen"]
177         self.add_config_item(self._nodeconfig, value, path)
178
179     def add_unix_gid(self, value=u"vpp"):
180         """Add UNIX gid configuration.
181
182         :param value: Gid.
183         :type value: str
184         """
185         path = [u"unix", u"gid"]
186         self.add_config_item(self._nodeconfig, value, path)
187
188     def add_unix_nodaemon(self):
189         """Add UNIX nodaemon configuration."""
190         path = [u"unix", u"nodaemon"]
191         self.add_config_item(self._nodeconfig, u"", path)
192
193     def add_unix_coredump(self):
194         """Add UNIX full-coredump configuration."""
195         path = [u"unix", u"full-coredump"]
196         self.add_config_item(self._nodeconfig, u"", path)
197
198     def add_unix_exec(self, value):
199         """Add UNIX exec configuration."""
200         path = [u"unix", u"exec"]
201         self.add_config_item(self._nodeconfig, value, path)
202
203     def add_socksvr(self, socket=Constants.SOCKSVR_PATH):
204         """Add socksvr configuration."""
205         path = [u"socksvr", u"socket-name"]
206         self.add_config_item(self._nodeconfig, socket, path)
207
208     def add_graph_node_variant(self, variant=Constants.GRAPH_NODE_VARIANT):
209         """Add default graph node variant.
210
211         :param value: Graph node variant default value.
212         :type value: str
213         """
214         if variant == u"":
215             return
216         variant_list = [u"hsw", u"skx", u"icl"]
217         if variant not in variant_list:
218             raise ValueError("Invalid graph node variant value")
219         path = [u"node", u"default", u"variant"]
220         self.add_config_item(self._nodeconfig, variant, path)
221
222     def add_api_segment_gid(self, value=u"vpp"):
223         """Add API-SEGMENT gid configuration.
224
225         :param value: Gid.
226         :type value: str
227         """
228         path = [u"api-segment", u"gid"]
229         self.add_config_item(self._nodeconfig, value, path)
230
231     def add_api_segment_global_size(self, value):
232         """Add API-SEGMENT global-size configuration.
233
234         :param value: Global size.
235         :type value: str
236         """
237         path = [u"api-segment", u"global-size"]
238         self.add_config_item(self._nodeconfig, value, path)
239
240     def add_api_segment_api_size(self, value):
241         """Add API-SEGMENT api-size configuration.
242
243         :param value: API size.
244         :type value: str
245         """
246         path = [u"api-segment", u"api-size"]
247         self.add_config_item(self._nodeconfig, value, path)
248
249     def add_buffers_per_numa(self, value):
250         """Increase number of buffers allocated.
251
252         :param value: Number of buffers allocated.
253         :type value: int
254         """
255         path = [u"buffers", u"buffers-per-numa"]
256         self.add_config_item(self._nodeconfig, value, path)
257
258     def add_buffers_default_data_size(self, value):
259         """Increase buffers data-size allocated.
260
261         :param value: Buffers data-size allocated.
262         :type value: int
263         """
264         path = [u"buffers", u"default data-size"]
265         self.add_config_item(self._nodeconfig, value, path)
266
267     def add_dpdk_dev(self, *devices):
268         """Add DPDK PCI device configuration.
269
270         :param devices: PCI device(s) (format xxxx:xx:xx.x)
271         :type devices: tuple
272         """
273         for device in devices:
274             if pci_dev_check(device):
275                 path = [u"dpdk", f"dev {device}"]
276                 self.add_config_item(self._nodeconfig, u"", path)
277
278     def add_dpdk_dev_parameter(self, device, parameter, value):
279         """Add parameter for DPDK device.
280
281         :param device: PCI device (format xxxx:xx:xx.x).
282         :param parameter: Parameter name.
283         :param value: Parameter value.
284         :type device: str
285         :type parameter: str
286         :type value: str
287         """
288         if pci_dev_check(device):
289             path = [u"dpdk", f"dev {device}", parameter]
290             self.add_config_item(self._nodeconfig, value, path)
291
292     def add_dpdk_cryptodev(self, count):
293         """Add DPDK Crypto PCI device configuration.
294
295         :param count: Number of HW crypto devices to add.
296         :type count: int
297         """
298         cryptodev = Topology.get_cryptodev(self._node)
299         for i in range(count):
300             cryptodev_config = re.sub(r"\d.\d$", f"1.{str(i)}", cryptodev)
301             path = [u"dpdk", f"dev {cryptodev_config}"]
302             self.add_config_item(self._nodeconfig, u"", path)
303         self.add_dpdk_uio_driver(u"vfio-pci")
304
305     def add_dpdk_sw_cryptodev(self, sw_pmd_type, socket_id, count):
306         """Add DPDK SW Crypto device configuration.
307
308         :param sw_pmd_type: Type of SW crypto device PMD to add.
309         :param socket_id: Socket ID.
310         :param count: Number of SW crypto devices to add.
311         :type sw_pmd_type: str
312         :type socket_id: int
313         :type count: int
314         """
315         for _ in range(count):
316             cryptodev_config = f"vdev cryptodev_{sw_pmd_type}_pmd," \
317                 f"socket_id={str(socket_id)}"
318             path = [u"dpdk", cryptodev_config]
319             self.add_config_item(self._nodeconfig, u"", path)
320
321     def add_dpdk_eth_bond_dev(self, ethbond_id, mode, xmit_policy, *slaves):
322         """Add DPDK Eth_bond device configuration.
323
324         :param ethbond_id: Eth_bond device ID.
325         :param mode: Link bonding mode.
326         :param xmit_policy: Transmission policy.
327         :param slaves: PCI device(s) to be bonded (format xxxx:xx:xx.x).
328         :type ethbond_id: str or int
329         :type mode: str or int
330         :type xmit_policy: str
331         :type slaves: list
332         """
333         slaves_config = u"slave=" + u",slave=".join(
334             slave if pci_dev_check(slave) else u"" for slave in slaves
335         )
336         ethbond_config = f"vdev eth_bond{ethbond_id}," \
337             f"mode={mode}{slaves_config},xmit_policy={xmit_policy}"
338         path = [u"dpdk", ethbond_config]
339         self.add_config_item(self._nodeconfig, u"", path)
340
341     def add_dpdk_dev_default_rxq(self, value):
342         """Add DPDK dev default rxq configuration.
343
344         :param value: Default number of rxqs.
345         :type value: str
346         """
347         path = [u"dpdk", u"dev default", u"num-rx-queues"]
348         self.add_config_item(self._nodeconfig, value, path)
349
350     def add_dpdk_dev_default_txq(self, value):
351         """Add DPDK dev default txq configuration.
352
353         :param value: Default number of txqs.
354         :type value: str
355         """
356         path = [u"dpdk", u"dev default", u"num-tx-queues"]
357         self.add_config_item(self._nodeconfig, value, path)
358
359     def add_dpdk_dev_default_rxd(self, value):
360         """Add DPDK dev default rxd configuration.
361
362         :param value: Default number of rxds.
363         :type value: str
364         """
365         path = [u"dpdk", u"dev default", u"num-rx-desc"]
366         self.add_config_item(self._nodeconfig, value, path)
367
368     def add_dpdk_dev_default_txd(self, value):
369         """Add DPDK dev default txd configuration.
370
371         :param value: Default number of txds.
372         :type value: str
373         """
374         path = [u"dpdk", u"dev default", u"num-tx-desc"]
375         self.add_config_item(self._nodeconfig, value, path)
376
377     def add_dpdk_log_level(self, value):
378         """Add DPDK log-level configuration.
379
380         :param value: Log level.
381         :type value: str
382         """
383         path = [u"dpdk", u"log-level"]
384         self.add_config_item(self._nodeconfig, value, path)
385
386     def add_dpdk_no_pci(self):
387         """Add DPDK no-pci."""
388         path = [u"dpdk", u"no-pci"]
389         self.add_config_item(self._nodeconfig, u"", path)
390
391     def add_dpdk_uio_driver(self, value=None):
392         """Add DPDK uio-driver configuration.
393
394         :param value: DPDK uio-driver configuration. By default, driver will be
395             loaded automatically from Topology file, still leaving option
396             to manually override by parameter.
397         :type value: str
398         """
399         if value is None:
400             value = Topology.get_uio_driver(self._node)
401         path = [u"dpdk", u"uio-driver"]
402         self.add_config_item(self._nodeconfig, value, path)
403
404     def add_cpu_main_core(self, value):
405         """Add CPU main core configuration.
406
407         :param value: Main core option.
408         :type value: str
409         """
410         path = [u"cpu", u"main-core"]
411         self.add_config_item(self._nodeconfig, value, path)
412
413     def add_cpu_corelist_workers(self, value):
414         """Add CPU corelist-workers configuration.
415
416         :param value: Corelist-workers option.
417         :type value: str
418         """
419         path = [u"cpu", u"corelist-workers"]
420         self.add_config_item(self._nodeconfig, value, path)
421
422     def add_heapsize(self, value):
423         """Add Heapsize configuration.
424
425         :param value: Amount of heapsize.
426         :type value: str
427         """
428         path = [u"heapsize"]
429         self.add_config_item(self._nodeconfig, value, path)
430
431     def add_api_trace(self):
432         """Add API trace configuration."""
433         path = [u"api-trace", u"on"]
434         self.add_config_item(self._nodeconfig, u"", path)
435
436     def add_ip6_hash_buckets(self, value):
437         """Add IP6 hash buckets configuration.
438
439         :param value: Number of IP6 hash buckets.
440         :type value: str
441         """
442         path = [u"ip6", u"hash-buckets"]
443         self.add_config_item(self._nodeconfig, value, path)
444
445     def add_ip6_heap_size(self, value):
446         """Add IP6 heap-size configuration.
447
448         :param value: IP6 Heapsize amount.
449         :type value: str
450         """
451         path = [u"ip6", u"heap-size"]
452         self.add_config_item(self._nodeconfig, value, path)
453
454     def add_ip_heap_size(self, value):
455         """Add IP heap-size configuration.
456
457         :param value: IP Heapsize amount.
458         :type value: str
459         """
460         path = [u"ip", u"heap-size"]
461         self.add_config_item(self._nodeconfig, value, path)
462
463     def add_statseg_size(self, value):
464         """Add stats segment heap size configuration.
465
466         :param value: Stats heapsize amount.
467         :type value: str
468         """
469         path = [u"statseg", u"size"]
470         self.add_config_item(self._nodeconfig, value, path)
471
472     def add_statseg_per_node_counters(self, value):
473         """Add stats per-node-counters configuration.
474
475         :param value: "on" to switch the counters on.
476         :type value: str
477         """
478         path = [u"statseg", u"per-node-counters"]
479         self.add_config_item(self._nodeconfig, value, path)
480
481     def add_plugin(self, state, *plugins):
482         """Add plugin section for specific plugin(s).
483
484         :param state: State of plugin [enable|disable].
485         :param plugins: Plugin(s) to disable.
486         :type state: str
487         :type plugins: list
488         """
489         for plugin in plugins:
490             path = [u"plugins", f"plugin {plugin}", state]
491             self.add_config_item(self._nodeconfig, u" ", path)
492
493     def add_dpdk_no_multi_seg(self):
494         """Add DPDK no-multi-seg configuration."""
495         path = [u"dpdk", u"no-multi-seg"]
496         self.add_config_item(self._nodeconfig, u"", path)
497
498     def add_dpdk_no_tx_checksum_offload(self):
499         """Add DPDK no-tx-checksum-offload configuration."""
500         path = [u"dpdk", u"no-tx-checksum-offload"]
501         self.add_config_item(self._nodeconfig, u"", path)
502
503     def add_nat(self, value=u"deterministic"):
504         """Add NAT configuration.
505
506         :param value: NAT mode.
507         :type value: str
508         """
509         path = [u"nat"]
510         self.add_config_item(self._nodeconfig, value, path)
511
512     def add_nsim_poll_main_thread(self):
513         """Add NSIM poll-main-thread configuration."""
514         path = [u"nsim", u"poll-main-thread"]
515         self.add_config_item(self._nodeconfig, u"", path)
516
517     def add_tcp_congestion_control_algorithm(self, value=u"cubic"):
518         """Add TCP congestion control algorithm.
519
520         :param value: The congestion control algorithm to use. Example: cubic
521         :type value: str
522         """
523         path = [u"tcp", u"cc-algo"]
524         self.add_config_item(self._nodeconfig, value, path)
525
526     def add_tcp_preallocated_connections(self, value):
527         """Add TCP pre-allocated connections.
528
529         :param value: The number of pre-allocated connections.
530         :type value: int
531         """
532         path = [u"tcp", u"preallocated-connections"]
533         self.add_config_item(self._nodeconfig, value, path)
534
535     def add_tcp_preallocated_half_open_connections(self, value):
536         """Add TCP pre-allocated half open connections.
537
538         :param value: The number of pre-allocated half open connections.
539         :type value: int
540         """
541         path = [u"tcp", u"preallocated-half-open-connections"]
542         self.add_config_item(self._nodeconfig, value, path)
543
544     def add_session_enable(self):
545         """Add session enable."""
546         path = [u"session", u"enable"]
547         self.add_config_item(self._nodeconfig, u"", path)
548
549     def add_session_event_queues_memfd_segment(self):
550         """Add session event queue memfd segment."""
551         path = [u"session", u"evt_qs_memfd_seg"]
552         self.add_config_item(self._nodeconfig, u"", path)
553
554     def add_session_event_queue_length(self, value):
555         """Add session event queue length.
556
557         :param value: Session event queue length.
558         :type value: int
559         """
560         path = [u"session", u"event-queue-length"]
561         self.add_config_item(self._nodeconfig, value, path)
562
563     def add_session_event_queues_segment_size(self, value):
564         """Add session event queue length.
565
566         :param value: Session event queue segment size.
567         :type value: str
568         """
569         path = [u"session", u"evt_qs_seg_size"]
570         self.add_config_item(self._nodeconfig, value, path)
571
572     def add_session_preallocated_sessions(self, value):
573         """Add the number of pre-allocated sessions.
574
575         :param value: Number of pre-allocated sessions.
576         :type value: int
577         """
578         path = [u"session", u"preallocated-sessions"]
579         self.add_config_item(self._nodeconfig, value, path)
580
581     def add_session_v4_session_table_buckets(self, value):
582         """Add number of v4 session table buckets to the config.
583
584         :param value: Number of v4 session table buckets.
585         :type value: int
586         """
587         path = [u"session", u"v4-session-table-buckets"]
588         self.add_config_item(self._nodeconfig, value, path)
589
590     def add_session_v4_session_table_memory(self, value):
591         """Add the size of v4 session table memory.
592
593         :param value: Size of v4 session table memory.
594         :type value: str
595         """
596         path = [u"session", u"v4-session-table-memory"]
597         self.add_config_item(self._nodeconfig, value, path)
598
599     def add_session_v4_halfopen_table_buckets(self, value):
600         """Add the number of v4 halfopen table buckets.
601
602         :param value: Number of v4 halfopen table buckets.
603         :type value: int
604         """
605         path = [u"session", u"v4-halfopen-table-buckets"]
606         self.add_config_item(self._nodeconfig, value, path)
607
608     def add_session_v4_halfopen_table_memory(self, value):
609         """Add the size of v4 halfopen table memory.
610
611         :param value: Size of v4 halfopen table memory.
612         :type value: str
613         """
614         path = [u"session", u"v4-halfopen-table-memory"]
615         self.add_config_item(self._nodeconfig, value, path)
616
617     def add_session_local_endpoints_table_buckets(self, value):
618         """Add the number of local endpoints table buckets.
619
620         :param value: Number of local endpoints table buckets.
621         :type value: int
622         """
623         path = [u"session", u"local-endpoints-table-buckets"]
624         self.add_config_item(self._nodeconfig, value, path)
625
626     def add_session_local_endpoints_table_memory(self, value):
627         """Add the size of local endpoints table memory.
628
629         :param value: Size of local endpoints table memory.
630         :type value: str
631         """
632         path = [u"session", u"local-endpoints-table-memory"]
633         self.add_config_item(self._nodeconfig, value, path)
634
635     def write_config(self, filename=None):
636         """Generate and write VPP startup configuration to file.
637
638         Use data from calls to this class to form a startup.conf file and
639         replace /etc/vpp/startup.conf with it on topology node.
640
641         :param filename: Startup configuration file name.
642         :type filename: str
643         """
644         self.dump_config(self._nodeconfig)
645
646         if filename is None:
647             filename = self._vpp_startup_conf
648
649         if self._vpp_startup_conf_backup is not None:
650             cmd = f"cp {self._vpp_startup_conf} {self._vpp_startup_conf_backup}"
651             exec_cmd_no_error(
652                 self._node, cmd, sudo=True, message=u"Copy config file failed!"
653             )
654
655         cmd = f"echo \"{self._vpp_config}\" | sudo tee {filename}"
656         exec_cmd_no_error(
657             self._node, cmd, message=u"Writing config file failed!"
658         )
659
660     def apply_config(self, filename=None, verify_vpp=True):
661         """Generate and write VPP startup configuration to file and restart VPP.
662
663         Use data from calls to this class to form a startup.conf file and
664         replace /etc/vpp/startup.conf with it on topology node.
665
666         :param filename: Startup configuration file name.
667         :param verify_vpp: Verify VPP is running after restart.
668         :type filename: str
669         :type verify_vpp: bool
670         """
671         self.write_config(filename=filename)
672
673         VPPUtil.restart_vpp_service(self._node, self._node_key)
674         if verify_vpp:
675             VPPUtil.verify_vpp(self._node)
676
677     def restore_config(self):
678         """Restore VPP startup.conf from backup."""
679         cmd = f"cp {self._vpp_startup_conf_backup} {self._vpp_startup_conf}"
680         exec_cmd_no_error(
681             self._node, cmd, sudo=True, message=u"Copy config file failed!"
682         )