docs/tag_documentation.rst

   1 CSIT TAGs
   2 =========
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
  13
  14     2 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
  18
  19     2 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  23
  24     3 nodes connected in a circular topology with two links interconnecting
  25     the devices.
  26
  27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  28
  29     3 nodes connected in a circular topology with at least one link
  30     interconnecting devices.
  31
  32 Objective TAGs
  33 --------------
  34
  35 .. topic:: SKIP_PATCH
  36
  37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  38     and csit-vpp-verify jobs (i.e. CSIT patch).
  39
  40 .. topic:: SKIP_VPP_PATCH
  41
  42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  43
  44 Environment TAGs
  45 ----------------
  46
  47 .. topic:: HW_ENV
  48
  49     DUTs and TGs are running on bare metal.
  50
  51 .. topic:: VM_ENV
  52
  53     DUTs and TGs are running in virtual environment.
  54
  55 .. topic:: VPP_VM_ENV
  56
  57     DUTs with VPP and capable of running Virtual Machine.
  58
  59 NIC model tags
  60 --------------
  61
  62 .. topic:: NIC_Intel-X520-DA2
  63
  64     Intel X520-DA2 NIC.
  65
  66 .. topic:: NIC_Intel-XL710
  67
  68     Intel XL710 NIC.
  69
  70 .. topic:: NIC_Intel-X710
  71
  72     Intel X710 NIC.
  73
  74 .. topic:: NIC_Intel-XXV710
  75
  76     Intel XXV710 NIC.
  77
  78 .. topic:: NIC_Cisco-VIC-1227
  79
  80     VIC-1227 by Cisco.
  81
  82 .. topic:: NIC_Cisco-VIC-1385
  83
  84     VIC-1385 by Cisco.
  85
  86 Scaling TAGs
  87 ------------
  88
  89 .. topic:: FIB_20K
  90
  91     2x10,000 entries in single fib table
  92
  93 .. topic:: FIB_200K
  94
  95     2x100,000 entries in single fib table
  96
  97 .. topic:: FIB_2M
  98
  99     2x1,000,000 entries in single fib table
 100
 101 .. topic:: L2BD_1
 102
 103     Test with 1 L2 bridge domain.
 104
 105 .. topic:: L2BD_10
 106
 107     Test with 10 L2 bridge domains.
 108
 109 .. topic:: L2BD_100
 110
 111     Test with 100 L2 bridge domains.
 112
 113 .. topic:: L2BD_1K
 114
 115     Test with 1000 L2 bridge domains.
 116
 117 .. topic:: VLAN_1
 118
 119     Test with 1 VLAN sub-interface.
 120
 121 .. topic:: VLAN_10
 122
 123     Test with 10 VLAN sub-interfaces.
 124
 125 .. topic:: VLAN_100
 126
 127     Test with 100 VLAN sub-interfaces.
 128
 129 .. topic:: VLAN_1K
 130
 131     Test with 1000 VLAN sub-interfaces.
 132
 133 .. topic:: VXLAN_1
 134
 135     Test with 1 VXLAN tunnel.
 136
 137 .. topic:: VXLAN_10
 138
 139     Test with 10 VXLAN tunnels.
 140
 141 .. topic:: VXLAN_100
 142
 143     Test with 100 VXLAN tunnels.
 144
 145 .. topic:: VXLAN_1K
 146
 147     Test with 1000 VXLAN tunnels.
 148
 149 .. topic:: TNL_1000
 150
 151     IPSec in tunnel mode - 1000 tunnels.
 152
 153 .. topic:: SRC_USER_10
 154
 155     Traffic flow with 10 unique IPs (users) in one direction.
 156
 157 .. topic:: SRC_USER_100
 158
 159     Traffic flow with 100 unique IPs (users) in one direction.
 160
 161 .. topic:: SRC_USER_1000
 162
 163     Traffic flow with 1000 unique IPs (users) in one direction.
 164
 165 .. topic:: SRC_USER_2000
 166
 167     Traffic flow with 2000 unique IPs (users) in one direction.
 168
 169 .. topic:: SRC_USER_4000
 170
 171     Traffic flow with 4000 unique IPs (users) in one direction.
 172
 173 .. topic:: 100_FLOWS
 174
 175     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 176     direction.
 177
 178 .. topic:: 10k_FLOWS
 179
 180     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 181     one direction.
 182
 183 .. topic:: 100k_FLOWS
 184
 185     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 186     one direction.
 187
 188 Tags marking functional vs. performance of tests
 189 ------------------------------------------------
 190
 191 .. topic:: FUNCTEST
 192
 193     All functional test cases.
 194
 195 .. topic:: PERFTEST
 196
 197     All performance test cases.
 198
 199 Performance testing tags
 200 ------------------------
 201
 202 .. topic:: NDRPDR
 203
 204     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 205     The search is done by optimized algorithm which performs
 206     multiple trial runs at different durations and transmit rates.
 207     The results come from the final trials, which have duration of 30 seconds.
 208
 209 .. topic:: MRR
 210
 211     Performance tests where TG sends the traffic at maximum rate (line rate)
 212     and reports total sent/received packets over trial duration.
 213     The result is an average of 10 trials of 1 second duration.
 214
 215 Ethernet frame size tags for performance tests
 216 ----------------------------------------------
 217
 218 .. topic:: 64B
 219
 220     64B frames used for test.
 221
 222 .. topic:: 78B
 223
 224     78B frames used for test.
 225
 226 .. topic:: 114B
 227
 228     114B frames used for test.
 229
 230 .. topic:: IMIX
 231
 232     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 233
 234 .. topic:: 1460B
 235
 236     1460B frames used for test.
 237
 238 .. topic:: 1480B
 239
 240     1480B frames used for test.
 241
 242 .. topic:: 1514B
 243
 244     1514B frames used for test.
 245
 246 .. topic:: 1518B
 247
 248     1518B frames used for test.
 249
 250 .. topic:: 9000B
 251
 252     9000B frames used for test.
 253
 254 Test type tags
 255 --------------
 256
 257 .. topic:: BASE
 258
 259     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 260
 261 .. topic:: IP4BASE
 262
 263     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 264     tests.
 265
 266 .. topic:: IP6BASE
 267
 268     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 269     tests.
 270
 271 .. topic:: L2XCBASE
 272
 273     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 274     tests.
 275
 276 .. topic:: L2BDBASE
 277
 278     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 279     tests.
 280
 281 .. topic:: L2PATCH
 282
 283     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 284     tests.
 285
 286 .. topic:: SCALE
 287
 288     Scale test cases.
 289
 290 .. topic:: ENCAP
 291
 292     Test cases where encapsulation is used. Use also encapsulation tag(s).
 293
 294 .. topic:: FEATURE
 295
 296     At least one feature is configured in test cases. Use also feature tag(s).
 297
 298 .. topic:: TLDK
 299
 300     Functional test cases for TLDK.
 301
 302 .. topic:: DMM
 303
 304     Functional test cases for DMM.
 305
 306 .. topic:: TCP
 307
 308     Tests which use TCP.
 309
 310 .. topic:: TCP_CPS
 311
 312     Performance tests which measure connections per second using http requests.
 313
 314 .. topic:: TCP_RPS
 315
 316     Performance tests which measure requests per second using http requests.
 317
 318 .. topic:: HTTP
 319
 320     Tests which use HTTP.
 321
 322 Forwarding mode tags
 323 --------------------
 324
 325 .. topic:: L2BDMACSTAT
 326
 327     VPP L2 bridge-domain, L2 MAC static.
 328
 329 .. topic:: L2BDMACLRN
 330
 331     VPP L2 bridge-domain, L2 MAC learning.
 332
 333 .. topic:: L2XCFWD
 334
 335     VPP L2 point-to-point cross-connect.
 336
 337 .. topic:: IP4FWD
 338
 339     VPP IPv4 routed forwarding.
 340
 341 .. topic:: IP6FWD
 342
 343     VPP IPv6 routed forwarding.
 344
 345 Underlay tags
 346 -------------
 347
 348 .. topic:: IP4UNRLAY
 349
 350     IPv4 underlay.
 351
 352 .. topic:: IP6UNRLAY
 353
 354     IPv6 underlay.
 355
 356 .. topic:: MPLSUNRLAY
 357
 358     MPLS underlay.
 359
 360 Overlay tags
 361 ------------
 362
 363 .. topic:: L2OVRLAY
 364
 365     L2 overlay.
 366
 367 .. topic:: IP4OVRLAY
 368
 369     IPv4 overlay (IPv4 payload).
 370
 371 .. topic:: IP6OVRLAY
 372
 373     IPv6 overlay (IPv6 payload).
 374
 375 Tagging tags
 376 ------------
 377
 378 .. topic:: DOT1Q
 379
 380     All test cases with dot1q.
 381
 382 .. topic:: DOT1AD
 383
 384     All test cases with dot1ad.
 385
 386 Encapsulation tags
 387 ------------------
 388
 389 .. topic:: ETH
 390
 391     All test cases with base Ethernet (no encapsulation).
 392
 393 .. topic:: LISP
 394
 395     All test cases with LISP.
 396
 397 .. topic:: LISPGPE
 398
 399     All test cases with LISP-GPE.
 400
 401 .. topic:: VXLAN
 402
 403     All test cases with Vxlan.
 404
 405 .. topic:: VXLANGPE
 406
 407     All test cases with VXLAN-GPE.
 408
 409 .. topic:: GRE
 410
 411     All test cases with GRE.
 412
 413 .. topic:: IPSEC
 414
 415     All test cases with IPSEC.
 416
 417 .. topic:: SRv6
 418
 419     All test cases with Segment routing over IPv6 dataplane.
 420
 421 Interface tags
 422 --------------
 423
 424 .. topic:: PHY
 425
 426     All test cases which use physical interface(s).
 427
 428 .. topic:: VHOST
 429
 430     All test cases which uses VHOST.
 431
 432 .. topic:: VHOST_256
 433
 434     All test cases which uses VHOST with qemu queue size set to 256.
 435
 436 .. topic:: VHOST_1024
 437
 438     All test cases which uses VHOST with qemu queue size set to 1024.
 439
 440 .. topic:: CFS_OPT
 441
 442     All test cases which uses VM with optimised scheduler policy.
 443
 444 .. topic:: TUNTAP
 445
 446     All test cases which uses TUN and TAP.
 447
 448 .. topic:: AFPKT
 449
 450     All test cases which uses AFPKT.
 451
 452 .. topic:: NETMAP
 453
 454     All test cases which uses Netmap.
 455
 456 .. topic:: MEMIF
 457
 458     All test cases which uses Memif.
 459
 460 .. topic:: SINGLE_MEMIF
 461
 462     All test cases which uses only single Memif connection per DUT. One DUT
 463     instance is running in container having one physical interface exposed to
 464     container.
 465
 466 .. topic:: LBOND
 467
 468     All test cases which uses link bonding (BondEthernet interface).
 469
 470 .. topic:: LBOND_DPDK
 471
 472     All test cases which uses DPDK link bonding.
 473
 474 .. topic:: LBOND_VPP
 475
 476     All test cases which uses VPP link bonding.
 477
 478 .. topic:: LBOND_MODE_XOR
 479
 480     All test cases which uses link bonding with mode XOR.
 481
 482 .. topic:: LBOND_MODE_LACP
 483
 484     All test cases which uses link bonding with mode LACP.
 485
 486 .. topic:: LBOND_LB_L34
 487
 488     All test cases which uses link bonding with load-balance mode l34.
 489
 490 .. topic:: LBOND_1L
 491
 492     All test cases which uses one link for link bonding.
 493
 494 .. topic:: LBOND_2L
 495
 496     All test cases which uses two links for link bonding.
 497
 498 .. topic:: DRV_AVF
 499
 500     All test cases which uses Intel Adaptive Virtual Function (AVF) device
 501     plugin for VPP. This plugins provides native device support for Intel AVF.
 502     AVF is driver specification for current and future Intel Virtual Function
 503     devices. In essence, today this driver can be used only with Intel
 504     XL710 / X710 / XXV710 adapters.
 505
 506 Feature tags
 507 ------------
 508
 509 .. topic:: IACLDST
 510
 511     iACL destination.
 512
 513 .. topic:: COPWHLIST
 514
 515     COP whitelist.
 516
 517 .. topic:: NAT44
 518
 519     NAT44 configured and tested.
 520
 521 .. topic:: NAT64
 522
 523     NAT44 configured and tested.
 524
 525 .. topic:: ACL
 526
 527     ACL plugin configured and tested.
 528
 529 .. topic:: IACL
 530
 531     ACL plugin configured and tested on input path.
 532
 533 .. topic:: OACL
 534
 535     ACL plugin configured and tested on output path.
 536
 537 .. topic:: ACL_STATELESS
 538
 539     ACL plugin configured and tested in stateless mode (permit action).
 540
 541 .. topic:: ACL_STATEFUL
 542
 543     ACL plugin configured and tested in stateful mode (permit+reflect action).
 544
 545 .. topic:: ACL1
 546
 547     ACL plugin configured and tested with 1 not-hitting ACE.
 548
 549 .. topic:: ACL10
 550
 551     ACL plugin configured and tested with 10 not-hitting ACEs.
 552
 553 .. topic:: ACL50
 554
 555     ACL plugin configured and tested with 50 not-hitting ACEs.
 556
 557 .. topic:: SRv6_PROXY
 558
 559     SRv6 endpoint to SR-unaware appliance via proxy.
 560
 561 .. topic:: SRv6_PROXY_STAT
 562
 563     SRv6 endpoint to SR-unaware appliance via static proxy.
 564
 565 .. topic:: SRv6_PROXY_DYN
 566
 567     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 568
 569 .. topic:: SRv6_PROXY_MASQ
 570
 571     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 572
 573 Encryption tags
 574 ---------------
 575
 576 .. topic:: IPSECSW
 577
 578     Crypto in software.
 579
 580 .. topic:: IPSECHW
 581
 582     Crypto in hardware.
 583
 584 .. topic:: IPSECTRAN
 585
 586     IPSec in transport mode.
 587
 588 .. topic:: IPSECTUN
 589
 590     IPSec in tunnel mode.
 591
 592 Client-workload tags
 593 --------------------
 594
 595 .. topic:: VM
 596
 597     All test cases which use at least one virtual machine.
 598
 599 .. topic:: LXC
 600
 601     All test cases which use Linux container and LXC utils.
 602
 603 .. topic:: DOCKER
 604
 605     All test cases which use Docker as container manager.
 606
 607 .. topic:: APP
 608
 609     All test cases with specific APP use.
 610
 611 Container orchestration tags
 612 ----------------------------
 613
 614 .. topic:: K8S
 615
 616     All test cases which use Kubernetes for orchestration.
 617
 618 .. topic:: SFC_CONTROLLER
 619
 620     All test cases which use ligato/sfc_controller for driving configuration
 621     of vpp inside container.
 622
 623 .. topic:: VPP_AGENT
 624
 625     All test cases which use Golang implementation of a control/management plane
 626     for VPP
 627
 628 .. topic:: 1VSWITCH
 629
 630     VPP running in Docker container acting as VSWITCH.
 631
 632 .. topic:: 1VNF
 633
 634     1 VPP running in Docker container acting as VNF work load.
 635
 636 .. topic:: 2VNF
 637
 638     2 VPP running in 2 Docker containers acting as VNF work load.
 639
 640 .. topic:: 4VNF
 641
 642     4 VPP running in 4 Docker containers acting as VNF work load.
 643
 644 Multi-threading tags
 645 --------------------
 646
 647 .. topic:: STHREAD
 648
 649    *Dynamic tag*.
 650    All test cases using single poll mode thread.
 651
 652 .. topic:: MTHREAD
 653
 654    *Dynamic tag*.
 655     All test cases using more then one poll mode driver thread.
 656
 657 .. topic:: 1NUMA
 658
 659     All test cases with packet processing on single socket.
 660
 661 .. topic:: 2NUMA
 662
 663     All test cases with packet processing on two sockets.
 664
 665 .. topic:: 1C
 666
 667     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
 668     enabled, 2 worker threads each pinned to a separate logical core within 1
 669     dedicated physical core. Main thread pinned to core 1.
 670
 671 .. topic:: 2C
 672
 673     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
 674     is enabled, 4 worker threads each pinned to a separate logical core within 2
 675     dedicated physical cores. Main thread pinned to core 1.
 676
 677 .. topic:: 4C
 678
 679     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
 680     is enabled, 8 worker threads each pinned to a separate logical core within 4
 681     dedicated physical cores. Main thread pinned to core 1.
 682
 683 .. topic:: 1T1C
 684
 685    *Dynamic tag*.
 686     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 687     interface. Main thread pinned to core 1.
 688
 689 .. topic:: 2T2C
 690
 691    *Dynamic tag*.
 692     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 693     interface. Main thread pinned to core 1.
 694
 695 .. topic:: 4T4C
 696
 697    *Dynamic tag*.
 698     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 699     interface. Main thread pinned to core 1.
 700
 701 .. topic:: 2T1C
 702
 703    *Dynamic tag*.
 704     2 worker threads each pinned to a separate logical core within 1 dedicated
 705     physical core. 1 receive queue per interface. Main thread pinned to core 1.
 706
 707 .. topic:: 4T2C
 708
 709    *Dynamic tag*.
 710     4 worker threads each pinned to a separate logical core within 2 dedicated
 711     physical cores. 2 receive queues per interface. Main thread pinned to core
 712     1.
 713
 714 .. topic:: 8T4C
 715
 716    *Dynamic tag*.
 717     8 worker threads each pinned to a separate logical core within 4 dedicated
 718     physical cores. 4 receive queues per interface. Main thread pinned to core
 719     1.
 720
 721 Honeycomb tags
 722 --------------
 723
 724 .. topic:: HC_FUNC
 725
 726     Honeycomb functional test cases.
 727
 728 .. topic:: HC_NSH
 729
 730     Honeycomb NSH test cases.
 731
 732 .. topic:: HC_PERSIST
 733
 734     Honeycomb persistence test cases.
 735
 736 .. topic:: HC_REST_ONLY
 737
 738     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 739     using ODL client for Restfconf -> Netconf translation.