docs/tag_documentation.rst

   1 CSIT Tags
   2 =========
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT tags and their
   7 descriptions.
   8
   9 Testbed Topology Tags
  10 ---------------------
  11
  12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
  13
  14     2 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
  18
  19     2 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  23
  24     3 nodes connected in a circular topology with two links interconnecting
  25     the devices.
  26
  27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  28
  29     3 nodes connected in a circular topology with at least one link
  30     interconnecting devices.
  31
  32 Objective Tags
  33 --------------
  34
  35 .. topic:: SKIP_PATCH
  36
  37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  38     and csit-vpp-verify jobs (i.e. CSIT patch).
  39
  40 .. topic:: SKIP_VPP_PATCH
  41
  42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  43
  44 Environment Tags
  45 ----------------
  46
  47 .. topic:: HW_ENV
  48
  49     DUTs and TGs are running on bare metal.
  50
  51 .. topic:: VM_ENV
  52
  53     DUTs and TGs are running in virtual environment.
  54
  55 .. topic:: VPP_VM_ENV
  56
  57     DUTs with VPP and capable of running Virtual Machine.
  58
  59 NIC Model Tags
  60 --------------
  61
  62 .. topic:: NIC_Intel-X520-DA2
  63
  64     Intel X520-DA2 NIC.
  65
  66 .. topic:: NIC_Intel-XL710
  67
  68     Intel XL710 NIC.
  69
  70 .. topic:: NIC_Intel-X710
  71
  72     Intel X710 NIC.
  73
  74 .. topic:: NIC_Intel-XXV710
  75
  76     Intel XXV710 NIC.
  77
  78 .. topic:: NIC_Cisco-VIC-1227
  79
  80     VIC-1227 by Cisco.
  81
  82 .. topic:: NIC_Cisco-VIC-1385
  83
  84     VIC-1385 by Cisco.
  85
  86 Scaling Tags
  87 ------------
  88
  89 .. topic:: FIB_20K
  90
  91     2x10,000 entries in single fib table
  92
  93 .. topic:: FIB_200K
  94
  95     2x100,000 entries in single fib table
  96
  97 .. topic:: FIB_2M
  98
  99     2x1,000,000 entries in single fib table
 100
 101 .. topic:: L2BD_1
 102
 103     Test with 1 L2 bridge domain.
 104
 105 .. topic:: L2BD_10
 106
 107     Test with 10 L2 bridge domains.
 108
 109 .. topic:: L2BD_100
 110
 111     Test with 100 L2 bridge domains.
 112
 113 .. topic:: L2BD_1K
 114
 115     Test with 1000 L2 bridge domains.
 116
 117 .. topic:: VLAN_1
 118
 119     Test with 1 VLAN sub-interface.
 120
 121 .. topic:: VLAN_10
 122
 123     Test with 10 VLAN sub-interfaces.
 124
 125 .. topic:: VLAN_100
 126
 127     Test with 100 VLAN sub-interfaces.
 128
 129 .. topic:: VLAN_1K
 130
 131     Test with 1000 VLAN sub-interfaces.
 132
 133 .. topic:: VXLAN_1
 134
 135     Test with 1 VXLAN tunnel.
 136
 137 .. topic:: VXLAN_10
 138
 139     Test with 10 VXLAN tunnels.
 140
 141 .. topic:: VXLAN_100
 142
 143     Test with 100 VXLAN tunnels.
 144
 145 .. topic:: VXLAN_1K
 146
 147     Test with 1000 VXLAN tunnels.
 148
 149 .. topic:: TNL_1000
 150
 151     IPSec in tunnel mode - 1000 tunnels.
 152
 153 .. topic:: SRC_USER_10
 154
 155     Traffic flow with 10 unique IPs (users) in one direction.
 156
 157 .. topic:: SRC_USER_100
 158
 159     Traffic flow with 100 unique IPs (users) in one direction.
 160
 161 .. topic:: SRC_USER_1000
 162
 163     Traffic flow with 1000 unique IPs (users) in one direction.
 164
 165 .. topic:: SRC_USER_2000
 166
 167     Traffic flow with 2000 unique IPs (users) in one direction.
 168
 169 .. topic:: SRC_USER_4000
 170
 171     Traffic flow with 4000 unique IPs (users) in one direction.
 172
 173 .. topic:: 100_FLOWS
 174
 175     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 176     direction.
 177
 178 .. topic:: 10k_FLOWS
 179
 180     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 181     one direction.
 182
 183 .. topic:: 100k_FLOWS
 184
 185     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 186     one direction.
 187
 188 Test Category Tags
 189 ------------------
 190
 191 .. topic:: FUNCTEST
 192
 193     All functional test cases.
 194
 195 .. topic:: PERFTEST
 196
 197     All performance test cases.
 198
 199 Performance Type Tags
 200 ---------------------
 201
 202 .. topic:: NDRPDR
 203
 204     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 205     The search is done by optimized algorithm which performs
 206     multiple trial runs at different durations and transmit rates.
 207     The results come from the final trials, which have duration of 30 seconds.
 208
 209 .. topic:: MRR
 210
 211     Performance tests where TG sends the traffic at maximum rate (line rate)
 212     and reports total sent/received packets over trial duration.
 213     The result is an average of 10 trials of 1 second duration.
 214
 215 .. topic:: SOAK
 216
 217     Performance tests using PLRsearch to find the critical load.
 218
 219 Ethernet Frame Size Tags
 220 ------------------------
 221
 222 .. topic:: 64B
 223
 224     64B frames used for test.
 225
 226 .. topic:: 78B
 227
 228     78B frames used for test.
 229
 230 .. topic:: 114B
 231
 232     114B frames used for test.
 233
 234 .. topic:: IMIX
 235
 236     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 237
 238 .. topic:: 1460B
 239
 240     1460B frames used for test.
 241
 242 .. topic:: 1480B
 243
 244     1480B frames used for test.
 245
 246 .. topic:: 1514B
 247
 248     1514B frames used for test.
 249
 250 .. topic:: 1518B
 251
 252     1518B frames used for test.
 253
 254 .. topic:: 9000B
 255
 256     9000B frames used for test.
 257
 258 Test Type Tags
 259 --------------
 260
 261 .. topic:: BASE
 262
 263     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 264
 265 .. topic:: IP4BASE
 266
 267     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 268     tests.
 269
 270 .. topic:: IP6BASE
 271
 272     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 273     tests.
 274
 275 .. topic:: L2XCBASE
 276
 277     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 278     tests.
 279
 280 .. topic:: L2BDBASE
 281
 282     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 283     tests.
 284
 285 .. topic:: L2PATCH
 286
 287     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 288     tests.
 289
 290 .. topic:: SCALE
 291
 292     Scale test cases.
 293
 294 .. topic:: ENCAP
 295
 296     Test cases where encapsulation is used. Use also encapsulation tag(s).
 297
 298 .. topic:: FEATURE
 299
 300     At least one feature is configured in test cases. Use also feature tag(s).
 301
 302 .. topic:: TLDK
 303
 304     Functional test cases for TLDK.
 305
 306 .. topic:: DMM
 307
 308     Functional test cases for DMM.
 309
 310 .. topic:: TCP
 311
 312     Tests which use TCP.
 313
 314 .. topic:: TCP_CPS
 315
 316     Performance tests which measure connections per second using http requests.
 317
 318 .. topic:: TCP_RPS
 319
 320     Performance tests which measure requests per second using http requests.
 321
 322 .. topic:: HTTP
 323
 324     Tests which use HTTP.
 325
 326 .. topic:: NF_DENSITY
 327
 328     Performance tests that measure throughput of multiple VNF and CNF
 329     service topologies at different service densities.
 330
 331 NF Service Density Tags
 332 -----------------------
 333
 334 .. topic:: CHAIN
 335
 336    NF service density tests with VNF or CNF service chain topology(ies).
 337
 338 .. topic:: PIPE
 339
 340    NF service density tests with CNF service pipeline topology(ies).
 341
 342 .. topic:: NF_L3FWDIP4
 343
 344    NF service density tests with DPDK l3fwd IPv4 routing as NF workload.
 345
 346 .. topic:: NF_VPPIP4
 347
 348    NF service density tests with VPP IPv4 routing as NF workload.
 349
 350 .. topic:: {r}R{c}C
 351
 352    Service density matrix locator {r}R{c}C, {r}Row denoting number of
 353    service instances, {c}Column denoting number of NFs per service
 354    instance. {r}=(1,2,4,6,8,10), {c}=(1,2,4,6,8,10).
 355
 356 Forwarding Mode Tags
 357 --------------------
 358
 359 .. topic:: L2BDMACSTAT
 360
 361     VPP L2 bridge-domain, L2 MAC static.
 362
 363 .. topic:: L2BDMACLRN
 364
 365     VPP L2 bridge-domain, L2 MAC learning.
 366
 367 .. topic:: L2XCFWD
 368
 369     VPP L2 point-to-point cross-connect.
 370
 371 .. topic:: IP4FWD
 372
 373     VPP IPv4 routed forwarding.
 374
 375 .. topic:: IP6FWD
 376
 377     VPP IPv6 routed forwarding.
 378
 379 Underlay Tags
 380 -------------
 381
 382 .. topic:: IP4UNRLAY
 383
 384     IPv4 underlay.
 385
 386 .. topic:: IP6UNRLAY
 387
 388     IPv6 underlay.
 389
 390 .. topic:: MPLSUNRLAY
 391
 392     MPLS underlay.
 393
 394 Overlay Tags
 395 ------------
 396
 397 .. topic:: L2OVRLAY
 398
 399     L2 overlay.
 400
 401 .. topic:: IP4OVRLAY
 402
 403     IPv4 overlay (IPv4 payload).
 404
 405 .. topic:: IP6OVRLAY
 406
 407     IPv6 overlay (IPv6 payload).
 408
 409 Tagging Tags
 410 ------------
 411
 412 .. topic:: DOT1Q
 413
 414     All test cases with dot1q.
 415
 416 .. topic:: DOT1AD
 417
 418     All test cases with dot1ad.
 419
 420 Encapsulation Tags
 421 ------------------
 422
 423 .. topic:: ETH
 424
 425     All test cases with base Ethernet (no encapsulation).
 426
 427 .. topic:: LISP
 428
 429     All test cases with LISP.
 430
 431 .. topic:: LISPGPE
 432
 433     All test cases with LISP-GPE.
 434
 435 .. topic:: VXLAN
 436
 437     All test cases with Vxlan.
 438
 439 .. topic:: VXLANGPE
 440
 441     All test cases with VXLAN-GPE.
 442
 443 .. topic:: GRE
 444
 445     All test cases with GRE.
 446
 447 .. topic:: IPSEC
 448
 449     All test cases with IPSEC.
 450
 451 .. topic:: SRv6
 452
 453     All test cases with Segment routing over IPv6 dataplane.
 454
 455 Interface Tags
 456 --------------
 457
 458 .. topic:: PHY
 459
 460     All test cases which use physical interface(s).
 461
 462 .. topic:: VHOST
 463
 464     All test cases which uses VHOST.
 465
 466 .. topic:: VHOST_256
 467
 468     All test cases which uses VHOST with qemu queue size set to 256.
 469
 470 .. topic:: VHOST_1024
 471
 472     All test cases which uses VHOST with qemu queue size set to 1024.
 473
 474 .. topic:: CFS_OPT
 475
 476     All test cases which uses VM with optimised scheduler policy.
 477
 478 .. topic:: TUNTAP
 479
 480     All test cases which uses TUN and TAP.
 481
 482 .. topic:: AFPKT
 483
 484     All test cases which uses AFPKT.
 485
 486 .. topic:: NETMAP
 487
 488     All test cases which uses Netmap.
 489
 490 .. topic:: MEMIF
 491
 492     All test cases which uses Memif.
 493
 494 .. topic:: SINGLE_MEMIF
 495
 496     All test cases which uses only single Memif connection per DUT. One DUT
 497     instance is running in container having one physical interface exposed to
 498     container.
 499
 500 .. topic:: LBOND
 501
 502     All test cases which uses link bonding (BondEthernet interface).
 503
 504 .. topic:: LBOND_DPDK
 505
 506     All test cases which uses DPDK link bonding.
 507
 508 .. topic:: LBOND_VPP
 509
 510     All test cases which uses VPP link bonding.
 511
 512 .. topic:: LBOND_MODE_XOR
 513
 514     All test cases which uses link bonding with mode XOR.
 515
 516 .. topic:: LBOND_MODE_LACP
 517
 518     All test cases which uses link bonding with mode LACP.
 519
 520 .. topic:: LBOND_LB_L34
 521
 522     All test cases which uses link bonding with load-balance mode l34.
 523
 524 .. topic:: LBOND_1L
 525
 526     All test cases which uses one link for link bonding.
 527
 528 .. topic:: LBOND_2L
 529
 530     All test cases which uses two links for link bonding.
 531
 532 .. topic:: DRV_AVF
 533
 534     All test cases which uses Intel Adaptive Virtual Function (AVF) device
 535     plugin for VPP. This plugins provides native device support for Intel AVF.
 536     AVF is driver specification for current and future Intel Virtual Function
 537     devices. In essence, today this driver can be used only with Intel
 538     XL710 / X710 / XXV710 adapters.
 539
 540 Feature Tags
 541 ------------
 542
 543 .. topic:: IACLDST
 544
 545     iACL destination.
 546
 547 .. topic:: COPWHLIST
 548
 549     COP whitelist.
 550
 551 .. topic:: NAT44
 552
 553     NAT44 configured and tested.
 554
 555 .. topic:: NAT64
 556
 557     NAT44 configured and tested.
 558
 559 .. topic:: ACL
 560
 561     ACL plugin configured and tested.
 562
 563 .. topic:: IACL
 564
 565     ACL plugin configured and tested on input path.
 566
 567 .. topic:: OACL
 568
 569     ACL plugin configured and tested on output path.
 570
 571 .. topic:: ACL_STATELESS
 572
 573     ACL plugin configured and tested in stateless mode (permit action).
 574
 575 .. topic:: ACL_STATEFUL
 576
 577     ACL plugin configured and tested in stateful mode (permit+reflect action).
 578
 579 .. topic:: ACL1
 580
 581     ACL plugin configured and tested with 1 not-hitting ACE.
 582
 583 .. topic:: ACL10
 584
 585     ACL plugin configured and tested with 10 not-hitting ACEs.
 586
 587 .. topic:: ACL50
 588
 589     ACL plugin configured and tested with 50 not-hitting ACEs.
 590
 591 .. topic:: SRv6_PROXY
 592
 593     SRv6 endpoint to SR-unaware appliance via proxy.
 594
 595 .. topic:: SRv6_PROXY_STAT
 596
 597     SRv6 endpoint to SR-unaware appliance via static proxy.
 598
 599 .. topic:: SRv6_PROXY_DYN
 600
 601     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 602
 603 .. topic:: SRv6_PROXY_MASQ
 604
 605     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 606
 607 Encryption Tags
 608 ---------------
 609
 610 .. topic:: IPSECSW
 611
 612     Crypto in software.
 613
 614 .. topic:: IPSECHW
 615
 616     Crypto in hardware.
 617
 618 .. topic:: IPSECTRAN
 619
 620     IPSec in transport mode.
 621
 622 .. topic:: IPSECTUN
 623
 624     IPSec in tunnel mode.
 625
 626 Client-Workload Tags
 627 --------------------
 628
 629 .. topic:: VM
 630
 631     All test cases which use at least one virtual machine.
 632
 633 .. topic:: LXC
 634
 635     All test cases which use Linux container and LXC utils.
 636
 637 .. topic:: DRC
 638
 639     All test cases which use at least one Docker container.
 640
 641 .. topic:: DOCKER
 642
 643     All test cases which use Docker as container manager.
 644
 645 .. topic:: APP
 646
 647     All test cases with specific APP use.
 648
 649 Container Orchestration Tags
 650 ----------------------------
 651
 652 .. topic:: K8S
 653
 654     All test cases which use Kubernetes for orchestration.
 655
 656 .. topic:: SFC_CONTROLLER
 657
 658     All test cases which use ligato/sfc_controller for driving configuration
 659     of vpp inside container.
 660
 661 .. topic:: VPP_AGENT
 662
 663     All test cases which use Golang implementation of a control/management plane
 664     for VPP
 665
 666 .. topic:: 1VSWITCH
 667
 668     VPP running in Docker container acting as VSWITCH.
 669
 670 .. topic:: 1VNF
 671
 672     1 VPP running in Docker container acting as VNF work load.
 673
 674 .. topic:: 2VNF
 675
 676     2 VPP running in 2 Docker containers acting as VNF work load.
 677
 678 .. topic:: 4VNF
 679
 680     4 VPP running in 4 Docker containers acting as VNF work load.
 681
 682 Multi-Threading Tags
 683 --------------------
 684
 685 .. topic:: STHREAD
 686
 687    *Dynamic tag*.
 688    All test cases using single poll mode thread.
 689
 690 .. topic:: MTHREAD
 691
 692    *Dynamic tag*.
 693     All test cases using more then one poll mode driver thread.
 694
 695 .. topic:: 1NUMA
 696
 697     All test cases with packet processing on single socket.
 698
 699 .. topic:: 2NUMA
 700
 701     All test cases with packet processing on two sockets.
 702
 703 .. topic:: 1C
 704
 705     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
 706     enabled, 2 worker threads each pinned to a separate logical core within 1
 707     dedicated physical core. Main thread pinned to core 1.
 708
 709 .. topic:: 2C
 710
 711     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
 712     is enabled, 4 worker threads each pinned to a separate logical core within 2
 713     dedicated physical cores. Main thread pinned to core 1.
 714
 715 .. topic:: 4C
 716
 717     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
 718     is enabled, 8 worker threads each pinned to a separate logical core within 4
 719     dedicated physical cores. Main thread pinned to core 1.
 720
 721 .. topic:: 1T1C
 722
 723    *Dynamic tag*.
 724     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 725     interface. Main thread pinned to core 1.
 726
 727 .. topic:: 2T2C
 728
 729    *Dynamic tag*.
 730     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 731     interface. Main thread pinned to core 1.
 732
 733 .. topic:: 4T4C
 734
 735    *Dynamic tag*.
 736     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 737     interface. Main thread pinned to core 1.
 738
 739 .. topic:: 2T1C
 740
 741    *Dynamic tag*.
 742     2 worker threads each pinned to a separate logical core within 1 dedicated
 743     physical core. 1 receive queue per interface. Main thread pinned to core 1.
 744
 745 .. topic:: 4T2C
 746
 747    *Dynamic tag*.
 748     4 worker threads each pinned to a separate logical core within 2 dedicated
 749     physical cores. 2 receive queues per interface. Main thread pinned to core
 750     1.
 751
 752 .. topic:: 8T4C
 753
 754    *Dynamic tag*.
 755     8 worker threads each pinned to a separate logical core within 4 dedicated
 756     physical cores. 4 receive queues per interface. Main thread pinned to core
 757     1.
 758
 759 Honeycomb Tags
 760 --------------
 761
 762 .. topic:: HC_FUNC
 763
 764     Honeycomb functional test cases.
 765
 766 .. topic:: HC_NSH
 767
 768     Honeycomb NSH test cases.
 769
 770 .. topic:: HC_PERSIST
 771
 772     Honeycomb persistence test cases.
 773
 774 .. topic:: HC_REST_ONLY
 775
 776     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 777     using ODL client for Restfconf -> Netconf translation.