docs/tag_documentation.rst

   1 CSIT Tags
   2 =========
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT tags and their
   7 descriptions.
   8
   9 Testbed Topology Tags
  10 ---------------------
  11
  12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
  13
  14     2 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
  18
  19     2 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  23
  24     3 nodes connected in a circular topology with two links interconnecting
  25     the devices.
  26
  27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  28
  29     3 nodes connected in a circular topology with at least one link
  30     interconnecting devices.
  31
  32 Objective Tags
  33 --------------
  34
  35 .. topic:: SKIP_PATCH
  36
  37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  38     and csit-vpp-verify jobs (i.e. CSIT patch).
  39
  40 .. topic:: SKIP_VPP_PATCH
  41
  42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  43
  44 Environment Tags
  45 ----------------
  46
  47 .. topic:: HW_ENV
  48
  49     DUTs and TGs are running on bare metal.
  50
  51 .. topic:: VM_ENV
  52
  53     DUTs and TGs are running in virtual environment.
  54
  55 .. topic:: VPP_VM_ENV
  56
  57     DUTs with VPP and capable of running Virtual Machine.
  58
  59 NIC Model Tags
  60 --------------
  61
  62 .. topic:: NIC_Intel-X520-DA2
  63
  64     Intel X520-DA2 NIC.
  65
  66 .. topic:: NIC_Intel-XL710
  67
  68     Intel XL710 NIC.
  69
  70 .. topic:: NIC_Intel-X710
  71
  72     Intel X710 NIC.
  73
  74 .. topic:: NIC_Intel-XXV710
  75
  76     Intel XXV710 NIC.
  77
  78 .. topic:: NIC_Cisco-VIC-1227
  79
  80     VIC-1227 by Cisco.
  81
  82 .. topic:: NIC_Cisco-VIC-1385
  83
  84     VIC-1385 by Cisco.
  85
  86 Scaling Tags
  87 ------------
  88
  89 .. topic:: FIB_20K
  90
  91     2x10,000 entries in single fib table
  92
  93 .. topic:: FIB_200K
  94
  95     2x100,000 entries in single fib table
  96
  97 .. topic:: FIB_2M
  98
  99     2x1,000,000 entries in single fib table
 100
 101 .. topic:: L2BD_1
 102
 103     Test with 1 L2 bridge domain.
 104
 105 .. topic:: L2BD_10
 106
 107     Test with 10 L2 bridge domains.
 108
 109 .. topic:: L2BD_100
 110
 111     Test with 100 L2 bridge domains.
 112
 113 .. topic:: L2BD_1K
 114
 115     Test with 1000 L2 bridge domains.
 116
 117 .. topic:: VLAN_1
 118
 119     Test with 1 VLAN sub-interface.
 120
 121 .. topic:: VLAN_10
 122
 123     Test with 10 VLAN sub-interfaces.
 124
 125 .. topic:: VLAN_100
 126
 127     Test with 100 VLAN sub-interfaces.
 128
 129 .. topic:: VLAN_1K
 130
 131     Test with 1000 VLAN sub-interfaces.
 132
 133 .. topic:: VXLAN_1
 134
 135     Test with 1 VXLAN tunnel.
 136
 137 .. topic:: VXLAN_10
 138
 139     Test with 10 VXLAN tunnels.
 140
 141 .. topic:: VXLAN_100
 142
 143     Test with 100 VXLAN tunnels.
 144
 145 .. topic:: VXLAN_1K
 146
 147     Test with 1000 VXLAN tunnels.
 148
 149 .. topic:: TNL_{t}
 150
 151     IPSec in tunnel mode - {t} tunnels.
 152
 153 .. topic:: SRC_USER_1
 154
 155     Traffic flow with 1 unique IP (users) in one direction.
 156
 157 .. topic:: SRC_USER_10
 158
 159     Traffic flow with 10 unique IPs (users) in one direction.
 160
 161 .. topic:: SRC_USER_100
 162
 163     Traffic flow with 100 unique IPs (users) in one direction.
 164
 165 .. topic:: SRC_USER_1000
 166
 167     Traffic flow with 1000 unique IPs (users) in one direction.
 168
 169 .. topic:: SRC_USER_2000
 170
 171     Traffic flow with 2000 unique IPs (users) in one direction.
 172
 173 .. topic:: SRC_USER_4000
 174
 175     Traffic flow with 4000 unique IPs (users) in one direction.
 176
 177 .. topic:: 100_FLOWS
 178
 179     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 180     direction.
 181
 182 .. topic:: 10k_FLOWS
 183
 184     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 185     one direction.
 186
 187 .. topic:: 100k_FLOWS
 188
 189     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 190     one direction.
 191
 192 Test Category Tags
 193 ------------------
 194
 195 .. topic:: FUNCTEST
 196
 197     All functional test cases.
 198
 199 .. topic:: PERFTEST
 200
 201     All performance test cases.
 202
 203 Performance Type Tags
 204 ---------------------
 205
 206 .. topic:: NDRPDR
 207
 208     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 209     The search is done by optimized algorithm which performs
 210     multiple trial runs at different durations and transmit rates.
 211     The results come from the final trials, which have duration of 30 seconds.
 212
 213 .. topic:: MRR
 214
 215     Performance tests where TG sends the traffic at maximum rate (line rate)
 216     and reports total sent/received packets over trial duration.
 217     The result is an average of 10 trials of 1 second duration.
 218
 219 .. topic:: SOAK
 220
 221     Performance tests using PLRsearch to find the critical load.
 222
 223 Ethernet Frame Size Tags
 224 ------------------------
 225
 226 .. topic:: 64B
 227
 228     64B frames used for test.
 229
 230 .. topic:: 78B
 231
 232     78B frames used for test.
 233
 234 .. topic:: 114B
 235
 236     114B frames used for test.
 237
 238 .. topic:: IMIX
 239
 240     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 241
 242 .. topic:: 1460B
 243
 244     1460B frames used for test.
 245
 246 .. topic:: 1480B
 247
 248     1480B frames used for test.
 249
 250 .. topic:: 1514B
 251
 252     1514B frames used for test.
 253
 254 .. topic:: 1518B
 255
 256     1518B frames used for test.
 257
 258 .. topic:: 9000B
 259
 260     9000B frames used for test.
 261
 262 Test Type Tags
 263 --------------
 264
 265 .. topic:: BASE
 266
 267     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 268
 269 .. topic:: IP4BASE
 270
 271     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 272     tests.
 273
 274 .. topic:: IP6BASE
 275
 276     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 277     tests.
 278
 279 .. topic:: L2XCBASE
 280
 281     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 282     tests.
 283
 284 .. topic:: L2BDBASE
 285
 286     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 287     tests.
 288
 289 .. topic:: L2PATCH
 290
 291     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 292     tests.
 293
 294 .. topic:: SCALE
 295
 296     Scale test cases.
 297
 298 .. topic:: ENCAP
 299
 300     Test cases where encapsulation is used. Use also encapsulation tag(s).
 301
 302 .. topic:: FEATURE
 303
 304     At least one feature is configured in test cases. Use also feature tag(s).
 305
 306 .. topic:: TLDK
 307
 308     Functional test cases for TLDK.
 309
 310 .. topic:: DMM
 311
 312     Functional test cases for DMM.
 313
 314 .. topic:: TCP
 315
 316     Tests which use TCP.
 317
 318 .. topic:: TCP_CPS
 319
 320     Performance tests which measure connections per second using http requests.
 321
 322 .. topic:: TCP_RPS
 323
 324     Performance tests which measure requests per second using http requests.
 325
 326 .. topic:: HTTP
 327
 328     Tests which use HTTP.
 329
 330 .. topic:: NF_DENSITY
 331
 332     Performance tests that measure throughput of multiple VNF and CNF
 333     service topologies at different service densities.
 334
 335 NF Service Density Tags
 336 -----------------------
 337
 338 .. topic:: CHAIN
 339
 340    NF service density tests with VNF or CNF service chain topology(ies).
 341
 342 .. topic:: PIPE
 343
 344    NF service density tests with CNF service pipeline topology(ies).
 345
 346 .. topic:: NF_L3FWDIP4
 347
 348    NF service density tests with DPDK l3fwd IPv4 routing as NF workload.
 349
 350 .. topic:: NF_VPPIP4
 351
 352    NF service density tests with VPP IPv4 routing as NF workload.
 353
 354 .. topic:: {r}R{c}C
 355
 356    Service density matrix locator {r}R{c}C, {r}Row denoting number of
 357    service instances, {c}Column denoting number of NFs per service
 358    instance. {r}=(1,2,4,6,8,10), {c}=(1,2,4,6,8,10).
 359
 360 .. topic:: {n}VM{t}T
 361
 362    Service density {n}VM{t}T, {n}Number of NF Qemu VMs, {t}Number of threads
 363    per NF.
 364
 365 .. topic:: {n}DCRt}T
 366
 367    Service density {n}DCR{t}T, {n}Number of NF Docker containers, {t}Number of
 368    threads per NF.
 369
 370 Forwarding Mode Tags
 371 --------------------
 372
 373 .. topic:: L2BDMACSTAT
 374
 375     VPP L2 bridge-domain, L2 MAC static.
 376
 377 .. topic:: L2BDMACLRN
 378
 379     VPP L2 bridge-domain, L2 MAC learning.
 380
 381 .. topic:: L2XCFWD
 382
 383     VPP L2 point-to-point cross-connect.
 384
 385 .. topic:: IP4FWD
 386
 387     VPP IPv4 routed forwarding.
 388
 389 .. topic:: IP6FWD
 390
 391     VPP IPv6 routed forwarding.
 392
 393 Underlay Tags
 394 -------------
 395
 396 .. topic:: IP4UNRLAY
 397
 398     IPv4 underlay.
 399
 400 .. topic:: IP6UNRLAY
 401
 402     IPv6 underlay.
 403
 404 .. topic:: MPLSUNRLAY
 405
 406     MPLS underlay.
 407
 408 Overlay Tags
 409 ------------
 410
 411 .. topic:: L2OVRLAY
 412
 413     L2 overlay.
 414
 415 .. topic:: IP4OVRLAY
 416
 417     IPv4 overlay (IPv4 payload).
 418
 419 .. topic:: IP6OVRLAY
 420
 421     IPv6 overlay (IPv6 payload).
 422
 423 Tagging Tags
 424 ------------
 425
 426 .. topic:: DOT1Q
 427
 428     All test cases with dot1q.
 429
 430 .. topic:: DOT1AD
 431
 432     All test cases with dot1ad.
 433
 434 Encapsulation Tags
 435 ------------------
 436
 437 .. topic:: ETH
 438
 439     All test cases with base Ethernet (no encapsulation).
 440
 441 .. topic:: LISP
 442
 443     All test cases with LISP.
 444
 445 .. topic:: LISPGPE
 446
 447     All test cases with LISP-GPE.
 448
 449 .. topic:: VXLAN
 450
 451     All test cases with Vxlan.
 452
 453 .. topic:: VXLANGPE
 454
 455     All test cases with VXLAN-GPE.
 456
 457 .. topic:: GRE
 458
 459     All test cases with GRE.
 460
 461 .. topic:: IPSEC
 462
 463     All test cases with IPSEC.
 464
 465 .. topic:: SRv6
 466
 467     All test cases with Segment routing over IPv6 dataplane.
 468
 469 .. topic:: SRv6_1SID
 470
 471     All SRv6 test cases with single SID.
 472
 473 .. topic:: SRv6_2SID_DECAP
 474
 475     All SRv6 test cases with two SIDs and with decapsulation.
 476
 477 .. topic:: SRv6_2SID_NODECAP
 478
 479     All SRv6 test cases with two SIDs and without decapsulation.
 480
 481 Interface Tags
 482 --------------
 483
 484 .. topic:: PHY
 485
 486     All test cases which use physical interface(s).
 487
 488 .. topic:: VHOST
 489
 490     All test cases which uses VHOST.
 491
 492 .. topic:: VHOST_256
 493
 494     All test cases which uses VHOST with qemu queue size set to 256.
 495
 496 .. topic:: VHOST_1024
 497
 498     All test cases which uses VHOST with qemu queue size set to 1024.
 499
 500 .. topic:: CFS_OPT
 501
 502     All test cases which uses VM with optimised scheduler policy.
 503
 504 .. topic:: TUNTAP
 505
 506     All test cases which uses TUN and TAP.
 507
 508 .. topic:: AFPKT
 509
 510     All test cases which uses AFPKT.
 511
 512 .. topic:: NETMAP
 513
 514     All test cases which uses Netmap.
 515
 516 .. topic:: MEMIF
 517
 518     All test cases which uses Memif.
 519
 520 .. topic:: SINGLE_MEMIF
 521
 522     All test cases which uses only single Memif connection per DUT. One DUT
 523     instance is running in container having one physical interface exposed to
 524     container.
 525
 526 .. topic:: LBOND
 527
 528     All test cases which uses link bonding (BondEthernet interface).
 529
 530 .. topic:: LBOND_DPDK
 531
 532     All test cases which uses DPDK link bonding.
 533
 534 .. topic:: LBOND_VPP
 535
 536     All test cases which uses VPP link bonding.
 537
 538 .. topic:: LBOND_MODE_XOR
 539
 540     All test cases which uses link bonding with mode XOR.
 541
 542 .. topic:: LBOND_MODE_LACP
 543
 544     All test cases which uses link bonding with mode LACP.
 545
 546 .. topic:: LBOND_LB_L34
 547
 548     All test cases which uses link bonding with load-balance mode l34.
 549
 550 .. topic:: LBOND_1L
 551
 552     All test cases which uses one link for link bonding.
 553
 554 .. topic:: LBOND_2L
 555
 556     All test cases which uses two links for link bonding.
 557
 558 .. topic:: DRV_AVF
 559
 560     All test cases which uses Intel Adaptive Virtual Function (AVF) device
 561     plugin for VPP. This plugins provides native device support for Intel AVF.
 562     AVF is driver specification for current and future Intel Virtual Function
 563     devices. In essence, today this driver can be used only with Intel
 564     XL710 / X710 / XXV710 adapters.
 565
 566 Feature Tags
 567 ------------
 568
 569 .. topic:: IACLDST
 570
 571     iACL destination.
 572
 573 .. topic:: COPWHLIST
 574
 575     COP whitelist.
 576
 577 .. topic:: NAT44
 578
 579     NAT44 configured and tested.
 580
 581 .. topic:: NAT64
 582
 583     NAT44 configured and tested.
 584
 585 .. topic:: ACL
 586
 587     ACL plugin configured and tested.
 588
 589 .. topic:: IACL
 590
 591     ACL plugin configured and tested on input path.
 592
 593 .. topic:: OACL
 594
 595     ACL plugin configured and tested on output path.
 596
 597 .. topic:: ACL_STATELESS
 598
 599     ACL plugin configured and tested in stateless mode (permit action).
 600
 601 .. topic:: ACL_STATEFUL
 602
 603     ACL plugin configured and tested in stateful mode (permit+reflect action).
 604
 605 .. topic:: ACL1
 606
 607     ACL plugin configured and tested with 1 not-hitting ACE.
 608
 609 .. topic:: ACL10
 610
 611     ACL plugin configured and tested with 10 not-hitting ACEs.
 612
 613 .. topic:: ACL50
 614
 615     ACL plugin configured and tested with 50 not-hitting ACEs.
 616
 617 .. topic:: SRv6_PROXY
 618
 619     SRv6 endpoint to SR-unaware appliance via proxy.
 620
 621 .. topic:: SRv6_PROXY_STAT
 622
 623     SRv6 endpoint to SR-unaware appliance via static proxy.
 624
 625 .. topic:: SRv6_PROXY_DYN
 626
 627     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 628
 629 .. topic:: SRv6_PROXY_MASQ
 630
 631     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 632
 633 Encryption Tags
 634 ---------------
 635
 636 .. topic:: IPSECSW
 637
 638     Crypto in software.
 639
 640 .. topic:: IPSECHW
 641
 642     Crypto in hardware.
 643
 644 .. topic:: IPSECTRAN
 645
 646     IPSec in transport mode.
 647
 648 .. topic:: IPSECTUN
 649
 650     IPSec in tunnel mode.
 651
 652 .. topic:: IPSECINT
 653
 654     IPSec in interface mode.
 655
 656 .. topic:: AES
 657
 658     IPSec using AES algorithms.
 659
 660 .. topic:: AES_128_CBC
 661
 662     IPSec using AES 128 CBC algorithms.
 663
 664 .. topic:: AES_128_GCM
 665
 666     IPSec using AES 128 GCM algorithms.
 667
 668 .. topic:: AES_256_GCM
 669
 670     IPSec using AES 256 GCM algorithms.
 671
 672 .. topic:: HMAC
 673
 674     IPSec using HMAC integrity algorithms.
 675
 676 .. topic:: HMAC_SHA_256
 677
 678     IPSec using HMAC SHA 256 integrity algorithms.
 679
 680 .. topic:: HMAC_SHA_512
 681
 682     IPSec using HMAC SHA 512 integrity algorithms.
 683
 684 Client-Workload Tags
 685 --------------------
 686
 687 .. topic:: VM
 688
 689     All test cases which use at least one virtual machine.
 690
 691 .. topic:: LXC
 692
 693     All test cases which use Linux container and LXC utils.
 694
 695 .. topic:: DRC
 696
 697     All test cases which use at least one Docker container.
 698
 699 .. topic:: DOCKER
 700
 701     All test cases which use Docker as container manager.
 702
 703 .. topic:: APP
 704
 705     All test cases with specific APP use.
 706
 707 Container Orchestration Tags
 708 ----------------------------
 709
 710 .. topic:: K8S
 711
 712     All test cases which use Kubernetes for orchestration.
 713
 714 .. topic:: SFC_CONTROLLER
 715
 716     All test cases which use ligato/sfc_controller for driving configuration
 717     of vpp inside container.
 718
 719 .. topic:: VPP_AGENT
 720
 721     All test cases which use Golang implementation of a control/management plane
 722     for VPP
 723
 724 .. topic:: 1VSWITCH
 725
 726     VPP running in Docker container acting as VSWITCH.
 727
 728 .. topic:: 1VNF
 729
 730     1 VPP running in Docker container acting as VNF work load.
 731
 732 .. topic:: 2VNF
 733
 734     2 VPP running in 2 Docker containers acting as VNF work load.
 735
 736 .. topic:: 4VNF
 737
 738     4 VPP running in 4 Docker containers acting as VNF work load.
 739
 740 Multi-Threading Tags
 741 --------------------
 742
 743 .. topic:: STHREAD
 744
 745    *Dynamic tag*.
 746    All test cases using single poll mode thread.
 747
 748 .. topic:: MTHREAD
 749
 750    *Dynamic tag*.
 751     All test cases using more then one poll mode driver thread.
 752
 753 .. topic:: 1NUMA
 754
 755     All test cases with packet processing on single socket.
 756
 757 .. topic:: 2NUMA
 758
 759     All test cases with packet processing on two sockets.
 760
 761 .. topic:: 1C
 762
 763     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
 764     enabled, 2 worker threads each pinned to a separate logical core within 1
 765     dedicated physical core. Main thread pinned to core 1.
 766
 767 .. topic:: 2C
 768
 769     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
 770     is enabled, 4 worker threads each pinned to a separate logical core within 2
 771     dedicated physical cores. Main thread pinned to core 1.
 772
 773 .. topic:: 4C
 774
 775     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
 776     is enabled, 8 worker threads each pinned to a separate logical core within 4
 777     dedicated physical cores. Main thread pinned to core 1.
 778
 779 .. topic:: 1T1C
 780
 781    *Dynamic tag*.
 782     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 783     interface. Main thread pinned to core 1.
 784
 785 .. topic:: 2T2C
 786
 787    *Dynamic tag*.
 788     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 789     interface. Main thread pinned to core 1.
 790
 791 .. topic:: 4T4C
 792
 793    *Dynamic tag*.
 794     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 795     interface. Main thread pinned to core 1.
 796
 797 .. topic:: 2T1C
 798
 799    *Dynamic tag*.
 800     2 worker threads each pinned to a separate logical core within 1 dedicated
 801     physical core. 1 receive queue per interface. Main thread pinned to core 1.
 802
 803 .. topic:: 4T2C
 804
 805    *Dynamic tag*.
 806     4 worker threads each pinned to a separate logical core within 2 dedicated
 807     physical cores. 2 receive queues per interface. Main thread pinned to core
 808     1.
 809
 810 .. topic:: 8T4C
 811
 812    *Dynamic tag*.
 813     8 worker threads each pinned to a separate logical core within 4 dedicated
 814     physical cores. 4 receive queues per interface. Main thread pinned to core
 815     1.
 816
 817 Honeycomb Tags
 818 --------------
 819
 820 .. topic:: HC_FUNC
 821
 822     Honeycomb functional test cases.
 823
 824 .. topic:: HC_NSH
 825
 826     Honeycomb NSH test cases.
 827
 828 .. topic:: HC_PERSIST
 829
 830     Honeycomb persistence test cases.
 831
 832 .. topic:: HC_REST_ONLY
 833
 834     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 835     using ODL client for Restfconf -> Netconf translation.