docs/tag_documentation.rst

   1 CSIT Tags
   2 =========
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT tags and their
   7 descriptions.
   8
   9 Testbed Topology Tags
  10 ---------------------
  11
  12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
  13
  14     2 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
  18
  19     2 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  23
  24     3 nodes connected in a circular topology with two links interconnecting
  25     the devices.
  26
  27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  28
  29     3 nodes connected in a circular topology with at least one link
  30     interconnecting devices.
  31
  32 Objective Tags
  33 --------------
  34
  35 .. topic:: SKIP_PATCH
  36
  37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  38     and csit-vpp-verify jobs (i.e. CSIT patch).
  39
  40 .. topic:: SKIP_VPP_PATCH
  41
  42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  43
  44 Environment Tags
  45 ----------------
  46
  47 .. topic:: HW_ENV
  48
  49     DUTs and TGs are running on bare metal.
  50
  51 .. topic:: VM_ENV
  52
  53     DUTs and TGs are running in virtual environment.
  54
  55 .. topic:: VPP_VM_ENV
  56
  57     DUTs with VPP and capable of running Virtual Machine.
  58
  59 NIC Model Tags
  60 --------------
  61
  62 .. topic:: NIC_Intel-X520-DA2
  63
  64     Intel X520-DA2 NIC.
  65
  66 .. topic:: NIC_Intel-XL710
  67
  68     Intel XL710 NIC.
  69
  70 .. topic:: NIC_Intel-X710
  71
  72     Intel X710 NIC.
  73
  74 .. topic:: NIC_Intel-XXV710
  75
  76     Intel XXV710 NIC.
  77
  78 .. topic:: NIC_Cisco-VIC-1227
  79
  80     VIC-1227 by Cisco.
  81
  82 .. topic:: NIC_Cisco-VIC-1385
  83
  84     VIC-1385 by Cisco.
  85
  86 Scaling Tags
  87 ------------
  88
  89 .. topic:: FIB_20K
  90
  91     2x10,000 entries in single fib table
  92
  93 .. topic:: FIB_200K
  94
  95     2x100,000 entries in single fib table
  96
  97 .. topic:: FIB_2M
  98
  99     2x1,000,000 entries in single fib table
 100
 101 .. topic:: L2BD_1
 102
 103     Test with 1 L2 bridge domain.
 104
 105 .. topic:: L2BD_10
 106
 107     Test with 10 L2 bridge domains.
 108
 109 .. topic:: L2BD_100
 110
 111     Test with 100 L2 bridge domains.
 112
 113 .. topic:: L2BD_1K
 114
 115     Test with 1000 L2 bridge domains.
 116
 117 .. topic:: VLAN_1
 118
 119     Test with 1 VLAN sub-interface.
 120
 121 .. topic:: VLAN_10
 122
 123     Test with 10 VLAN sub-interfaces.
 124
 125 .. topic:: VLAN_100
 126
 127     Test with 100 VLAN sub-interfaces.
 128
 129 .. topic:: VLAN_1K
 130
 131     Test with 1000 VLAN sub-interfaces.
 132
 133 .. topic:: VXLAN_1
 134
 135     Test with 1 VXLAN tunnel.
 136
 137 .. topic:: VXLAN_10
 138
 139     Test with 10 VXLAN tunnels.
 140
 141 .. topic:: VXLAN_100
 142
 143     Test with 100 VXLAN tunnels.
 144
 145 .. topic:: VXLAN_1K
 146
 147     Test with 1000 VXLAN tunnels.
 148
 149 .. topic:: TNL_{t}
 150
 151     IPSec in tunnel mode - {t} tunnels.
 152
 153 .. topic:: SRC_USER_1
 154
 155     Traffic flow with 1 unique IP (users) in one direction.
 156
 157 .. topic:: SRC_USER_10
 158
 159     Traffic flow with 10 unique IPs (users) in one direction.
 160
 161 .. topic:: SRC_USER_100
 162
 163     Traffic flow with 100 unique IPs (users) in one direction.
 164
 165 .. topic:: SRC_USER_1000
 166
 167     Traffic flow with 1000 unique IPs (users) in one direction.
 168
 169 .. topic:: SRC_USER_2000
 170
 171     Traffic flow with 2000 unique IPs (users) in one direction.
 172
 173 .. topic:: SRC_USER_4000
 174
 175     Traffic flow with 4000 unique IPs (users) in one direction.
 176
 177 .. topic:: 100_FLOWS
 178
 179     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 180     direction.
 181
 182 .. topic:: 10k_FLOWS
 183
 184     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 185     one direction.
 186
 187 .. topic:: 100k_FLOWS
 188
 189     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 190     one direction.
 191
 192 Test Category Tags
 193 ------------------
 194
 195 .. topic:: FUNCTEST
 196
 197     All functional test cases.
 198
 199 .. topic:: PERFTEST
 200
 201     All performance test cases.
 202
 203 Performance Type Tags
 204 ---------------------
 205
 206 .. topic:: NDRPDR
 207
 208     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 209     The search is done by optimized algorithm which performs
 210     multiple trial runs at different durations and transmit rates.
 211     The results come from the final trials, which have duration of 30 seconds.
 212
 213 .. topic:: MRR
 214
 215     Performance tests where TG sends the traffic at maximum rate (line rate)
 216     and reports total sent/received packets over trial duration.
 217     The result is an average of 10 trials of 1 second duration.
 218
 219 .. topic:: SOAK
 220
 221     Performance tests using PLRsearch to find the critical load.
 222
 223 .. topic:: RECONF
 224
 225     Performance tests aimed to measure lost packets (time) when performing
 226     reconfiguration while full throughput offered load is applied.
 227
 228 Ethernet Frame Size Tags
 229 ------------------------
 230
 231 These are describing the traffic offered by Traffic Generator,
 232 "primary" traffic in case of asymmetric load.
 233 For traffic between DUTs, or for "secondary" traffic, see ${overhead} value.
 234
 235 .. topic:: 64B
 236
 237     64B frames used for test. Generic ethernet or IPv4.
 238
 239 .. topic:: 78B
 240
 241     78B frames used for test. Ipv6.
 242
 243 .. topic:: 114B
 244
 245     114B frames used for test. IPv4+vxlan.
 246
 247 .. topic:: 118B
 248
 249     118B frames used for test. Dot1q+IPv4+vxlan.
 250
 251 .. topic:: IMIX
 252
 253     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 254
 255 .. topic:: 1460B
 256
 257     1460B frames used for test.
 258
 259 .. topic:: 1480B
 260
 261     1480B frames used for test.
 262
 263 .. topic:: 1514B
 264
 265     1514B frames used for test.
 266
 267 .. topic:: 1518B
 268
 269     1518B frames used for test.
 270
 271 .. topic:: 9000B
 272
 273     9000B frames used for test.
 274
 275 Test Type Tags
 276 --------------
 277
 278 .. topic:: BASE
 279
 280     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 281
 282 .. topic:: IP4BASE
 283
 284     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 285     tests.
 286
 287 .. topic:: IP6BASE
 288
 289     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 290     tests.
 291
 292 .. topic:: L2XCBASE
 293
 294     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 295     tests.
 296
 297 .. topic:: L2BDBASE
 298
 299     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 300     tests.
 301
 302 .. topic:: L2PATCH
 303
 304     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 305     tests.
 306
 307 .. topic:: SCALE
 308
 309     Scale test cases.
 310
 311 .. topic:: ENCAP
 312
 313     Test cases where encapsulation is used. Use also encapsulation tag(s).
 314
 315 .. topic:: FEATURE
 316
 317     At least one feature is configured in test cases. Use also feature tag(s).
 318
 319 .. topic:: TLDK
 320
 321     Functional test cases for TLDK.
 322
 323 .. topic:: TCP
 324
 325     Tests which use TCP.
 326
 327 .. topic:: TCP_CPS
 328
 329     Performance tests which measure connections per second using http requests.
 330
 331 .. topic:: TCP_RPS
 332
 333     Performance tests which measure requests per second using http requests.
 334
 335 .. topic:: HTTP
 336
 337     Tests which use HTTP.
 338
 339 .. topic:: NF_DENSITY
 340
 341     Performance tests that measure throughput of multiple VNF and CNF
 342     service topologies at different service densities.
 343
 344 NF Service Density Tags
 345 -----------------------
 346
 347 .. topic:: CHAIN
 348
 349     NF service density tests with VNF or CNF service chain topology(ies).
 350
 351 .. topic:: PIPE
 352
 353     NF service density tests with CNF service pipeline topology(ies).
 354
 355 .. topic:: NF_L3FWDIP4
 356
 357     NF service density tests with DPDK l3fwd IPv4 routing as NF workload.
 358
 359 .. topic:: NF_VPPIP4
 360
 361     NF service density tests with VPP IPv4 routing as NF workload.
 362
 363 .. topic:: {r}R{c}C
 364
 365     Service density matrix locator {r}R{c}C, {r}Row denoting number of
 366     service instances, {c}Column denoting number of NFs per service
 367     instance. {r}=(1,2,4,6,8,10), {c}=(1,2,4,6,8,10).
 368
 369 .. topic:: {n}VM{t}T
 370
 371     Service density {n}VM{t}T, {n}Number of NF Qemu VMs, {t}Number of threads
 372     per NF.
 373
 374 .. topic:: {n}DCRt}T
 375
 376     Service density {n}DCR{t}T, {n}Number of NF Docker containers, {t}Number of
 377     threads per NF.
 378
 379 .. topic:: {n}_ADDED_CHAINS
 380
 381     {n}Number of chains (or pipelines) added (and/or removed)
 382     during RECONF test.
 383
 384 Forwarding Mode Tags
 385 --------------------
 386
 387 .. topic:: L2BDMACSTAT
 388
 389     VPP L2 bridge-domain, L2 MAC static.
 390
 391 .. topic:: L2BDMACLRN
 392
 393     VPP L2 bridge-domain, L2 MAC learning.
 394
 395 .. topic:: L2XCFWD
 396
 397     VPP L2 point-to-point cross-connect.
 398
 399 .. topic:: IP4FWD
 400
 401     VPP IPv4 routed forwarding.
 402
 403 .. topic:: IP6FWD
 404
 405     VPP IPv6 routed forwarding.
 406
 407 .. topic:: LOADBALANCER_MAGLEV
 408
 409     VPP Load balancer maglev mode.
 410
 411 .. topic:: LOADBALANCER_L3DSR
 412
 413     VPP Load balancer l3dsr mode.
 414
 415 .. topic:: LOADBALANCER_NAT4
 416
 417     VPP Load balancer nat4 mode.
 418
 419 Underlay Tags
 420 -------------
 421
 422 .. topic:: IP4UNRLAY
 423
 424     IPv4 underlay.
 425
 426 .. topic:: IP6UNRLAY
 427
 428     IPv6 underlay.
 429
 430 .. topic:: MPLSUNRLAY
 431
 432     MPLS underlay.
 433
 434 Overlay Tags
 435 ------------
 436
 437 .. topic:: L2OVRLAY
 438
 439     L2 overlay.
 440
 441 .. topic:: IP4OVRLAY
 442
 443     IPv4 overlay (IPv4 payload).
 444
 445 .. topic:: IP6OVRLAY
 446
 447     IPv6 overlay (IPv6 payload).
 448
 449 Tagging Tags
 450 ------------
 451
 452 .. topic:: DOT1Q
 453
 454     All test cases with dot1q.
 455
 456 .. topic:: DOT1AD
 457
 458     All test cases with dot1ad.
 459
 460 Encapsulation Tags
 461 ------------------
 462
 463 .. topic:: ETH
 464
 465     All test cases with base Ethernet (no encapsulation).
 466
 467 .. topic:: LISP
 468
 469     All test cases with LISP.
 470
 471 .. topic:: LISPGPE
 472
 473     All test cases with LISP-GPE.
 474
 475 .. topic:: LISP_IP4o4
 476
 477     All test cases with LISP_IP4o4.
 478
 479 .. topic:: LISPGPE_IP4o4
 480
 481     All test cases with LISPGPE_IP4o4.
 482
 483 .. topic:: LISPGPE_IP6o4
 484
 485     All test cases with LISPGPE_IP6o4.
 486
 487 .. topic:: LISPGPE_IP4o6
 488
 489     All test cases with LISPGPE_IP4o6.
 490
 491 .. topic:: LISPGPE_IP6o6
 492
 493     All test cases with LISPGPE_IP6o6.
 494
 495 .. topic:: VXLAN
 496
 497     All test cases with Vxlan.
 498
 499 .. topic:: VXLANGPE
 500
 501     All test cases with VXLAN-GPE.
 502
 503 .. topic:: GRE
 504
 505     All test cases with GRE.
 506
 507 .. topic:: IPSEC
 508
 509     All test cases with IPSEC.
 510
 511 .. topic:: SRv6
 512
 513     All test cases with Segment routing over IPv6 dataplane.
 514
 515 .. topic:: SRv6_1SID
 516
 517     All SRv6 test cases with single SID.
 518
 519 .. topic:: SRv6_2SID_DECAP
 520
 521     All SRv6 test cases with two SIDs and with decapsulation.
 522
 523 .. topic:: SRv6_2SID_NODECAP
 524
 525     All SRv6 test cases with two SIDs and without decapsulation.
 526
 527 Interface Tags
 528 --------------
 529
 530 .. topic:: PHY
 531
 532     All test cases which use physical interface(s).
 533
 534 .. topic:: VHOST
 535
 536     All test cases which uses VHOST.
 537
 538 .. topic:: VHOST_256
 539
 540     All test cases which uses VHOST with qemu queue size set to 256.
 541
 542 .. topic:: VHOST_1024
 543
 544     All test cases which uses VHOST with qemu queue size set to 1024.
 545
 546 .. topic:: CFS_OPT
 547
 548     All test cases which uses VM with optimised scheduler policy.
 549
 550 .. topic:: TUNTAP
 551
 552     All test cases which uses TUN and TAP.
 553
 554 .. topic:: AFPKT
 555
 556     All test cases which uses AFPKT.
 557
 558 .. topic:: NETMAP
 559
 560     All test cases which uses Netmap.
 561
 562 .. topic:: MEMIF
 563
 564     All test cases which uses Memif.
 565
 566 .. topic:: SINGLE_MEMIF
 567
 568     All test cases which uses only single Memif connection per DUT. One DUT
 569     instance is running in container having one physical interface exposed to
 570     container.
 571
 572 .. topic:: LBOND
 573
 574     All test cases which uses link bonding (BondEthernet interface).
 575
 576 .. topic:: LBOND_DPDK
 577
 578     All test cases which uses DPDK link bonding.
 579
 580 .. topic:: LBOND_VPP
 581
 582     All test cases which uses VPP link bonding.
 583
 584 .. topic:: LBOND_MODE_XOR
 585
 586     All test cases which uses link bonding with mode XOR.
 587
 588 .. topic:: LBOND_MODE_LACP
 589
 590     All test cases which uses link bonding with mode LACP.
 591
 592 .. topic:: LBOND_LB_L34
 593
 594     All test cases which uses link bonding with load-balance mode l34.
 595
 596 .. topic:: LBOND_1L
 597
 598     All test cases which uses one link for link bonding.
 599
 600 .. topic:: LBOND_2L
 601
 602     All test cases which uses two links for link bonding.
 603
 604 .. topic:: DRV_AVF
 605
 606     All test cases which uses Intel Adaptive Virtual Function (AVF) device
 607     plugin for VPP. This plugins provides native device support for Intel AVF.
 608     AVF is driver specification for current and future Intel Virtual Function
 609     devices. In essence, today this driver can be used only with Intel
 610     XL710 / X710 / XXV710 adapters.
 611
 612 .. topic:: DRV_VFIO_PCI
 613
 614     All test cases which uses vfio-pci device driver. It supports variety of NIC
 615     adapters.
 616
 617 .. topic:: DRV_RDMA_CORE
 618
 619     All test cases which uses rdma-core device driver. It supports Mellanox
 620     NIC adapters.
 621
 622 Feature Tags
 623 ------------
 624
 625 .. topic:: IACLDST
 626
 627     iACL destination.
 628
 629 .. topic:: COPWHLIST
 630
 631     COP whitelist.
 632
 633 .. topic:: NAT44
 634
 635     NAT44 configured and tested.
 636
 637 .. topic:: NAT64
 638
 639     NAT44 configured and tested.
 640
 641 .. topic:: ACL
 642
 643     ACL plugin configured and tested.
 644
 645 .. topic:: IACL
 646
 647     ACL plugin configured and tested on input path.
 648
 649 .. topic:: OACL
 650
 651     ACL plugin configured and tested on output path.
 652
 653 .. topic:: ACL_STATELESS
 654
 655     ACL plugin configured and tested in stateless mode (permit action).
 656
 657 .. topic:: ACL_STATEFUL
 658
 659     ACL plugin configured and tested in stateful mode (permit+reflect action).
 660
 661 .. topic:: ACL1
 662
 663     ACL plugin configured and tested with 1 not-hitting ACE.
 664
 665 .. topic:: ACL10
 666
 667     ACL plugin configured and tested with 10 not-hitting ACEs.
 668
 669 .. topic:: ACL50
 670
 671     ACL plugin configured and tested with 50 not-hitting ACEs.
 672
 673 .. topic:: SRv6_PROXY
 674
 675     SRv6 endpoint to SR-unaware appliance via proxy.
 676
 677 .. topic:: SRv6_PROXY_STAT
 678
 679     SRv6 endpoint to SR-unaware appliance via static proxy.
 680
 681 .. topic:: SRv6_PROXY_DYN
 682
 683     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 684
 685 .. topic:: SRv6_PROXY_MASQ
 686
 687     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 688
 689 Encryption Tags
 690 ---------------
 691
 692 .. topic:: IPSECSW
 693
 694     Crypto in software.
 695
 696 .. topic:: IPSECHW
 697
 698     Crypto in hardware.
 699
 700 .. topic:: IPSECTRAN
 701
 702     IPSec in transport mode.
 703
 704 .. topic:: IPSECTUN
 705
 706     IPSec in tunnel mode.
 707
 708 .. topic:: IPSECINT
 709
 710     IPSec in interface mode.
 711
 712 .. topic:: AES
 713
 714     IPSec using AES algorithms.
 715
 716 .. topic:: AES_128_CBC
 717
 718     IPSec using AES 128 CBC algorithms.
 719
 720 .. topic:: AES_128_GCM
 721
 722     IPSec using AES 128 GCM algorithms.
 723
 724 .. topic:: AES_256_GCM
 725
 726     IPSec using AES 256 GCM algorithms.
 727
 728 .. topic:: HMAC
 729
 730     IPSec using HMAC integrity algorithms.
 731
 732 .. topic:: HMAC_SHA_256
 733
 734     IPSec using HMAC SHA 256 integrity algorithms.
 735
 736 .. topic:: HMAC_SHA_512
 737
 738     IPSec using HMAC SHA 512 integrity algorithms.
 739
 740 Client-Workload Tags
 741 --------------------
 742
 743 .. topic:: VM
 744
 745     All test cases which use at least one virtual machine.
 746
 747 .. topic:: LXC
 748
 749     All test cases which use Linux container and LXC utils.
 750
 751 .. topic:: DRC
 752
 753     All test cases which use at least one Docker container.
 754
 755 .. topic:: DOCKER
 756
 757     All test cases which use Docker as container manager.
 758
 759 .. topic:: APP
 760
 761     All test cases with specific APP use.
 762
 763 Container Orchestration Tags
 764 ----------------------------
 765
 766 .. topic:: 1VSWITCH
 767
 768     VPP running in Docker container acting as VSWITCH.
 769
 770 .. topic:: 1VNF
 771
 772     1 VPP running in Docker container acting as VNF work load.
 773
 774 .. topic:: 2VNF
 775
 776     2 VPP running in 2 Docker containers acting as VNF work load.
 777
 778 .. topic:: 4VNF
 779
 780     4 VPP running in 4 Docker containers acting as VNF work load.
 781
 782 Multi-Threading Tags
 783 --------------------
 784
 785 .. topic:: STHREAD
 786
 787    *Dynamic tag*.
 788    All test cases using single poll mode thread.
 789
 790 .. topic:: MTHREAD
 791
 792    *Dynamic tag*.
 793     All test cases using more then one poll mode driver thread.
 794
 795 .. topic:: 1NUMA
 796
 797     All test cases with packet processing on single socket.
 798
 799 .. topic:: 2NUMA
 800
 801     All test cases with packet processing on two sockets.
 802
 803 .. topic:: 1C
 804
 805     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
 806     enabled, 2 worker threads each pinned to a separate logical core within 1
 807     dedicated physical core. Main thread pinned to core 1.
 808
 809 .. topic:: 2C
 810
 811     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
 812     is enabled, 4 worker threads each pinned to a separate logical core within 2
 813     dedicated physical cores. Main thread pinned to core 1.
 814
 815 .. topic:: 4C
 816
 817     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
 818     is enabled, 8 worker threads each pinned to a separate logical core within 4
 819     dedicated physical cores. Main thread pinned to core 1.
 820
 821 .. topic:: 1T1C
 822
 823    *Dynamic tag*.
 824     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 825     interface. Main thread pinned to core 1.
 826
 827 .. topic:: 2T2C
 828
 829    *Dynamic tag*.
 830     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 831     interface. Main thread pinned to core 1.
 832
 833 .. topic:: 4T4C
 834
 835    *Dynamic tag*.
 836     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 837     interface. Main thread pinned to core 1.
 838
 839 .. topic:: 2T1C
 840
 841    *Dynamic tag*.
 842     2 worker threads each pinned to a separate logical core within 1 dedicated
 843     physical core. 1 receive queue per interface. Main thread pinned to core 1.
 844
 845 .. topic:: 4T2C
 846
 847    *Dynamic tag*.
 848     4 worker threads each pinned to a separate logical core within 2 dedicated
 849     physical cores. 2 receive queues per interface. Main thread pinned to core
 850     1.
 851
 852 .. topic:: 8T4C
 853
 854    *Dynamic tag*.
 855     8 worker threads each pinned to a separate logical core within 4 dedicated
 856     physical cores. 4 receive queues per interface. Main thread pinned to core
 857     1.
 858
 859 Honeycomb Tags
 860 --------------
 861
 862 .. topic:: HC_FUNC
 863
 864     Honeycomb functional test cases.
 865
 866 .. topic:: HC_NSH
 867
 868     Honeycomb NSH test cases.
 869
 870 .. topic:: HC_PERSIST
 871
 872     Honeycomb persistence test cases.
 873
 874 .. topic:: HC_REST_ONLY
 875
 876     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 877     using ODL client for Restfconf -> Netconf translation.