docs/tag_documentation.rst

   1 CSIT TAGs
   2 =========
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
  13
  14     2 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
  18
  19     2 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  23
  24     3 nodes connected in a circular topology with two links interconnecting
  25     the devices.
  26
  27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  28
  29     3 nodes connected in a circular topology with at least one link
  30     interconnecting devices.
  31
  32 Objective TAGs
  33 --------------
  34
  35 .. topic:: SKIP_PATCH
  36
  37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  38     and csit-vpp-verify jobs (i.e. CSIT patch).
  39
  40 .. topic:: SKIP_VPP_PATCH
  41
  42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  43
  44 Environment TAGs
  45 ----------------
  46
  47 .. topic:: HW_ENV
  48
  49     DUTs and TGs are running on bare metal.
  50
  51 .. topic:: VM_ENV
  52
  53     DUTs and TGs are running in virtual environment.
  54
  55 .. topic:: VPP_VM_ENV
  56
  57     DUTs with VPP and capable of running Virtual Machine.
  58
  59 NIC model tags
  60 --------------
  61
  62 .. topic:: NIC_Intel-X520-DA2
  63
  64     Intel X520-DA2 NIC.
  65
  66 .. topic:: NIC_Intel-XL710
  67
  68     Intel XL710 NIC.
  69
  70 .. topic:: NIC_Intel-X710
  71
  72     Intel X710 NIC.
  73
  74 .. topic:: NIC_Intel-XXV710
  75
  76     Intel XXV710 NIC.
  77
  78 .. topic:: NIC_Cisco-VIC-1227
  79
  80     VIC-1227 by Cisco.
  81
  82 .. topic:: NIC_Cisco-VIC-1385
  83
  84     VIC-1385 by Cisco.
  85
  86 Scaling TAGs
  87 ------------
  88
  89 .. topic:: FIB_20K
  90
  91     2x10,000 entries in single fib table
  92
  93 .. topic:: FIB_200K
  94
  95     2x100,000 entries in single fib table
  96
  97 .. topic:: FIB_2M
  98
  99     2x1,000,000 entries in single fib table
 100
 101 .. topic:: L2BD_1
 102
 103     Test with 1 L2 bridge domain.
 104
 105 .. topic:: L2BD_10
 106
 107     Test with 10 L2 bridge domains.
 108
 109 .. topic:: L2BD_100
 110
 111     Test with 100 L2 bridge domains.
 112
 113 .. topic:: L2BD_1K
 114
 115     Test with 1000 L2 bridge domains.
 116
 117 .. topic:: VLAN_1
 118
 119     Test with 1 VLAN sub-interface.
 120
 121 .. topic:: VLAN_10
 122
 123     Test with 10 VLAN sub-interfaces.
 124
 125 .. topic:: VLAN_100
 126
 127     Test with 100 VLAN sub-interfaces.
 128
 129 .. topic:: VLAN_1K
 130
 131     Test with 1000 VLAN sub-interfaces.
 132
 133 .. topic:: VXLAN_1
 134
 135     Test with 1 VXLAN tunnel.
 136
 137 .. topic:: VXLAN_10
 138
 139     Test with 10 VXLAN tunnels.
 140
 141 .. topic:: VXLAN_100
 142
 143     Test with 100 VXLAN tunnels.
 144
 145 .. topic:: VXLAN_1K
 146
 147     Test with 1000 VXLAN tunnels.
 148
 149 .. topic:: TNL_1000
 150
 151     IPSec in tunnel mode - 1000 tunnels.
 152
 153 .. topic:: SRC_USER_10
 154
 155     Traffic flow with 10 unique IPs (users) in one direction.
 156
 157 .. topic:: SRC_USER_100
 158
 159     Traffic flow with 100 unique IPs (users) in one direction.
 160
 161 .. topic:: SRC_USER_1000
 162
 163     Traffic flow with 1000 unique IPs (users) in one direction.
 164
 165 .. topic:: SRC_USER_2000
 166
 167     Traffic flow with 2000 unique IPs (users) in one direction.
 168
 169 .. topic:: SRC_USER_4000
 170
 171     Traffic flow with 4000 unique IPs (users) in one direction.
 172
 173 .. topic:: 100_FLOWS
 174
 175     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 176     direction.
 177
 178 .. topic:: 10k_FLOWS
 179
 180     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 181     one direction.
 182
 183 .. topic:: 100k_FLOWS
 184
 185     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 186     one direction.
 187
 188 .. topic:: 1C1N
 189
 190     1 service chain with 1 network function per chain.
 191
 192 .. topic:: 2C1N
 193
 194     2 service chains with 1 network function per chain.
 195
 196 .. topic:: 1C2N
 197
 198     1 service chain with 2 network functions per chain.
 199
 200 .. topic:: 2C2N
 201
 202     2 service chains with 2 network functions per chain.
 203
 204 Tags marking functional vs. performance of tests
 205 ------------------------------------------------
 206
 207 .. topic:: FUNCTEST
 208
 209     All functional test cases.
 210
 211 .. topic:: PERFTEST
 212
 213     All performance test cases.
 214
 215 Performance testing tags
 216 ------------------------
 217
 218 .. topic:: NDRPDR
 219
 220     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 221     The search is done by optimized algorithm which performs
 222     multiple trial runs at different durations and transmit rates.
 223     The results come from the final trials, which have duration of 30 seconds.
 224
 225 .. topic:: MRR
 226
 227     Performance tests where TG sends the traffic at maximum rate (line rate)
 228     and reports total sent/received packets over trial duration.
 229     The result is an average of 10 trials of 1 second duration.
 230
 231 Ethernet frame size tags for performance tests
 232 ----------------------------------------------
 233
 234 .. topic:: 64B
 235
 236     64B frames used for test.
 237
 238 .. topic:: 78B
 239
 240     78B frames used for test.
 241
 242 .. topic:: 114B
 243
 244     114B frames used for test.
 245
 246 .. topic:: IMIX
 247
 248     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 249
 250 .. topic:: 1460B
 251
 252     1460B frames used for test.
 253
 254 .. topic:: 1480B
 255
 256     1480B frames used for test.
 257
 258 .. topic:: 1514B
 259
 260     1514B frames used for test.
 261
 262 .. topic:: 1518B
 263
 264     1518B frames used for test.
 265
 266 .. topic:: 9000B
 267
 268     9000B frames used for test.
 269
 270 Test type tags
 271 --------------
 272
 273 .. topic:: BASE
 274
 275     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 276
 277 .. topic:: IP4BASE
 278
 279     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 280     tests.
 281
 282 .. topic:: IP6BASE
 283
 284     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 285     tests.
 286
 287 .. topic:: L2XCBASE
 288
 289     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 290     tests.
 291
 292 .. topic:: L2BDBASE
 293
 294     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 295     tests.
 296
 297 .. topic:: L2PATCH
 298
 299     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 300     tests.
 301
 302 .. topic:: SCALE
 303
 304     Scale test cases.
 305
 306 .. topic:: ENCAP
 307
 308     Test cases where encapsulation is used. Use also encapsulation tag(s).
 309
 310 .. topic:: FEATURE
 311
 312     At least one feature is configured in test cases. Use also feature tag(s).
 313
 314 .. topic:: TLDK
 315
 316     Functional test cases for TLDK.
 317
 318 .. topic:: DMM
 319
 320     Functional test cases for DMM.
 321
 322 .. topic:: TCP
 323
 324     Tests which use TCP.
 325
 326 .. topic:: TCP_CPS
 327
 328     Performance tests which measure connections per second using http requests.
 329
 330 .. topic:: TCP_RPS
 331
 332     Performance tests which measure requests per second using http requests.
 333
 334 .. topic:: HTTP
 335
 336     Tests which use HTTP.
 337
 338 .. topic:: SERVICE_DENSITY
 339
 340     Performance tests which measures performance of service density by creating
 341     topology of multiple sevice chains of network functions.
 342
 343 Forwarding mode tags
 344 --------------------
 345
 346 .. topic:: L2BDMACSTAT
 347
 348     VPP L2 bridge-domain, L2 MAC static.
 349
 350 .. topic:: L2BDMACLRN
 351
 352     VPP L2 bridge-domain, L2 MAC learning.
 353
 354 .. topic:: L2XCFWD
 355
 356     VPP L2 point-to-point cross-connect.
 357
 358 .. topic:: IP4FWD
 359
 360     VPP IPv4 routed forwarding.
 361
 362 .. topic:: IP6FWD
 363
 364     VPP IPv6 routed forwarding.
 365
 366 Underlay tags
 367 -------------
 368
 369 .. topic:: IP4UNRLAY
 370
 371     IPv4 underlay.
 372
 373 .. topic:: IP6UNRLAY
 374
 375     IPv6 underlay.
 376
 377 .. topic:: MPLSUNRLAY
 378
 379     MPLS underlay.
 380
 381 Overlay tags
 382 ------------
 383
 384 .. topic:: L2OVRLAY
 385
 386     L2 overlay.
 387
 388 .. topic:: IP4OVRLAY
 389
 390     IPv4 overlay (IPv4 payload).
 391
 392 .. topic:: IP6OVRLAY
 393
 394     IPv6 overlay (IPv6 payload).
 395
 396 Tagging tags
 397 ------------
 398
 399 .. topic:: DOT1Q
 400
 401     All test cases with dot1q.
 402
 403 .. topic:: DOT1AD
 404
 405     All test cases with dot1ad.
 406
 407 Encapsulation tags
 408 ------------------
 409
 410 .. topic:: ETH
 411
 412     All test cases with base Ethernet (no encapsulation).
 413
 414 .. topic:: LISP
 415
 416     All test cases with LISP.
 417
 418 .. topic:: LISPGPE
 419
 420     All test cases with LISP-GPE.
 421
 422 .. topic:: VXLAN
 423
 424     All test cases with Vxlan.
 425
 426 .. topic:: VXLANGPE
 427
 428     All test cases with VXLAN-GPE.
 429
 430 .. topic:: GRE
 431
 432     All test cases with GRE.
 433
 434 .. topic:: IPSEC
 435
 436     All test cases with IPSEC.
 437
 438 .. topic:: SRv6
 439
 440     All test cases with Segment routing over IPv6 dataplane.
 441
 442 Interface tags
 443 --------------
 444
 445 .. topic:: PHY
 446
 447     All test cases which use physical interface(s).
 448
 449 .. topic:: VHOST
 450
 451     All test cases which uses VHOST.
 452
 453 .. topic:: VHOST_256
 454
 455     All test cases which uses VHOST with qemu queue size set to 256.
 456
 457 .. topic:: VHOST_1024
 458
 459     All test cases which uses VHOST with qemu queue size set to 1024.
 460
 461 .. topic:: CFS_OPT
 462
 463     All test cases which uses VM with optimised scheduler policy.
 464
 465 .. topic:: TUNTAP
 466
 467     All test cases which uses TUN and TAP.
 468
 469 .. topic:: AFPKT
 470
 471     All test cases which uses AFPKT.
 472
 473 .. topic:: NETMAP
 474
 475     All test cases which uses Netmap.
 476
 477 .. topic:: MEMIF
 478
 479     All test cases which uses Memif.
 480
 481 .. topic:: SINGLE_MEMIF
 482
 483     All test cases which uses only single Memif connection per DUT. One DUT
 484     instance is running in container having one physical interface exposed to
 485     container.
 486
 487 .. topic:: LBOND
 488
 489     All test cases which uses link bonding (BondEthernet interface).
 490
 491 .. topic:: LBOND_DPDK
 492
 493     All test cases which uses DPDK link bonding.
 494
 495 .. topic:: LBOND_VPP
 496
 497     All test cases which uses VPP link bonding.
 498
 499 .. topic:: LBOND_MODE_XOR
 500
 501     All test cases which uses link bonding with mode XOR.
 502
 503 .. topic:: LBOND_MODE_LACP
 504
 505     All test cases which uses link bonding with mode LACP.
 506
 507 .. topic:: LBOND_LB_L34
 508
 509     All test cases which uses link bonding with load-balance mode l34.
 510
 511 .. topic:: LBOND_1L
 512
 513     All test cases which uses one link for link bonding.
 514
 515 .. topic:: LBOND_2L
 516
 517     All test cases which uses two links for link bonding.
 518
 519 .. topic:: DRV_AVF
 520
 521     All test cases which uses Intel Adaptive Virtual Function (AVF) device
 522     plugin for VPP. This plugins provides native device support for Intel AVF.
 523     AVF is driver specification for current and future Intel Virtual Function
 524     devices. In essence, today this driver can be used only with Intel
 525     XL710 / X710 / XXV710 adapters.
 526
 527 Feature tags
 528 ------------
 529
 530 .. topic:: IACLDST
 531
 532     iACL destination.
 533
 534 .. topic:: COPWHLIST
 535
 536     COP whitelist.
 537
 538 .. topic:: NAT44
 539
 540     NAT44 configured and tested.
 541
 542 .. topic:: NAT64
 543
 544     NAT44 configured and tested.
 545
 546 .. topic:: ACL
 547
 548     ACL plugin configured and tested.
 549
 550 .. topic:: IACL
 551
 552     ACL plugin configured and tested on input path.
 553
 554 .. topic:: OACL
 555
 556     ACL plugin configured and tested on output path.
 557
 558 .. topic:: ACL_STATELESS
 559
 560     ACL plugin configured and tested in stateless mode (permit action).
 561
 562 .. topic:: ACL_STATEFUL
 563
 564     ACL plugin configured and tested in stateful mode (permit+reflect action).
 565
 566 .. topic:: ACL1
 567
 568     ACL plugin configured and tested with 1 not-hitting ACE.
 569
 570 .. topic:: ACL10
 571
 572     ACL plugin configured and tested with 10 not-hitting ACEs.
 573
 574 .. topic:: ACL50
 575
 576     ACL plugin configured and tested with 50 not-hitting ACEs.
 577
 578 .. topic:: SRv6_PROXY
 579
 580     SRv6 endpoint to SR-unaware appliance via proxy.
 581
 582 .. topic:: SRv6_PROXY_STAT
 583
 584     SRv6 endpoint to SR-unaware appliance via static proxy.
 585
 586 .. topic:: SRv6_PROXY_DYN
 587
 588     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 589
 590 .. topic:: SRv6_PROXY_MASQ
 591
 592     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 593
 594 Encryption tags
 595 ---------------
 596
 597 .. topic:: IPSECSW
 598
 599     Crypto in software.
 600
 601 .. topic:: IPSECHW
 602
 603     Crypto in hardware.
 604
 605 .. topic:: IPSECTRAN
 606
 607     IPSec in transport mode.
 608
 609 .. topic:: IPSECTUN
 610
 611     IPSec in tunnel mode.
 612
 613 Client-workload tags
 614 --------------------
 615
 616 .. topic:: VM
 617
 618     All test cases which use at least one virtual machine.
 619
 620 .. topic:: LXC
 621
 622     All test cases which use Linux container and LXC utils.
 623
 624 .. topic:: DOCKER
 625
 626     All test cases which use Docker as container manager.
 627
 628 .. topic:: APP
 629
 630     All test cases with specific APP use.
 631
 632 Container orchestration tags
 633 ----------------------------
 634
 635 .. topic:: K8S
 636
 637     All test cases which use Kubernetes for orchestration.
 638
 639 .. topic:: SFC_CONTROLLER
 640
 641     All test cases which use ligato/sfc_controller for driving configuration
 642     of vpp inside container.
 643
 644 .. topic:: VPP_AGENT
 645
 646     All test cases which use Golang implementation of a control/management plane
 647     for VPP
 648
 649 .. topic:: 1VSWITCH
 650
 651     VPP running in Docker container acting as VSWITCH.
 652
 653 .. topic:: 1VNF
 654
 655     1 VPP running in Docker container acting as VNF work load.
 656
 657 .. topic:: 2VNF
 658
 659     2 VPP running in 2 Docker containers acting as VNF work load.
 660
 661 .. topic:: 4VNF
 662
 663     4 VPP running in 4 Docker containers acting as VNF work load.
 664
 665 Multi-threading tags
 666 --------------------
 667
 668 .. topic:: STHREAD
 669
 670    *Dynamic tag*.
 671    All test cases using single poll mode thread.
 672
 673 .. topic:: MTHREAD
 674
 675    *Dynamic tag*.
 676     All test cases using more then one poll mode driver thread.
 677
 678 .. topic:: 1NUMA
 679
 680     All test cases with packet processing on single socket.
 681
 682 .. topic:: 2NUMA
 683
 684     All test cases with packet processing on two sockets.
 685
 686 .. topic:: 1C
 687
 688     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
 689     enabled, 2 worker threads each pinned to a separate logical core within 1
 690     dedicated physical core. Main thread pinned to core 1.
 691
 692 .. topic:: 2C
 693
 694     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
 695     is enabled, 4 worker threads each pinned to a separate logical core within 2
 696     dedicated physical cores. Main thread pinned to core 1.
 697
 698 .. topic:: 4C
 699
 700     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
 701     is enabled, 8 worker threads each pinned to a separate logical core within 4
 702     dedicated physical cores. Main thread pinned to core 1.
 703
 704 .. topic:: 1T1C
 705
 706    *Dynamic tag*.
 707     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 708     interface. Main thread pinned to core 1.
 709
 710 .. topic:: 2T2C
 711
 712    *Dynamic tag*.
 713     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 714     interface. Main thread pinned to core 1.
 715
 716 .. topic:: 4T4C
 717
 718    *Dynamic tag*.
 719     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 720     interface. Main thread pinned to core 1.
 721
 722 .. topic:: 2T1C
 723
 724    *Dynamic tag*.
 725     2 worker threads each pinned to a separate logical core within 1 dedicated
 726     physical core. 1 receive queue per interface. Main thread pinned to core 1.
 727
 728 .. topic:: 4T2C
 729
 730    *Dynamic tag*.
 731     4 worker threads each pinned to a separate logical core within 2 dedicated
 732     physical cores. 2 receive queues per interface. Main thread pinned to core
 733     1.
 734
 735 .. topic:: 8T4C
 736
 737    *Dynamic tag*.
 738     8 worker threads each pinned to a separate logical core within 4 dedicated
 739     physical cores. 4 receive queues per interface. Main thread pinned to core
 740     1.
 741
 742 Honeycomb tags
 743 --------------
 744
 745 .. topic:: HC_FUNC
 746
 747     Honeycomb functional test cases.
 748
 749 .. topic:: HC_NSH
 750
 751     Honeycomb NSH test cases.
 752
 753 .. topic:: HC_PERSIST
 754
 755     Honeycomb persistence test cases.
 756
 757 .. topic:: HC_REST_ONLY
 758
 759     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 760     using ODL client for Restfconf -> Netconf translation.