docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
  13
  14     2 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
  18
  19     2 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  23
  24     3 nodes connected in a circular topology with two links interconnecting
  25     the devices.
  26
  27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  28
  29     3 nodes connected in a circular topology with at least one link
  30     interconnecting devices.
  31
  32 Objective TAGs
  33 --------------
  34
  35 .. topic:: SKIP_PATCH
  36
  37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  38     and csit-vpp-verify jobs (i.e. CSIT patch).
  39
  40 .. topic:: SKIP_VPP_PATCH
  41
  42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  43
  44 Environment TAGs
  45 ----------------
  46
  47 .. topic:: HW_ENV
  48
  49     DUTs and TGs are running on bare metal.
  50
  51 .. topic:: VM_ENV
  52
  53     DUTs and TGs are running in virtual environment.
  54
  55 .. topic:: VPP_VM_ENV
  56
  57     DUTs with VPP and capable of running Virtual Machine.
  58
  59 NIC model tags
  60 --------------
  61
  62 .. topic:: NIC_Intel-X520-DA2
  63
  64     Intel X520-DA2 NIC.
  65
  66 .. topic:: NIC_Intel-XL710
  67
  68     Intel XL710 NIC.
  69
  70 .. topic:: NIC_Intel-X710
  71
  72     Intel X710 NIC.
  73
  74 .. topic:: NIC_Intel-XXV710
  75
  76     Intel XXV710 NIC.
  77
  78 .. topic:: NIC_Cisco-VIC-1227
  79
  80     VIC-1227 by Cisco.
  81
  82 .. topic:: NIC_Cisco-VIC-1385
  83
  84     VIC-1385 by Cisco.
  85
  86 Scaling TAGs
  87 ------------
  88
  89 .. topic:: FIB_20K
  90
  91     2x10,000 entries in single fib table
  92
  93 .. topic:: FIB_200K
  94
  95     2x100,000 entries in single fib table
  96
  97 .. topic:: FIB_2M
  98
  99     2x1,000,000 entries in single fib table
 100
 101 .. topic:: TNL_1000
 102
 103     IPSec in tunnel mode - 1000 tunnels.
 104
 105 .. topic:: SRC_USER_10
 106
 107     Traffic flow with 10 unique IPs (users) in one direction.
 108
 109 .. topic:: SRC_USER_100
 110
 111     Traffic flow with 100 unique IPs (users) in one direction.
 112
 113 .. topic:: SRC_USER_1000
 114
 115     Traffic flow with 1000 unique IPs (users) in one direction.
 116
 117 .. topic:: SRC_USER_2000
 118
 119     Traffic flow with 2000 unique IPs (users) in one direction.
 120
 121 .. topic:: SRC_USER_4000
 122
 123     Traffic flow with 4000 unique IPs (users) in one direction.
 124
 125 .. topic:: 100_FLOWS
 126
 127     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 128     direction.
 129
 130 .. topic:: 10k_FLOWS
 131
 132     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 133     one direction.
 134
 135 .. topic:: 100k_FLOWS
 136
 137     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 138     one direction.
 139
 140 Tags marking functional vs. performance of tests
 141 ------------------------------------------------
 142
 143 .. topic:: FUNCTEST
 144
 145     All functional test cases.
 146
 147 .. topic:: PERFTEST
 148
 149     All performance test cases.
 150
 151 Performance testing tags
 152 ------------------------
 153
 154 .. topic:: NDRPDR
 155
 156     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 157     The search is done by optimized algorithm which performs
 158     multiple trial runs at different durations and transmit rates.
 159
 160 .. topic:: MRR
 161
 162     Performance tests where TG sends the traffic at maximum rate (line rate)
 163     and reports total sent/received packets over performance trial duration.
 164
 165 Ethernet frame size tags for performance tests
 166 ----------------------------------------------
 167
 168 .. topic:: 64B
 169
 170     64B frames used for test.
 171
 172 .. topic:: 78B
 173
 174     78B frames used for test.
 175
 176 .. topic:: 114B
 177
 178     114B frames used for test.
 179
 180 .. topic:: IMIX
 181
 182     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 183
 184 .. topic:: 1460B
 185
 186     1460B frames used for test.
 187
 188 .. topic:: 1480B
 189
 190     1480B frames used for test.
 191
 192 .. topic:: 1514B
 193
 194     1514B frames used for test.
 195
 196 .. topic:: 1518B
 197
 198     1518B frames used for test.
 199
 200 .. topic:: 9000B
 201
 202     9000B frames used for test.
 203
 204 Test type tags
 205 --------------
 206
 207 .. topic:: BASE
 208
 209     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 210
 211 .. topic:: IP4BASE
 212
 213     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 214     tests.
 215
 216 .. topic:: IP6BASE
 217
 218     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 219     tests.
 220
 221 .. topic:: L2XCBASE
 222
 223     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 224     tests.
 225
 226 .. topic:: L2BDBASE
 227
 228     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 229     tests.
 230
 231 .. topic:: L2PATCH
 232
 233     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 234     tests.
 235
 236 .. topic:: SCALE
 237
 238     Scale test cases.
 239
 240 .. topic:: ENCAP
 241
 242     Test cases where encapsulation is used. Use also encapsulation tag(s).
 243
 244 .. topic:: FEATURE
 245
 246     At least one feature is configured in test cases. Use also feature tag(s).
 247
 248 .. topic:: TLDK
 249
 250     Functional test cases for TLDK.
 251
 252 .. topic:: DMM
 253
 254     Functional test cases for DMM.
 255
 256 .. topic:: TCP
 257
 258     Tests which use TCP.
 259
 260 .. topic:: TCP_CPS
 261
 262     Performance tests which measure connections per second using http requests.
 263
 264 .. topic:: TCP_RPS
 265
 266     Performance tests which measure requests per second using http requests.
 267
 268 .. topic:: HTTP
 269
 270     Tests which use HTTP.
 271
 272 Forwarding mode tags
 273 --------------------
 274
 275 .. topic:: L2BDMACSTAT
 276
 277     VPP L2 bridge-domain, L2 MAC static.
 278
 279 .. topic:: L2BDMACLRN
 280
 281     VPP L2 bridge-domain, L2 MAC learning.
 282
 283 .. topic:: L2XCFWD
 284
 285     VPP L2 point-to-point cross-connect.
 286
 287 .. topic:: IP4FWD
 288
 289     VPP IPv4 routed forwarding.
 290
 291 .. topic:: IP6FWD
 292
 293     VPP IPv6 routed forwarding.
 294
 295 Underlay tags
 296 -------------
 297
 298 .. topic:: IP4UNRLAY
 299
 300     IPv4 underlay.
 301
 302 .. topic:: IP6UNRLAY
 303
 304     IPv6 underlay.
 305
 306 .. topic:: MPLSUNRLAY
 307
 308     MPLS underlay.
 309
 310 Overlay tags
 311 ------------
 312
 313 .. topic:: L2OVRLAY
 314
 315     L2 overlay.
 316
 317 .. topic:: IP4OVRLAY
 318
 319     IPv4 overlay (IPv4 payload).
 320
 321 .. topic:: IP6OVRLAY
 322
 323     IPv6 overlay (IPv6 payload).
 324
 325 Tagging tags
 326 ------------
 327
 328 .. topic:: DOT1Q
 329
 330     All test cases with dot1q.
 331
 332 .. topic:: DOT1AD
 333
 334     All test cases with dot1ad.
 335
 336 Encapsulation tags
 337 ------------------
 338
 339 .. topic:: ETH
 340
 341     All test cases with base Ethernet (no encapsulation).
 342
 343 .. topic:: LISP
 344
 345     All test cases with LISP.
 346
 347 .. topic:: LISPGPE
 348
 349     All test cases with LISP-GPE.
 350
 351 .. topic:: VXLAN
 352
 353     All test cases with Vxlan.
 354
 355 .. topic:: VXLANGPE
 356
 357     All test cases with VXLAN-GPE.
 358
 359 .. topic:: GRE
 360
 361     All test cases with GRE.
 362
 363 .. topic:: IPSEC
 364
 365     All test cases with IPSEC.
 366
 367 .. topic:: SRv6
 368
 369     All test cases with Segment routing over IPv6 dataplane.
 370
 371 Interface tags
 372 --------------
 373
 374 .. topic:: PHY
 375
 376     All test cases which use physical interface(s).
 377
 378 .. topic:: VHOST
 379
 380     All test cases which uses VHOST.
 381
 382 .. topic:: VHOST_256
 383
 384     All test cases which uses VHOST with qemu queue size set to 256.
 385
 386 .. topic:: VHOST_1024
 387
 388     All test cases which uses VHOST with qemu queue size set to 1024.
 389
 390 .. topic:: CFS_OPT
 391
 392     All test cases which uses VM with optimised scheduler policy.
 393
 394 .. topic:: TUNTAP
 395
 396     All test cases which uses TUN and TAP.
 397
 398 .. topic:: AFPKT
 399
 400     All test cases which uses AFPKT.
 401
 402 .. topic:: NETMAP
 403
 404     All test cases which uses Netmap.
 405
 406 .. topic:: MEMIF
 407
 408     All test cases which uses Memif.
 409
 410 .. topic:: SINGLE_MEMIF
 411
 412     All test cases which uses only single Memif connection per DUT. One DUT
 413     instance is running in container having one physical interface exposed to
 414     container.
 415
 416 .. topic:: LBOND
 417
 418     All test cases which uses link bonding (BondEthernet interface).
 419
 420 .. topic:: LBOND_DPDK
 421
 422     All test cases which uses DPDK link bonding.
 423
 424 .. topic:: LBOND_VPP
 425
 426     All test cases which uses VPP link bonding.
 427
 428 .. topic:: LBOND_MODE_XOR
 429
 430     All test cases which uses link bonding with mode XOR.
 431
 432 .. topic:: LBOND_MODE_LACP
 433
 434     All test cases which uses link bonding with mode LACP.
 435
 436 .. topic:: LBOND_LB_L34
 437
 438     All test cases which uses link bonding with load-balance mode l34.
 439
 440 .. topic:: LBOND_1L
 441
 442     All test cases which uses one link for link bonding.
 443
 444 .. topic:: LBOND_2L
 445
 446     All test cases which uses two links for link bonding.
 447
 448 Feature tags
 449 ------------
 450
 451 .. topic:: IACLDST
 452
 453     iACL destination.
 454
 455 .. topic:: COPWHLIST
 456
 457     COP whitelist.
 458
 459 .. topic:: NAT44
 460
 461     NAT44 configured and tested.
 462
 463 .. topic:: NAT64
 464
 465     NAT44 configured and tested.
 466
 467 .. topic:: ACL
 468
 469     ACL plugin configured and tested.
 470
 471 .. topic:: IACL
 472
 473     ACL plugin configured and tested on input path.
 474
 475 .. topic:: OACL
 476
 477     ACL plugin configured and tested on output path.
 478
 479 .. topic:: ACL_STATELESS
 480
 481     ACL plugin configured and tested in stateless mode (permit action).
 482
 483 .. topic:: ACL_STATEFUL
 484
 485     ACL plugin configured and tested in stateful mode (permit+reflect action).
 486
 487 .. topic:: ACL1
 488
 489     ACL plugin configured and tested with 1 not-hitting ACE.
 490
 491 .. topic:: ACL10
 492
 493     ACL plugin configured and tested with 10 not-hitting ACEs.
 494
 495 .. topic:: ACL50
 496
 497     ACL plugin configured and tested with 50 not-hitting ACEs.
 498
 499 .. topic:: SRv6_PROXY
 500
 501     SRv6 endpoint to SR-unaware appliance via proxy.
 502
 503 .. topic:: SRv6_PROXY_STAT
 504
 505     SRv6 endpoint to SR-unaware appliance via static proxy.
 506
 507 .. topic:: SRv6_PROXY_DYN
 508
 509     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 510
 511 .. topic:: SRv6_PROXY_MASQ
 512
 513     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 514
 515 Encryption tags
 516 ---------------
 517
 518 .. topic:: IPSECSW
 519
 520     Crypto in software.
 521
 522 .. topic:: IPSECHW
 523
 524     Crypto in hardware.
 525
 526 .. topic:: IPSECTRAN
 527
 528     IPSec in transport mode.
 529
 530 .. topic:: IPSECTUN
 531
 532     IPSec in tunnel mode.
 533
 534 Client-workload tags
 535 --------------------
 536
 537 .. topic:: VM
 538
 539     All test cases which use at least one virtual machine.
 540
 541 .. topic:: LXC
 542
 543     All test cases which use Linux container and LXC utils.
 544
 545 .. topic:: DOCKER
 546
 547     All test cases which use Docker as container manager.
 548
 549 .. topic:: APP
 550
 551     All test cases with specific APP use.
 552
 553 Container orchestration tags
 554 ----------------------------
 555
 556 .. topic:: K8S
 557
 558     All test cases which use Kubernetes for orchestration.
 559
 560 .. topic:: SFC_CONTROLLER
 561
 562     All test cases which use ligato/sfc_controller for driving configuration
 563     of vpp inside container.
 564
 565 .. topic:: VPP_AGENT
 566
 567     All test cases which use Golang implementation of a control/management plane
 568     for VPP
 569
 570 .. topic:: 1VSWITCH
 571
 572     VPP running in Docker container acting as VSWITCH.
 573
 574 .. topic:: 1VNF
 575
 576     1 VPP running in Docker container acting as VNF work load.
 577
 578 .. topic:: 2VNF
 579
 580     2 VPP running in 2 Docker containers acting as VNF work load.
 581
 582 .. topic:: 4VNF
 583
 584     4 VPP running in 4 Docker containers acting as VNF work load.
 585
 586 Multi-threading tags
 587 --------------------
 588
 589 .. topic:: STHREAD
 590
 591    *Dynamic tag*.
 592    All test cases using single poll mode thread.
 593
 594 .. topic:: MTHREAD
 595
 596    *Dynamic tag*.
 597     All test cases using more then one poll mode driver thread.
 598
 599 .. topic:: 1NUMA
 600
 601     All test cases with packet processing on single socket.
 602
 603 .. topic:: 2NUMA
 604
 605     All test cases with packet processing on two sockets.
 606
 607 .. topic:: 1C
 608
 609     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
 610     enabled, 2 worker threads each pinned to a separate logical core within 1
 611     dedicated physical core. Main thread pinned to core 1.
 612
 613 .. topic:: 2C
 614
 615     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
 616     is enabled, 4 worker threads each pinned to a separate logical core within 2
 617     dedicated physical cores. Main thread pinned to core 1.
 618
 619 .. topic:: 4C
 620
 621     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
 622     is enabled, 8 worker threads each pinned to a separate logical core within 4
 623     dedicated physical cores. Main thread pinned to core 1.
 624
 625 .. topic:: 1T1C
 626
 627    *Dynamic tag*.
 628     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 629     interface. Main thread pinned to core 1.
 630
 631 .. topic:: 2T2C
 632
 633    *Dynamic tag*.
 634     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 635     interface. Main thread pinned to core 1.
 636
 637 .. topic:: 4T4C
 638
 639    *Dynamic tag*.
 640     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 641     interface. Main thread pinned to core 1.
 642
 643 .. topic:: 2T1C
 644
 645    *Dynamic tag*.
 646     2 worker threads each pinned to a separate logical core within 1 dedicated
 647     physical core. 1 receive queue per interface. Main thread pinned to core 1.
 648
 649 .. topic:: 4T2C
 650
 651    *Dynamic tag*.
 652     4 worker threads each pinned to a separate logical core within 2 dedicated
 653     physical cores. 2 receive queues per interface. Main thread pinned to core
 654     1.
 655
 656 .. topic:: 8T4C
 657
 658    *Dynamic tag*.
 659     8 worker threads each pinned to a separate logical core within 4 dedicated
 660     physical cores. 4 receive queues per interface. Main thread pinned to core
 661     1.
 662
 663 Honeycomb tags
 664 --------------
 665
 666 .. topic:: HC_FUNC
 667
 668     Honeycomb functional test cases.
 669
 670 .. topic:: HC_NSH
 671
 672     Honeycomb NSH test cases.
 673
 674 .. topic:: HC_PERSIST
 675
 676     Honeycomb persistence test cases.
 677
 678 .. topic:: HC_REST_ONLY
 679
 680     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 681     using ODL client for Restfconf -> Netconf translation.