docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  13
  14     3 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  18
  19     3 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 Objective TAGs
  23 --------------
  24
  25 .. topic:: SKIP_PATCH
  26
  27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  28     and csit-vpp-verify jobs (i.e. CSIT patch).
  29
  30 .. topic:: SKIP_VPP_PATCH
  31
  32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  33
  34 Environment TAGs
  35 ----------------
  36
  37 .. topic:: HW_ENV
  38
  39     DUTs and TGs are running on bare metal.
  40
  41 .. topic:: VM_ENV
  42
  43     DUTs and TGs are running in virtual environment.
  44
  45 .. topic:: VPP_VM_ENV
  46
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49 NIC model tags
  50 --------------
  51
  52 .. topic:: NIC_Intel-X520-DA2
  53
  54     Intel X520-DA2 NIC.
  55
  56 .. topic:: NIC_Intel-XL710
  57
  58     Intel XL710 NIC.
  59
  60 .. topic:: NIC_Intel-X710
  61
  62     Intel X710 NIC.
  63
  64 .. topic:: NIC_Cisco-VIC-1227
  65
  66     VIC-1227 by Cisco.
  67
  68 .. topic:: NIC_Cisco-VIC-1385
  69
  70     VIC-1385 by Cisco.
  71
  72 Scaling TAGs
  73 ------------
  74
  75 .. topic:: FIB_20K
  76
  77     2x10,000 entries in single fib table
  78
  79 .. topic:: FIB_200K
  80
  81     2x100,000 entries in single fib table
  82
  83 .. topic:: FIB_2M
  84
  85     2x1,000,000 entries in single fib table
  86
  87 .. topic:: TNL_1000
  88
  89     IPSec in tunnel mode - 1000 tunnels.
  90
  91 .. topic:: SRC_USER_10
  92
  93     Traffic flow with 10 unique IPs (users) in one direction.
  94
  95 .. topic:: SRC_USER_100
  96
  97     Traffic flow with 100 unique IPs (users) in one direction.
  98
  99 .. topic:: SRC_USER_1000
 100
 101     Traffic flow with 1000 unique IPs (users) in one direction.
 102
 103 .. topic:: SRC_USER_2000
 104
 105     Traffic flow with 2000 unique IPs (users) in one direction.
 106
 107 .. topic:: SRC_USER_4000
 108
 109     Traffic flow with 4000 unique IPs (users) in one direction.
 110
 111 .. topic:: 100_FLOWS
 112
 113     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 114     direction.
 115
 116 .. topic:: 10k_FLOWS
 117
 118     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 119     one direction.
 120
 121 .. topic:: 100k_FLOWS
 122
 123     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 124     one direction.
 125
 126 Tags marking functional vs. performance of tests
 127 ------------------------------------------------
 128
 129 .. topic:: FUNCTEST
 130
 131     All functional test cases.
 132
 133 .. topic:: PERFTEST
 134
 135     All performance test cases.
 136
 137 Performance testing tags
 138 ------------------------
 139
 140 .. topic:: PDRDISC
 141
 142     Partial Drop Rate evaluation of single run result, with non-zero packet
 143     loss tolerance (LT) expressed in percentage of packets transmitted.
 144
 145 .. topic:: NDRDISC
 146
 147     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 148     set to zero lost packets.
 149
 150 .. topic:: NDRCHK
 151
 152     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 153     Non Drop Rate) with zero packet loss tolerance.
 154
 155 .. topic:: PDRCHK
 156
 157     Performance tests where TG verifies DUTs' throughput at ref-PDR (reference
 158     Partial Drop Rate) with 0.5% loss tolerance.
 159
 160 .. topic:: MRR
 161
 162     Performance tests where TG sends the traffic at maximum rate (line rate)
 163     and reports total sent/received packets over performance trial duration.
 164
 165 .. topic:: NDRPDRDISC
 166
 167     Find performance of DUT based on :rfc:`2544` with linear / binary / combined
 168     search. (Previous LONG tests.)
 169
 170 Ethernet frame size tags for performance tests
 171 ----------------------------------------------
 172
 173 .. topic:: 64B
 174
 175     64B frames used for test.
 176
 177 .. topic:: 78B
 178
 179     78B frames used for test.
 180
 181 .. topic:: IMIX
 182
 183     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 184
 185 .. topic:: 1460B
 186
 187     1460B frames used for test.
 188
 189 .. topic:: 1480B
 190
 191     1480B frames used for test.
 192
 193 .. topic:: 1514B
 194
 195     1514B frames used for test.
 196
 197 .. topic:: 1518B
 198
 199     1518B frames used for test.
 200
 201 .. topic:: 9000B
 202
 203     9000B frames used for test.
 204
 205 Test type tags
 206 --------------
 207
 208 .. topic:: BASE
 209
 210     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 211
 212 .. topic:: IP4BASE
 213
 214     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 215     tests.
 216
 217 .. topic:: IP6BASE
 218
 219     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 220     tests.
 221
 222 .. topic:: L2XCBASE
 223
 224     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 225     tests.
 226
 227 .. topic:: L2BDBASE
 228
 229     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 230     tests.
 231
 232 .. topic:: SCALE
 233
 234     Scale test cases.
 235
 236 .. topic:: ENCAP
 237
 238     Test cases where encapsulation is used. Use also encapsulation tag(s).
 239
 240 .. topic:: FEATURE
 241
 242     At least one feature is configured in test cases. Use also feature tag(s).
 243
 244 .. topic:: TLDK
 245
 246     Functional test cases for TLDK.
 247
 248 .. topic:: TCP
 249
 250     Tests which use TCP.
 251
 252 .. topic:: TCP_CPS
 253
 254     Performance tests which measure connections per second using http requests.
 255
 256 .. topic:: TCP_RPS
 257
 258     Performance tests which measure requests per second using http requests.
 259
 260 .. topic:: HTTP
 261
 262     Tests which use HTTP.
 263
 264 Forwarding mode tags
 265 --------------------
 266
 267 .. topic:: L2BDMACSTAT
 268
 269     VPP L2 bridge-domain, L2 MAC static.
 270
 271 .. topic:: L2BDMACLRN
 272
 273     VPP L2 bridge-domain, L2 MAC learning.
 274
 275 .. topic:: L2XCFWD
 276
 277     VPP L2 point-to-point cross-connect.
 278
 279 .. topic:: IP4FWD
 280
 281     VPP IPv4 routed forwarding.
 282
 283 .. topic:: IP6FWD
 284
 285     VPP IPv6 routed forwarding.
 286
 287 Underlay tags
 288 -------------
 289
 290 .. topic:: IP4UNRLAY
 291
 292     IPv4 underlay.
 293
 294 .. topic:: IP6UNRLAY
 295
 296     IPv6 underlay.
 297
 298 .. topic:: MPLSUNRLAY
 299
 300     MPLS underlay.
 301
 302 Overlay tags
 303 ------------
 304
 305 .. topic:: L2OVRLAY
 306
 307     L2 overlay.
 308
 309 .. topic:: IP4OVRLAY
 310
 311     IPv4 overlay (IPv4 payload).
 312
 313 .. topic:: IP6OVRLAY
 314
 315     IPv6 overlay (IPv6 payload).
 316
 317 Tagging tags
 318 ------------
 319
 320 .. topic:: DOT1Q
 321
 322     All test cases with dot1q.
 323
 324 .. topic:: DOT1AD
 325
 326     All test cases with dot1ad.
 327
 328 Encapsulation tags
 329 ------------------
 330
 331 .. topic:: ETH
 332
 333     All test cases with base Ethernet (no encapsulation).
 334
 335 .. topic:: LISP
 336
 337     All test cases with LISP.
 338
 339 .. topic:: LISPGPE
 340
 341     All test cases with LISP-GPE.
 342
 343 .. topic:: VXLAN
 344
 345     All test cases with Vxlan.
 346
 347 .. topic:: VXLANGPE
 348
 349     All test cases with VXLAN-GPE.
 350
 351 .. topic:: GRE
 352
 353     All test cases with GRE.
 354
 355 .. topic:: IPSEC
 356
 357     All test cases with IPSEC.
 358
 359 .. topic:: SRv6
 360
 361     All test cases with Segment routing over IPv6 dataplane.
 362
 363 Interface tags
 364 --------------
 365
 366 .. topic:: PHY
 367
 368     All test cases which use physical interface(s).
 369
 370 .. topic:: VHOST
 371
 372     All test cases which uses VHOST.
 373
 374 .. topic:: VHOST_256
 375
 376     All test cases which uses VHOST with qemu queue size set to 256.
 377
 378 .. topic:: VHOST_1024
 379
 380     All test cases which uses VHOST with qemu queue size set to 1024.
 381
 382 .. topic:: CFS_OPT
 383
 384     All test cases which uses VM with optimised scheduler policy.
 385
 386 .. topic:: TUNTAP
 387
 388     All test cases which uses TUN and TAP.
 389
 390 .. topic:: AFPKT
 391
 392     All test cases which uses AFPKT.
 393
 394 .. topic:: NETMAP
 395
 396     All test cases which uses Netmap.
 397
 398 .. topic:: MEMIF
 399
 400     All test cases which uses Memif.
 401
 402 Feature tags
 403 ------------
 404
 405 .. topic:: IACLDST
 406
 407     iACL destination.
 408
 409 .. topic:: COPWHLIST
 410
 411     COP whitelist.
 412
 413 .. topic:: NAT44
 414
 415     NAT44 configured and tested.
 416
 417 .. topic:: NAT64
 418
 419     NAT44 configured and tested.
 420
 421 .. topic:: ACL
 422
 423     ACL plugin configured and tested.
 424
 425 .. topic:: IACL
 426
 427     ACL plugin configured and tested on input path.
 428
 429 .. topic:: OACL
 430
 431     ACL plugin configured and tested on output path.
 432
 433 .. topic:: ACL_STATELESS
 434
 435     ACL plugin configured and tested in stateless mode (permit action).
 436
 437 .. topic:: ACL_STATEFUL
 438
 439     ACL plugin configured and tested in stateful mode (permit+reflect action).
 440
 441 .. topic:: ACL1
 442
 443     ACL plugin configured and tested with 1 not-hitting ACE.
 444
 445 .. topic:: ACL10
 446
 447     ACL plugin configured and tested with 10 not-hitting ACEs.
 448
 449 .. topic:: ACL50
 450
 451     ACL plugin configured and tested with 50 not-hitting ACEs.
 452
 453 .. topic:: SRv6_PROXY
 454
 455     SRv6 endpoint to SR-unaware appliance via proxy.
 456
 457 .. topic:: SRv6_PROXY_STAT
 458
 459     SRv6 endpoint to SR-unaware appliance via static proxy.
 460
 461 .. topic:: SRv6_PROXY_DYN
 462
 463     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 464
 465 .. topic:: SRv6_PROXY_MASQ
 466
 467     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 468
 469 Encryption tags
 470 ---------------
 471
 472 .. topic:: IPSECSW
 473
 474     Crypto in software.
 475
 476 .. topic:: IPSECHW
 477
 478     Crypto in hardware.
 479
 480 .. topic:: IPSECTRAN
 481
 482     IPSec in transport mode.
 483
 484 .. topic:: IPSECTUN
 485
 486     IPSec in tunnel mode.
 487
 488 Client-workload tags
 489 --------------------
 490
 491 .. topic:: VM
 492
 493     All test cases which use at least one virtual machine.
 494
 495 .. topic:: LXC
 496
 497     All test cases which use Linux container and LXC utils.
 498
 499 .. topic:: DOCKER
 500
 501     All test cases which use Docker as container manager.
 502
 503 .. topic:: APP
 504
 505     All test cases with specific APP use.
 506
 507 Container orchestration tags
 508 ----------------------------
 509
 510 .. topic:: K8S
 511
 512     All test cases which use Kubernetes for orchestration.
 513
 514 .. topic:: SFC_CONTROLLER
 515
 516     All test cases which use ligato/sfc_controller for driving configuration
 517     of vpp inside container.
 518
 519 .. topic:: VPP_AGENT
 520
 521     All test cases which use Golang implementation of a control/management plane
 522     for VPP
 523
 524 .. topic:: 1VSWITCH
 525
 526     VPP running in Docker container acting as VSWITCH.
 527
 528 .. topic:: 1VNF
 529
 530     1 VPP running in Docker container acting as VNF work load.
 531
 532 .. topic:: 2VNF
 533
 534     2 VPP running in 2 Docker containers acting as VNF work load.
 535
 536 .. topic:: 4VNF
 537
 538     4 VPP running in 4 Docker containers acting as VNF work load.
 539
 540 Multi-threading tags
 541 --------------------
 542
 543 .. topic:: STHREAD
 544
 545     All test cases using single poll mode thread.
 546
 547 .. topic:: MTHREAD
 548
 549     All test cases using more then one poll mode driver thread.
 550
 551 .. topic:: 1NUMA
 552
 553     All test cases with packet processing on single socket.
 554
 555 .. topic:: 2NUMA
 556
 557     All test cases with packet processing on two sockets.
 558
 559 .. topic:: SMT
 560
 561     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 562
 563 .. topic:: NOSMT
 564
 565     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 566
 567 .. topic:: 1T1C
 568
 569     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 570     interface. Main thread pinned to core 0.
 571
 572 .. topic:: 2T2C
 573
 574     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 575     interface. Main thread pinned to core 0.
 576
 577 .. topic:: 4T4C
 578
 579     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 580     interface. Main thread pinned to core 0.
 581
 582 .. topic:: 6T6C
 583
 584     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 585     interface. Main thread pinned to core 0.
 586
 587 .. topic:: 8T8C
 588
 589     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 590     interface. Main thread pinned to core 0.
 591
 592 Honeycomb tags
 593 --------------
 594
 595 .. topic:: HC_FUNC
 596
 597     Honeycomb functional test cases.
 598
 599 .. topic:: HC_NSH
 600
 601     Honeycomb NSH test cases.
 602
 603 .. topic:: HC_PERSIST
 604
 605     Honeycomb persistence test cases.
 606
 607 .. topic:: HC_REST_ONLY
 608
 609     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 610     using ODL client for Restfconf -> Netconf translation.