afaaec4f2ff8c6c06dc6b8bcedaf42de96256ebb
[csit.git] / docs / report / introduction / test_environment_sut_conf_1.rst
1 SUT Settings - Linux
2 --------------------
3
4 System provisioning is done by combination of PXE boot unattented
5 install and
6 `Ansible <https://www.ansible.com>`_ described in `CSIT Testbed Setup`_.
7
8 Below a subset of the running configuration:
9
10 1. Xeon Haswell - Ubuntu 18.04.1 LTS
11
12 ::
13
14     $ lsb_release -a
15     No LSB modules are available.
16     Distributor ID: Ubuntu
17     Description:    Ubuntu 18.04.1 LTS
18     Release:        18.04
19     Codename:       bionic
20
21
22 2. Xeon Skylake - Ubuntu 18.04 LTS
23
24 ::
25
26     $ lsb_release -a
27     No LSB modules are available.
28     Distributor ID: Ubuntu
29     Description:    Ubuntu 18.04 LTS
30     Release:        18.04
31     Codename:       bionic
32
33 Linux Boot Parameters
34 ~~~~~~~~~~~~~~~~~~~~~
35
36 - **isolcpus=<cpu number>-<cpu number>** used for all cpu cores apart from
37   first core of each socket used for running VPP worker threads and Qemu/LXC
38   processes
39   https://www.kernel.org/doc/Documentation/admin-guide/kernel-parameters.txt
40 - **intel_pstate=disable** - [X86] Do not enable intel_pstate as the default
41   scaling driver for the supported processors. Intel P-State driver decide what
42   P-state (CPU core power state) to use based on requesting policy from the
43   cpufreq core. [X86 - Either 32-bit or 64-bit x86]
44   https://www.kernel.org/doc/Documentation/cpu-freq/intel-pstate.txt
45 - **nohz_full=<cpu number>-<cpu number>** - [KNL,BOOT] In kernels built with
46   CONFIG_NO_HZ_FULL=y, set the specified list of CPUs whose tick will be stopped
47   whenever possible. The boot CPU will be forced outside the range to maintain
48   the timekeeping. The CPUs in this range must also be included in the
49   rcu_nocbs= set. Specifies the adaptive-ticks CPU cores, causing kernel to
50   avoid sending scheduling-clock interrupts to listed cores as long as they have
51   a single runnable task. [KNL - Is a kernel start-up parameter, SMP - The
52   kernel is an SMP kernel].
53   https://www.kernel.org/doc/Documentation/timers/NO_HZ.txt
54 - **rcu_nocbs** - [KNL] In kernels built with CONFIG_RCU_NOCB_CPU=y, set the
55   specified list of CPUs to be no-callback CPUs, that never queue RCU callbacks
56   (read-copy update).
57   https://www.kernel.org/doc/Documentation/admin-guide/kernel-parameters.txt
58 - **numa_balancing=disable** - [KNL,X86] Disable automatic NUMA balancing.
59 - **intel_iommu=enable** - [DMAR] Enable Intel IOMMU driver (DMAR) option.
60 - **iommu=on, iommu=pt** - [x86, IA-64] Disable IOMMU bypass, using IOMMU for
61   PCI devices.
62 - **nmi_watchdog=0** - [KNL,BUGS=X86] Debugging features for SMP kernels. Turn
63   hardlockup detector in nmi_watchdog off.
64 - **nosoftlockup** - [KNL] Disable the soft-lockup detector.
65 - **tsc=reliable** - Disable clocksource stability checks for TSC.
66   [x86] reliable: mark tsc clocksource as reliable, this disables clocksource
67   verification at runtime, as well as the stability checks done at bootup.
68   Used to enable high-resolution timer mode on older hardware, and in
69   virtualized environment.
70 - **hpet=disable** - [X86-32,HPET] Disable HPET and use PIT instead.
71
72 Hugepages Configuration
73 ~~~~~~~~~~~~~~~~~~~~~~~
74
75 Huge pages are namaged via sysctl configuration located in
76 `/etc/sysctl.d/90-csit.conf` on each testbed. Default huge page size is 2M.
77 The exact amount of huge pages depends on testbed. All the values are defined
78 in `Ansible inventory - hosts` files.
79
80
81 Applied Boot Cmdline
82 ~~~~~~~~~~~~~~~~~~~~
83
84 1. Xeon Haswell - Ubuntu 18.04.1 LTS
85
86 ::
87
88     $ cat /proc/cmdline
89     BOOT_IMAGE=/vmlinuz-4.15.0-36-generic root=UUID=5d2ecc97-245b-4e94-b0ae-c3548567de19 ro isolcpus=1-17,19-35 nohz_full=1-17,19-35 rcu_nocbs=1-17,19-35 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0 console=ttyS0,115200n8
90
91 2. Xeon Skylake - Ubuntu 18.04 LTS
92
93 ::
94
95     $ cat /proc/cmdline
96     BOOT_IMAGE=/vmlinuz-4.15.0-23-generic root=UUID=3fa246fd-1b80-4361-bb90-f339a6bbed51 ro isolcpus=1-27,29-55,57-83,85-111 nohz_full=1-27,29-55,57-83,85-111 rcu_nocbs=1-27,29-55,57-83,85-111 numa_balancing=disable intel_pstate=disable intel_iommu=on iommu=pt nmi_watchdog=0 audit=0 nosoftlockup processor.max_cstate=1 intel_idle.max_cstate=1 hpet=disable tsc=reliable mce=off console=tty0 console=ttyS0,115200n8
97
98

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.