Proxmox VE Administration Guide

284 Pages·2017·1.44 MB·English

P VE A G
ROXMOX DMINISTRATION UIDE
RELEASE 7.3
November 21, 2022
Proxmox Server Solutions GmbH
www.proxmox.com
ProxmoxVEAdministrationGuide ii
Copyright©2022ProxmoxServerSolutionsGmbH
Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free
DocumentationLicense,Version1.3oranylaterversionpublishedbytheFreeSoftwareFoundation;with
noInvariantSections,noFront-CoverTexts,andnoBack-CoverTexts.
Acopyofthelicenseisincludedinthesectionentitled"GNUFreeDocumentationLicense".
ProxmoxVEAdministrationGuide iii
Contents
1 Introduction 1
1.1 CentralManagement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 FlexibleStorage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 IntegratedBackupandRestore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 HighAvailabilityCluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 FlexibleNetworking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.6 IntegratedFirewall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.7 Hyper-convergedInfrastructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.7.1 BenefitsofaHyper-ConvergedInfrastructure(HCI)withProxmoxVE . . . . . . . . . . 4
1.7.2 Hyper-ConvergedInfrastructure: Storage . . . . . . . . . . . . . . . . . . . . . . . . 5
1.8 WhyOpenSource . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.9 YourbenefitswithProxmoxVE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.10 GettingHelp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.10.1 ProxmoxVEWiki . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.10.2 CommunitySupportForum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.10.3 MailingLists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.10.4 CommercialSupport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.10.5 BugTracker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.11 ProjectHistory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.12 ImprovingtheProxmoxVEDocumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.13 TranslatingProxmoxVE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.13.1 Translatingwithgit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.13.2 Translatingwithoutgit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.13.3 TestingtheTranslation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.13.4 SendingtheTranslation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
ProxmoxVEAdministrationGuide iv
2 InstallingProxmoxVE 10
2.1 SystemRequirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1 MinimumRequirements,forEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2 RecommendedSystemRequirements . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.3 SimplePerformanceOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.4 SupportedWebBrowsersforAccessingtheWebInterface . . . . . . . . . . . . . . . 11
2.2 PrepareInstallationMedia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.1 PrepareaUSBFlashDriveasInstallationMedium . . . . . . . . . . . . . . . . . . . 12
2.2.2 InstructionsforGNU/Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.3 InstructionsformacOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.4 InstructionsforWindows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 UsingtheProxmoxVEInstaller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.1 AdvancedLVMConfigurationOptions . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.2 AdvancedZFSConfigurationOptions . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.3 ZFSPerformanceTips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4 InstallProxmoxVEonDebian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3 HostSystemAdministration 24
3.1 PackageRepositories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.1.1 RepositoriesinProxmoxVE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.1.2 ProxmoxVEEnterpriseRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.1.3 ProxmoxVENo-SubscriptionRepository . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.1.4 ProxmoxVETestRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.1.5 CephQuincyRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.6 CephQuincyTestRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.7 CephPacificRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.8 CephPacificTestRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.9 CephOctopusRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.10 CephOctopusTestRepository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.11 SecureApt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2 SystemSoftwareUpdates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 NetworkConfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.1 ApplyNetworkChanges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.2 NamingConventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.3 Choosinganetworkconfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3.4 DefaultConfigurationusingaBridge . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
ProxmoxVEAdministrationGuide v
3.3.5 RoutedConfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.6 Masquerading(NAT)withiptables . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.7 LinuxBond . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3.8 VLAN802.1Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3.9 DisablingIPv6ontheNode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.10 DisablingMACLearningonaBridge . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4 TimeSynchronization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.1 UsingCustomNTPServers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5 ExternalMetricServer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5.1 Graphiteserverconfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5.2 Influxdbpluginconfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6 DiskHealthMonitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.7 LogicalVolumeManager(LVM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.7.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.7.2 Bootloader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.7.3 CreatingaVolumeGroup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.7.4 CreatinganextraLVfor/var/lib/vz . . . . . . . . . . . . . . . . . . . . . . . . 46
3.7.5 Resizingthethinpool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.7.6 CreateaLVM-thinpool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.8 ZFSonLinux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.8.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.8.2 InstallationasRootFileSystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.8.3 ZFSRAIDLevelConsiderations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.8.4 ZFSdRAID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.8.5 Bootloader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.8.6 ZFSAdministration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.8.7 ConfigureE-MailNotification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.8.8 LimitZFSMemoryUsage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.8.9 SWAPonZFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.8.10 EncryptedZFSDatasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.8.11 CompressioninZFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.8.12 ZFSSpecialDevice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.8.13 ZFSPoolFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.9 BTRFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.9.1 InstallationasRootFileSystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
ProxmoxVEAdministrationGuide vi
3.9.2 BTRFSAdministration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.10 ProxmoxNodeManagement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.10.1 Wake-on-LAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.10.2 TaskHistory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.10.3 BulkGuestPowerManagement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.10.4 FirstGuestBootDelay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.10.5 BulkGuestMigration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.11 CertificateManagement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.11.1 CertificatesforIntra-ClusterCommunication . . . . . . . . . . . . . . . . . . . . . . . 65
3.11.2 CertificatesforAPIandWebGUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.11.3 UploadCustomCertificate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.11.4 TrustedcertificatesviaLet’sEncrypt(ACME) . . . . . . . . . . . . . . . . . . . . . . 66
3.11.5 ACMEHTTPChallengePlugin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.11.6 ACMEDNSAPIChallengePlugin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.11.7 AutomaticrenewalofACMEcertificates . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.11.8 ACMEExampleswithpvenode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.12 HostBootloader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.12.1 PartitioningSchemeUsedbytheInstaller . . . . . . . . . . . . . . . . . . . . . . . . 73
3.12.2 SynchronizingthecontentoftheESPwithproxmox-boot-tool . . . . . . . . . . 73
3.12.3 DeterminewhichBootloaderisUsed . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.12.4 Grub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.12.5 Systemd-boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.12.6 EditingtheKernelCommandline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.12.7 OverridetheKernel-VersionfornextBoot . . . . . . . . . . . . . . . . . . . . . . . . 78
3.13 KernelSamepageMerging(KSM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.13.1 ImplicationsofKSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.13.2 DisablingKSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4 GraphicalUserInterface 80
4.1 Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.2 Login . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.3 GUIOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.3.1 Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3.2 MySettings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.3.3 ResourceTree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.3.4 LogPanel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
ProxmoxVEAdministrationGuide vii
4.4 ContentPanels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.4.1 Datacenter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.4.2 Nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.3 Guests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.4.4 Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.4.5 Pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.5 Tags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.5.1 Styling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.5.2 Permissions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5 ClusterManager 94
5.1 Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.2 PreparingNodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.3 CreateaCluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.3.1 CreateviaWebGUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.2 CreateviatheCommandLine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.3 MultipleClustersintheSameNetwork . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.4 AddingNodestotheCluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.4.1 JoinNodetoClusterviaGUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.4.2 JoinNodetoClusterviaCommandLine . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.4.3 AddingNodeswithSeparatedClusterNetwork . . . . . . . . . . . . . . . . . . . . . 99
5.5 RemoveaClusterNode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.5.1 SeparateaNodeWithoutReinstalling . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.6 Quorum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.7 ClusterNetwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.7.1 NetworkRequirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.7.2 SeparateClusterNetwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.7.3 CorosyncAddresses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.8 CorosyncRedundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.8.1 AddingRedundantLinksToAnExistingCluster . . . . . . . . . . . . . . . . . . . . . 107
5.9 RoleofSSHinProxmoxVEClusters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.10 CorosyncExternalVoteSupport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.10.1 QDeviceTechnicalOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.10.2 SupportedSetups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.10.3 QDevice-NetSetup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.10.4 FrequentlyAskedQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
ProxmoxVEAdministrationGuide viii
5.11 CorosyncConfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.11.1 Editcorosync.conf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.11.2 Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.11.3 CorosyncConfigurationGlossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.12 ClusterColdStart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.13 GuestVMIDAuto-Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.14 GuestMigration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.14.1 MigrationType . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.14.2 MigrationNetwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6 ProxmoxClusterFileSystem(pmxcfs) 117
6.1 POSIXCompatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.2 FileAccessRights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.3 Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.4 FileSystemLayout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.4.1 Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.4.2 Symboliclinks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.4.3 Specialstatusfilesfordebugging(JSON) . . . . . . . . . . . . . . . . . . . . . . . . 119
6.4.4 Enable/Disabledebugging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.5 Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.5.1 RemoveClusterConfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.5.2 Recovering/MovingGuestsfromFailedNodes . . . . . . . . . . . . . . . . . . . . . . 120
7 ProxmoxVEStorage 122
7.1 StorageTypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
7.1.1 ThinProvisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.2 StorageConfiguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.2.1 StoragePools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
7.2.2 CommonStorageProperties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
7.3 Volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.3.1 VolumeOwnership . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.4 UsingtheCommandLineInterface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.4.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.5 DirectoryBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.5.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
7.5.2 Filenamingconventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
ProxmoxVEAdministrationGuide ix
7.5.3 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
7.5.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.6 NFSBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.6.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
7.6.2 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
7.6.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
7.7 CIFSBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
7.7.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
7.7.2 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
7.7.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
7.8 ProxmoxBackupServer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.8.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.8.2 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.8.3 Encryption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.8.4 Example: AddStorageoverCLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.9 GlusterFSBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.9.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.9.2 Filenamingconventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.9.3 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.10 LocalZFSPoolBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.10.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
7.10.2 Filenamingconventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
7.10.3 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
7.10.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.11 LVMBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.11.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.11.2 Filenamingconventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.11.3 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.11.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.12 LVMthinBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7.12.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
7.12.2 Filenamingconventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
7.12.3 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
7.12.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.13 Open-iSCSIinitiator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
ProxmoxVEAdministrationGuide x
7.13.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.13.2 Filenamingconventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.13.3 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.13.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.14 UserModeiSCSIBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.14.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.14.2 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.15 CephRADOSBlockDevices(RBD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.15.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.15.2 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
7.15.3 Cephclientconfiguration(optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.15.4 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.16 CephFilesystem(CephFS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.16.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.16.2 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.16.3 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.17 BTRFSBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.17.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.17.2 Snapshots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.18 ZFSoverISCSIBackend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.18.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.18.2 StorageFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8 DeployHyper-ConvergedCephCluster 154
8.1 Precondition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
8.2 InitialCephInstallation&Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
8.2.1 UsingtheWeb-basedWizard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
8.2.2 CLIInstallationofCephPackages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.2.3 InitialCephconfigurationviaCLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.3 CephMonitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
8.3.1 CreateMonitors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
8.3.2 DestroyMonitors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.4 CephManager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.4.1 CreateManager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.4.2 DestroyManager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.5 CephOSDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162