실은 HNV를 좀 과도하게 TEST 하면서 이것 저것 손댔더니…

Blue01,02 Red 01.02 등 이미 제거해버린 VM에 대한 Lookup 레코드가 확인 되고, 실제 내가 테스트 하고자하는 VM들의 Lookup 레코드는 등록이 않됨…
실은 문제 원인을 찾아 해결해야 했으나 임시 방편으로 호스트를 SCVMM에 재 등록하여 문제 해결…

아 잠잘 시간도 부족한데… 좀 더 원인 규명을 위해 나둘껄 그랬나… 싶다…
이젠 설정이 깨끗하게 초기화 됨

여튼 초기화 한 후 VM 새로 고침하니 잘 올라옴
(VM 새로 고침 하게 되면 SCVMM의 네트워크 정책이 호스트에 전달됨)

문제 해결은 완료.

기분은 마치… 라우팅 테이블 날려 먹어서 초기화 시킨 그런 기분…
뭐 스크립트로 설정 복원은 손쉽게 했지만…

PS. 제대로 작업할려면 아마 아래와 같이 했어야 했을 듯…
먼저 SCVMM의 정보와 비교 해보고

실제 호스트에서 레코드 확인 한 후 지워도 된다는 판단이 서면!

과감하게 삭제!

그리고 SCVMM에서 다시 업데이트를…

시스템을 구축하다보니 생각치도 않은 오류에 시간을 허비하게 되네요.
오늘은 제가 경험한 이슈 하나를 공유 하고자 합니다.

해당 작업은 Windows Server 2012 R2 부터 지원하는 Windows Server 멀티 테넌트 게이트웨이를 SCVMM에 등록하는 작업에서 발생했는데요. 실은 이 작업의 경우 작업하는 과정에서 있어 Frontend (인터넷 접속 구간)과 Backend (내부 가상화 네트워크 접속 구간)의 정의를 진행해야 합니다.

저는 그 과정에서 아래와 같은 오류를 만났고 생각 보다 쉽게 (실은 낮 시간은 바빠서 제대로 확인 못하다가 이 늦은 시간에) 해결했습니다… :)

그럼 즐~ Trouble shooting!

[현상]
하기와 같은 작업이 미완료되는 경우 Gateway에서 멀티 테넌트를 지원하지 못해 기능상 큰 문제가 발생하게 됨

"오류(21426)
구성 공급자 4ee559f1-f479-480c-9458-d14b8b1c1779에 대해 Microsoft.SystemCenter.NetworkService::InstallDeviceConnection을(를) 실행하지 못했습니다. 상세한 예외: Microsoft.VirtualManager.Utils.CarmineException: 다중 테넌시 모드를 지원하도록 원격 액세스 서버를 설정할 수 없습니다. (WS-Management 서비스가 요청을 처리할 수 없습니다. root/Microsoft/Windows/RemoteAccess 네임스페이스에 PS_RemoteAccess 클래스가 없습니다. ).
원격 액세스 서버에서 문제를 수정하고 작업을 다시 시도하십시오.

권장 작업
구성 공급자 문서를 확인하거나 게시자에게 지원을 문의하십시오. “

[원인]
실제로 해당 클래스를 확인 할 수 없음
- Wbemtest에서 클래스 열거 진행

[조치 사항]
확인 결과 Gateway VM에서 실제로 Powershell용 원격 모듈을 확인 할 수 없었음

[결과]
아래와 같이 Backend Connection이 추가됨을 확인함

먼저 분류 및 풀의 모습입니다.
보시는 것과 같이 Mirror 볼륨부터 시작해서 Parity까지 다양하게 만들어봤습니다.

실은 Storage는 Cloud 입장에서 특히 추상화된 인프라의 입장에서는 Size와 성능으로 단순화 됩니다.
실제로는 구체적이고 복잡하지만 Classification 된 Tag만을 Cloud에 할당하게 되는 것이죠.
아래는 실제 Cloud에 할당한 화면 입니다.

실제 구현된 Cluster 명은 아래와 같습니다.
Cluster의 CNO가 공급자로 등록 됩니다.

배열에서는 Array에는 JBOD 즉 Enclosure의 전체 모습을 확인 할 수 있습니다.

실제로 Hyper-v Host에 배포되는 파일 공유의 모습입니다.

마지막으로 클러스터에 등록해 놓은 파일 공유 입니다.
 

감사합니다.

SCVMM 관련 작업 리스트

1. Library 위치를 변경
기본이 C:\이기 때문에서 새로 구성해줘야 함

2. Logical Network 생성
Site 및 IP풀 까지 설정

3. Logical Switch 생성

4. WDS, DNS, DHCP 설치 (BMD 전용)

5. BMD
- BMC 네트워크 설정 진행 (예 : iLO)
- Hyper-v, SOFS
- PXE 부팅 되는 영역 즉 초기에 DHCP로 IP를 할당 받는 영역의 IP 대역과 Host 관리하는 대역은 절대 IP 대역이 달라야함, 또한 이를 위해서 SCVMM에 DNS 서버 설치 필요
(BMD시 SCVMM의 PXE 부트 영역 IP 대역을 할당 받기 위함)

6. RunAsAccount 등록
- Domain Account
- BMD Account
- Storage Account

7. PDT로 배포 했던 Host Domain에 등록 후 SCVMM에 등록

8. System Center VM NIC의 VMNetwork를 기존의 Legacy에서 Corp (관리 네트워크)로 변경
$VMPriNet=Get-SCVMNetwork | Where-Object{$_.Name -like "vPrivate"}
$VMNIC=Get-SCVirtualNetworkAdapter -All | Where-Object {$_.VMNetwork -eq $VMPriNet}
$VMCorpNet=Get-SCVMNetwork | Where-Object {$_.Name -like "VN-Corp"}
Foreach ($i in $VMNIC) {Set-SCVirtualNetworkAdapter -VirtualNetworkAdapter $i -VMNetwork $VMCorpNet}

9. System Center VM을 잘 관리된 (BMD로 배포한) 호스트 클러스터로 이전 (고가용성 확보)
$VMsToMove=Get-SCVirtualMachine | Where-Object {$_.VMHost -eq (Get-VMHost KrInfraTDIHv02)}
$vmHost = Get-SCVMHost | where { $_.Name -eq "hvcompute02.krinfra.lab"}
Foreach ($vm in $VMsToMove)
{
    $virtualNetworkAdapter = Get-SCVirtualNetworkAdapter –Name $vm
    $vmNetwork = Get-SCVMNetwork -Name "VN-Corp"
    $portClassification = Get-SCPortClassification -Name "높은 대역폭"
    Set-SCVirtualNetworkAdapter -VirtualNetworkAdapter $virtualNetworkAdapter -VirtualNetwork "LS-Default" -VMNetwork $vmNetwork -PortClassification $portClassification -IPv4AddressType "Static" -IPv6AddressType "Dynamic" –RunAsynchronously
    Move-SCVirtualMachine -VM $vm -VMHost $vmHost -HighlyAvailable $true -UseLAN -RunAsynchronously -UseDiffDiskOptimization -Path \\FS01-DNN.Krinfra.lab\Normal
}

(한방에~)

자 오늘은 여기까지만 설정 합니다.
오후에 고객사를 가봐야 해서…

먼저 Downloader.ps1을 실행 하여 설치 파일을 다운 로드 받습니다.
이미 Variable.xml에 정의해 놓은 바와 같이 C:\Installer에 다운로드 됩니다.

이미 이전 Post (http://maystyle.tistory.com/574) 같이 System Center의 경우 다운로드를 받지 않기 때문에 사전에 다운 로드 받아서 압축을 풀어 주셔야 합니다.

* 아래 폴더 구조 참고
 

물론 Windows Server 역시도 마찮가지 입니다.

* 아래 폴더 구조 참고

아 참 Windows Server의 경우 iSO 이미지를 넣는게 아니라 실제 파일을 넣어 주셔야 하니 잊지 마세요.

물론 기본 설치 용도로 사용할 Sysprep 된 Windows 이미지도 필요한데 (WS2012 및 WS2K8R2) Windows 2008은 Service Manager의 Sharepoint 때문에 사용하고 있어요.
설치 이미지가 있다면 간단하게 생성할 수 있습니다.
참고 : http://maystyle.tistory.com/575

제가 배포에 사용한 variable.xml 은 다음과 같습니다.
총 19대의 VM이 배포가 되며 배포 범위는 AD에서부터 System Center 전 제품 및 Windows Azure Pack (Tenant Portal 과 Admin Portal을 분리 배포 하는 방식) 입니다.

* 동시에 설치되는 System Center feature (Windows Azure Pack 포함)

* 10개 컴포넌트 구성을 위한 총 48개의 Role (DC 포함)이 19개의 VM에 분산 설치됨
* 첨자 참고 (A:Application Server, W:Web, D:Database, E:기타, WAP:Windows Azure Pack)

준비가 완료 됐나요?
자 이제 설치 하겠습니다.
”VMCreator.ps1”

VM이 생성되어 배포 되고 나면 아래와 같이 P-DC01 (일반적으로 Domain Controller)에서 System Center 컴포넌트들이 설치되는 것을 확인 할 수 있습니다.

한 호스트에 배포할 때 성능에 따라 약간의 에러가 있을 수 있습니다.
저도 완벽한 Variable.xml을 만들고 두 번째 시도만에 완전 성공했습니다.

참고 :
설치용 Password에 $는 넣지 마세요…ㅜㅜ
어느 코드에서 문제 생겼는지는 알지만 고치고 난 후 또 이 TEST를 진행해야 생각하니… 후덜덜 하네요.
나중에 생각해 봐야죠…ㅋ

이미 아시는 것과 같이 VHDX나 VHD는 하이퍼 브이 호스트에 직접 붙여 줄 수 있습니다.
실은 제가 Unattend.xml 때문에 꽤나 애를 먹었는데, 알고 보니 배포 시 발생하는 에러를 해당 VM의 Local Disk에 기록해 주더군요.

즉 배포에서 문제가 발생한 VM이 있었다면 해당 VM의 C:\에 해당 하는 VHDX를 하이퍼 브이 호스트에 직접 붙여 로그를 확인해 볼 수 있다는 거죠.

로그 위치는 %SystemDrive%\Windows\Panther 입니다.

즐거운 Private Cloud!

OS 설치 미디어에는 Install.wim 이라고 하는 설치 이미지가 있습니다.
전 이 설치 이미지로 부터 바로 VHDX를 추출하여 Sysprep된 이미지로 사용토록 하겠습니다.

툴이 필요한데요. “http://gallery.technet.microsoft.com/scriptcenter/Convert-WindowsImageps1-0fe23a8f”

어렵게 변환할 필요 없이 –ShowUI 옵션을…

안녕하세요.

이미 여러분도 아시는 것과 같이 PDT을 이용하면 System Center을 한번에 설치 할 수 있을 뿐 아니라 System Center Component 간의 Integration까지 완료 해주죠.

잠깐 PDT란?
- Private Cloud 를 구현하는데 있어 System Center의 설치 및 연동 작업처럼 쉽지 않고 시간이 많이 드는 작업이 없습니다. PDT는 Powershell Deployment Toolkit 의 약자로 필요한 컴포넌트를 마음대로 약간의 Customize 만으로 배포 할 수 있습니다. (물론 기존 도메인에 배포 또는 신규 도메인에 배포까지도 지원하고 필요한 컴포넌트들에 대한 고 가용성 구현까지 지원 합니다.)

다만 아쉬운 점이 있었다면 “한글”이 지원되지 않는다는 점이였습니다.
그런데 최근에 저희 팀에 정훈형님께서 일부 스크립트를 수정해서 한글이 가능하게 됐습니다.
자 그럼 지금부터 PDT 한글 버전을 살펴 보도록 하겠습니다.
(실은 제게 시켰는데… 제가 게을러서… 질질 끌었더니 정훈형님이 뚝딱!)

“한글 버전 System Center 배포가 가능한 PDT 다운로드 클릭”

먼저 필요한 사전 작업은 아래와 같습니다.
1. Hyper-v Host를 먼저 한 대 준비합니다.
2. WinRAR를 설치 합니다.
3. PowerShell 실행 정책을 풀어 줍니다. (작업이 끝나면 다시 올려줘야 겠죠? RemoteSigned로)

자 그 다음아래와 같이 읽기 전용 속성을 풀어 줍니다.

자 설치 이전에 가장 먼저 해야 하는 작업은 바로 Variable.xml을 편집하는 작업 입니다.
실은 제가 글을 쓰는 이유도 바로 Variable.xml을 설명하기 위해서죠.

실제 PDT는 아래와 같은 파일로 이루어져 있습니다.

위의 그림에서 보시는 바와 같이 바로 Variable.xml이 Deployment 시나리오를 설정하는 부분이며 실제로 여러분들 환경에 맞춘 시나리오로 Cloud OS (앞으로 System Center, Hyper-v, Azure을 합쳐 Cloud OS 시나리오라 부르겠습니다.)를 구현하기 위해서 편집해야 하는 파일 입니다.

자 그럼 Variable.xml을 한번 볼까요?
가장 상단에 위치한 정보 입니다.

<Installer version="2.0">
  <Variable Name="RegisteredUser" Value="Microsoft Corporation" />
  <Variable Name="RegisteredOrganization" Value="Microsoft Corporation" />
  <Variable Name="InstallerServiceAccount" Value="contoso\!Installer" />
  <Variable Name="InstallerServiceAccountPassword" Value="Passw0rd" />
  <Variable Name="SourcePath" Value="$SystemDrive\Temp" />
  <Variable Name="Download" Value="C:\Installer" />

실제로 편집 가능한 내용이 보이시죠?
설치 계정 및 설치 시 소스 파일의 위치 등에 대한 정보를 기록하게 됩니다.

실은 이 XML 파일을 Root에 확인해 보면 아래와 같은 4가지 주요 테이블로 이루어져 있음을 알 수 있습니다.
(XML파일을 보고 직접 설명해 드려야 하나 TEXT 파일을 읽는 것 차체가 쉽지 않아 보여 Tool을 이용해 Table로 표현 하였습니다.

- Components
각 System Center Role 별로 여러 가지 설치 관련 정보들을 기록합니다.
예를 들어 “설치 위치”, “서비스 계정”등을 정의 합니다.

- Roles
System Center는 여러 Component로 이루어져 있는데, 이에 대한 설치 서버 정보 및 SQL Server 관련 설정 등등이 등록되어 있습니다.

- SQL
SQL 설치 관련 정보들이 등록되어 있습니다.

-VMs
실제로 배포 되는 VM에 대한 설정입니다. 예를 들어 Dynamic Disk를 쓸 것인지 혹은 Diff Disk를 쓸것인지 다이나믹 메모리를 쓸것인지 등이 등록되어 있습니다.
 

자 구체적으로 VM에는 어떤 정보가 들어가 있을까요?
한번 VM 중 Count 4번의 XML을 직접 들여다 볼까요?

     <VM Count="4">
      <VMName>P-VMM01</VMName> “VM 이름”
      <OSDisk>
        <Parent>C:\VMs\WS2012R2-KR-G1.vhdx</Parent> “VHD 관련 정보”
        <Type>Differencing</Type>
      </OSDisk>
      <Host>node01</Host> “설치된 호스트 서버 명”
      <VMFolder>c:\VMs</VMFolder> “설치 위치”
      <VHDFolder>c:\VMs</VHDFolder> “VHD 위치”
      <NetworkAdapter>
        <VirtualSwitch>CNA Logical Switch</VirtualSwitch> “VM network switch 이름”
      </NetworkAdapter>
      <Memory> “메모리 설정”
        <Startup>2048</Startup>
        <Minimum>2048</Minimum>
        <Maximum>2048</Maximum>
        <Buffer>20</Buffer>
      </Memory>
    </VM>

어때요? 별로 어렵지 않죠?
만약 Diff 형태의 Disk를 쓰지 않고 Dynamic Disk를 쓰시고 싶다면 단순하게 아래의 Differencing 을 Copy만 바꿔 주면 됩니다. 뭐 이런 형태로 편집해서 쓰는거죠.

        <Parent>C:\VMs\WS2012R2-KR-G1.vhdx</Parent> “VHD 관련 정보”
        <Type>Copy</Type>

Variable.xml을 편집하여 여러분의 입맛에 맞는 시나리오로 배포가 가능합니다.
그럼 지금 바로 TEST 해보시겠어요?

저는 VM 이름이 너무 알아먹기 어려워서 VM명 및 성능을 위한 Disk Type만을 Copy로 변경 했습니다.
컴퓨터 이름을 어떻게 줬냐구요?
아래와 같이 DB-Role로 줬어요. 원래는 P-DB01, P-DB02 형식이라 알아 보기 어려웠거든요.

자 모든 준비가 끝났나요? 그럼 Downloader.ps1을 실행 하고 VMCreator.ps1을 실행하여 CloudOS를 배포해 보자구요… : )

PS. WS2012, WS2012R2와 SYSTEM CENTER 2012R2는 직업 다운 받아 C:\Installer에 넣어주셔야 해요.