[ Unity / AR ] 카메라로 평면을 인식하여 3D Object 배치하기

제가 어쩌다 유니티를 하게 되었을까요..........

 

📷 AR Foundation이란?

유니티는 크로스 플랫폼을 지원하는 AR 플랫폼을 만들기 위해 AR Foundation 프레임워크를 제공한다.

AR Foundation은 ARKit, ARCore, Magic Leap, GoloLens의 공통된 기능들을 추상화해서 하나의 패키지로 만든 것으로, 내부적으로 ARKit와 ARCore가 모두 통합되어서 들어가 있기 때문에 android, iOS 두가지 형태의 AR 앱을 제작 할 수 있는 것이다.

즉, AR Foundation으로 앱을 빌드하면 어떤 기기든 상관없이 각 플랫폼에서 지원하는 기능들을 활용할 수 있다!

 

 

---

📷 AR Foundation 작동 과정

AR은 아래 과정을 통해 작동한다.

1. AR Session을 요청한다.
2. 카메라 하드웨어를 켠다.
3. IMU 하드웨어를 켠다.
4. 카메라와 Motion Sensor는 AR Frame마다 값을 업데이트한다.
5. AR Session이 열린다. => Session이 열린 순간의 카메라 위치를 원점으로 가상 월드 좌표계가 형성된다.
6. 그 좌표계에서 VIO를 통해 현재 카메라의 위치와 회전값을 업데이트한다.
7. 카메라 이미지를 분석해서, 물체를 감지한다.
8. (등록된 사물이 아니면) 새로운 앵커를 만들어서 사물을 위치시킨다.
9. (이미 등록된 사물이면) 업데이트 또는 병합한다.
10. 7~9 과정을 반복한다.

 [출처] https://zerosin13.tistory.com/30

 

 

---

📷 AR Foundation 세팅

+ Unity Student Plan을 신청하면 무료로 Unity Pro 버전을 이용할 수 있습니다. 이 때 인증 서류를 업로드 하라고 하는데,, 돈 내기 싫어서 아 몰랑 하고 한글로 된 등록금납입확인서 pdf를 올렸더니, 영어가 아니라 2-3일 정도 소요되긴 하지만 무사히 accept 되었답니다~! 한글 파일도 된다는 꿀팁!

 

 

킹갓짱황선생님께서 올려주신 영상을 참고하면 아주 쉽게 진행할 수 있다!

1. AR Foundation 설치

2. 빌드 설정

 

3. AR 초기 환경 세팅

AR Foundation을 설치하면 XR 항목이 생김

AR Session과 AR Session Origin을 설정해야 한다.

 

AR Session은 기기의 카메라, 센서, AR 플랫폼(ex. ARCore)과 연결되어 실제 환경을 추적하고 상호작용을 가능하게 하는 AR 세션을 관리하는 역할을 한다. AR의 전체적인 라이프사이클을 관리하고, AR 지원 가능 여부, Session 실행 여부 등을 관리하는 것이 주요 역할이다. AR 앱을 만들기 위해서 반드시 추가해야 하는 요소이다!

 

AR Session Origin은 AR 요소들을 Unity 공간에 transformation 하기 위해 필요한 컴포넌트로, 모든 요소들의 scale을 조정할 때 많이 사용한다(scene의 모든 요소들을 이동시키는 대신, 카메라를 움직이는 느낌). 하위에 AR Camera가 포함되어 있는데, 사용자 입장에서는 AR Session Origin==실제 카메라의 위치 라고 여겨진다. 따라서 이를 추가하면 기존에 있던 Main Camera는 삭제해야 한다.

 

4. 빌드

영상을 그대로 따라하고 빌드를 했는데, 앱 설치 완료 후 카메라 권한을 허용하면 앱이 바로 종료되는 현상이 발생했다.

이를 해결하는 방법은 아래와 같다.

build setting - player - other setting

Project - Player - other settings 에서

• Scripting Backend를 IL2CPP로 변경한다.
• Api Compatibility Level을 .Net Standard 2.1로 변경한다.
• Target Architectures에 ARM64를 체크한다. (ARM v7은 원래 체크되어 있길래 놔뒀는데, 다른 블로그를 보면 체크 해제하라는 말도 있고.. 아직 잘 모르겠다)

 

---

📷 평면 인식

AR Session이 모든 것의 기준점이 되므로, 이 내부에 컴포넌트를 추가하면 된다.

 

1. Hierarchy - Scene의 하위에 XR - AR Default Point Cloud, AR Default Plane 추가

• AR Default Point Cloud
  • 영상에서 얻어지는 특징점들을 노란색 포인트로 표시하는 컴포넌트
• AR Default Plane
  • AR Default Point Cloud에서 찾은 특징점들을 기반으로 해서 평면을 찾는 컴포넌트

2. AR Session에 연결

1. Add Component - AR Point Cloud Manager 추가
2. Scene에 추가해놓은 AR Default Point Cloud를 Prefeb에 연결
3. ⇒ 알아서 인식된 point cloud가 카메라를 중점으로 해서 데이터를 보여줌
4. Add Component - AR Plane Manager 추가
5. Scene에 추가해놓은 AR Default Plane를 Prefeb에 연결

 

 

---

📷 평면에 3D Object 배치

AR Raycast Manager을 이용해서 ray를 쏘고, ray가 닿는 그 공간에 3D object를 배치해보자!

 

1. AR Session - Add Component - AR Raycast Manager 추가

• Raycast란,
  • 3차원 공간에서 어느 한 점에서 ray를 정해진 방향으로 쏴서 ray와 충돌되는 객체를 구하는 방법
  • Unity Physics에 이미 Raycast 인터페이스가 정의되어 있음

    

    Unity Physics에 이미 정의된 Raycast 인터페이스

  • 그러나 AR의 감지 가능한 object가 반드시 물리적 공간에만 존재하는 게 아니기 때문에, AR Foundation에서는 Raycast와 비슷한 별도의 인터페이스를 제공하고 있음
• ARRaycastManager.cs의 Raycast 함수 사용
  • screenPoint, hitResults, TrackableType을 이용해서 공간 상에 있는 어떤 오브젝트들을 ray를 쏴서 확인하고, 그 오브젝트들을 반환 받는 일을 하는 함수

2. Import New Asset - .obj / .fbx 파일 import 후 Scene에 배치

 

3. Hierarchy - Scene의 하위에 Empty object 추가

1. Add Component - ARPlaceOnPlane script 추가
   • 어느 공간에 ray를 쏠건지, 반환된 객체가 있다면 그 객체를 어떤 식으로 사용할 건지 핸들링 하는 코드 작성

ARPlaceOnPlane script 작성 후 Raycaster, Object 연결

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.XR.ARFoundation;
using UnityEngine.XR.ARSubsystems;

public class ARPlaceOnPlane : MonoBehaviour
{
    public ARRaycastManager arRaycaster;
    public GameObject placeObject;

    // Start is called before the first frame update
    void Start()
    {
        
    }

    // Update is called once per frame
    void Update()
    {
        UpdateCenterObject();
    }

    private void UpdateCenterObject() 
    {
        Vector3 ScreenCenter = Camera.current.ViewportToScreenPoint(new Vector3(0.5f, 0.5f));
        
        List<ARRaycastHit> hits = new List<ARRaycastHit>();
        arRaycaster.Raycast(ScreenCenter, hits, TrackableType.Planes);
        
        if(hits.Count > 0)
        {
            Pose placementPose = hits[0].pose;
            placeObject.SetActive(true);
            placeObject.transform.SetPositionAndRotation(placementPose.position, placementPose.rotation);
        }
    }
}

• 필드
  • ARRaycastManager을 public으로 선언
    • unity editor에서 AR Session Origin을 연결
  • 어떤 object를 배치할건지 선정하는 placeObject 객체를 public으로 선언
    • unity editor에서 Scene에 배치한 3D object를 연결
• UpdateCenterObject
  • 화면의 센터 부분에 object를 매 프레임마다 위치시키는 함수
  • Vector3 ScreenCenter = Camera.current.ViewportToScreenPoint(new Vector3(0.5f, 0.5f));
    • screen의 center point 받아옴
    • ViewportToScreenPoint : point를 viewport 좌표에서 screen 좌표로 변환
  • arRaycaster.Raycast(ScreenCenter, hits, TrackableType.Planes);
    • Raycast(어디 방향으로 ray를 쏠건지, ray를 쏴서 충돌되는 객체들을 list 형태로 반환(, trackable object type 지정))
    • ScreenCenter 방향으로 ray를 쏘고, Planes이라는 객체에 ray가 닿으면 hits에 그 객체를 반환 받음
  • if(hits.Count > 0)
    • 뭔가 부딪힌 객체가 있으면 거기에 배치하자
  • Pose placementPose = hits[0].pose;
    • ray에 부딪힌 객체 중 가장 먼저 부딪힌 객체의 위치를 placementPose에 저장
  • placeObject.SetActive(true);
    • 안 보이던 3D object를 눈에 보이게 바꿈
  • placeObject.transform.SetPositionAndRotation(placementPose.position, placementPose.rotation);
    • 3D object의 위치(position과 rotation) 설정

 

---

📷 결과

plane으로 인식된 곳에 3D object가 배치되고, 카메라 방향에 따라 물체의 위치가 바뀐다!