فاصله از دوربین در واقعیت افزوده

فاصله از دوربین در واقعیت افزوده

در این آموزش ، ما به کتابخانه ARCore که توسط Google معرفی شده ، می پردازیم. ابتدا کتابخانه ARCore را مرور کلی خواهیم کرد. پس از آن ، یک برنامه آندرویدی نمونه برای بدست آوردن فاصله یک شی از دوربین می سازیم. در یک آموزش دیگر (استفاده از واقعیت افزوده در اندروید با ARCore) برنامه نمونه ای با  ARCore ساختیم. در این آموزش به موضوع فاصله از دوربین به طور خاص می پردازیم.

اصول ARCore

واقعیت افزوده به ما امکان می دهد اشیای  مجازی را در یک محیط دنیای واقعی نشان دهیم و امکان تعامل با آنها را فراهم کنیم.

نیازمندی های ARCore :

• +Android N
• +OpenGL 3.0

مهارت برنامه نویسی گرافیکی با OpenGL 3d ضروری نیست زیرا کتابخانه ساده تر Sceneform SDK با همان کاربرد معرفی شده است.

Sceneform  به ما امکان می دهد مدل های سه بعدی ایجاد کنیم. Sceneform   از کلاسهای ShapeFactory و MaterialFactory  تشکیل شده است که به ما امکان می دهد اشیای قابل پردازش از اشکال و مواد ساده ایجاد کنیم.

همانطور که بعداً در این آموزش خواهیم دید اشکالی مانند کره ، مکعب و استوانه را به راحتی می توانیم ایجاد کنیم.

ARFragment  برای ایجاد  Ar Scene و AR Session استفاده می شود (هر دو به طور خودکار ایجاد می شوند).

همچنین با استفاده از ARFragment سطح ها یا نقاط مشخصه را تشخیص می دهیم.

setOnTapArPlaneListener  در ArFragment تنظیم شده است تا هر زمان که رویداد کلیک اتفاق می افتد ، به تغییرات واکنش دهد.

تعدادی از اصطلاحاتی که هسته ARCore را تشکیل می دهد در زیر با توضیحات ذکر شده است:

• Scene (صحنه) : همان جایی است که اشیا سه بعدی (3d) ما ارائه می شوند.
• HitResult : پس از ضربه (کلیک) ،  موقعیت یک شی واقعی را برای ما فراهم می کند. اساساً ، موقعیت را با یافتن اولین نقطه تقاطع با یک پرتوی نوری فرضی از بی نهایت تخمین می زند.
• Anchor (لنگر) : مکانی ثابت در دنیای واقعی مشخص شده با مختصات x و y و z در فضای سه بعدی ، درست مثل لنگر کشتی برای اتصال می تواند استفاده شود.
• Pose (قرارگیری) : موقعیت و جهت شی را در صحنه مشخص می کند.
• AnchorNode : این گره ای است که به طور خودکار در جهان قرار می گیرد و اولین گره ای است که با شناسایی سطح تنظیم می شود.
• TransformableNode  : این گره جایی است که ما شی سه بعدی خود را تنظیم می کنیم. این گره می تواند با توجه به تعاملات کاربر ، تغییر اندازه ، تبدیل و چرخش داشته باشد.

در بخش بعدی ، برنامه ای را توسعه خواهیم داد که در آن فاصله یک شی از ما یعنی دوربین را محاسبه خواهیم کرد.

چگونه این کار انجام می شود؟

هنگامی که یک شی را در سطح قرار دادیم ، می دانیم که یک pose (قرارگیری) است. با تغییر صحنه ی ما ، فریم به روز می شود. از فریم می توان pose (قرارگیری) دوربین را گرفت. حالا که ما دو pose داریم ، فاصله بین آنها فقط یک فرمول ریاضی است (یکی از این قرارگیری ها مربوط به شی و دیگری مربوط به دوربین است).

ساختار پروژه نمونه

نیازمندی زیر را به build.gradle اضافه کنید:

implementation 'com.google.ar.sceneform.ux:sceneform-ux:1.10.0'

در فایل AndroidManifest باید موارد زیر را اضافه کنیم:

<uses-permission android:name="android.permission.CAMERA" />
    <uses-feature
        android:name="android.hardware.camera.ar"
        android:required="true" />

داخل تگ application تگِ زیر را اضافه کنید:

<meta-data
                android:name="com.google.ar.core"
                android:value="required" />

پیاده سازی برنامه

کد مربوط به activity_main.xml در زیر آورده شده است:

<?xml version="1.0" encoding="utf-8"?>
<FrameLayout xmlns:android="https://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent">

    <fragment
        android:id="@+id/ux_fragment"
        android:name="com.google.ar.sceneform.ux.ArFragment"
        android:layout_width="match_parent"
        android:layout_height="match_parent" />

    <TextView
        android:id="@+id/tvDistance"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_gravity="bottom"
        android:background="@android:color/black"
        android:gravity="center"
        android:padding="8dp"
        android:text="Distance from camera"
        android:textColor="@android:color/white"
        android:textSize="20sp" />

</FrameLayout>

کد MainActivity.java در زیر آورده شده است:

// clicksite.ir@gmail.com
package com.m.clicksite.cameradistance;

import androidx.appcompat.app.AppCompatActivity;

import android.app.Activity;
import android.app.ActivityManager;
import android.content.Context;
import android.os.Bundle;
import android.util.Log;
import android.widget.TextView;
import android.widget.Toast;

import com.google.ar.core.Anchor;
import com.google.ar.core.Frame;
import com.google.ar.core.Pose;
import com.google.ar.sceneform.AnchorNode;
import com.google.ar.sceneform.FrameTime;
import com.google.ar.sceneform.Scene;
import com.google.ar.sceneform.math.Vector3;
import com.google.ar.sceneform.rendering.Color;
import com.google.ar.sceneform.rendering.MaterialFactory;
import com.google.ar.sceneform.rendering.ModelRenderable;
import com.google.ar.sceneform.rendering.ShapeFactory;
import com.google.ar.sceneform.ux.ArFragment;
import com.google.ar.sceneform.ux.TransformableNode;

import java.util.Objects;

public class MainActivity extends AppCompatActivity implements Scene.OnUpdateListener {


    private static final double MIN_OPENGL_VERSION = 3.0;
    private static final String TAG = MainActivity.class.getSimpleName();

    private ArFragment arFragment;
    private AnchorNode currentAnchorNode;
    private TextView tvDistance;
    ModelRenderable cubeRenderable;
    private Anchor currentAnchor = null;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);

        if (!checkIsSupportedDeviceOrFinish(this)) {
            Toast.makeText(getApplicationContext(), "Device not supported", Toast.LENGTH_LONG).show();
        }

        setContentView(R.layout.activity_main);

        arFragment = (ArFragment) getSupportFragmentManager().findFragmentById(R.id.ux_fragment);
        tvDistance = findViewById(R.id.tvDistance);


        initModel();

        arFragment.setOnTapArPlaneListener((hitResult, plane, motionEvent) -> {
            if (cubeRenderable == null)
                return;

            // Creating Anchor.
            Anchor anchor = hitResult.createAnchor();
            AnchorNode anchorNode = new AnchorNode(anchor);
            anchorNode.setParent(arFragment.getArSceneView().getScene());

            clearAnchor();

            currentAnchor = anchor;
            currentAnchorNode = anchorNode;


            TransformableNode node = new TransformableNode(arFragment.getTransformationSystem());
            node.setRenderable(cubeRenderable);
            node.setParent(anchorNode);
            arFragment.getArSceneView().getScene().addOnUpdateListener(this);
            arFragment.getArSceneView().getScene().addChild(anchorNode);
            node.select();


        });


    }

    public boolean checkIsSupportedDeviceOrFinish(final Activity activity) {

        String openGlVersionString =
                ((ActivityManager) Objects.requireNonNull(activity.getSystemService(Context.ACTIVITY_SERVICE)))
                        .getDeviceConfigurationInfo()
                        .getGlEsVersion();
        if (Double.parseDouble(openGlVersionString) < MIN_OPENGL_VERSION) {
            Log.e(TAG, "Sceneform requires OpenGL ES 3.0 later");
            Toast.makeText(activity, "Sceneform requires OpenGL ES 3.0 or later", Toast.LENGTH_LONG)
                    .show();
            activity.finish();
            return false;
        }
        return true;
    }

    private void initModel() {
        MaterialFactory.makeTransparentWithColor(this, new Color(android.graphics.Color.RED))
                .thenAccept(
                        material -> {
                            Vector3 vector3 = new Vector3(0.05f, 0.01f, 0.01f);
                            cubeRenderable = ShapeFactory.makeCube(vector3, Vector3.zero(), material);
                            cubeRenderable.setShadowCaster(false);
                            cubeRenderable.setShadowReceiver(false);
                        });
    }

    private void clearAnchor() {
        currentAnchor = null;


        if (currentAnchorNode != null) {
            arFragment.getArSceneView().getScene().removeChild(currentAnchorNode);
            currentAnchorNode.getAnchor().detach();
            currentAnchorNode.setParent(null);
            currentAnchorNode = null;
        }
    }

    @Override
    public void onUpdate(FrameTime frameTime) {
        Frame frame = arFragment.getArSceneView().getArFrame();

        Log.d("API123", "onUpdateframe... current anchor node " + (currentAnchorNode == null));


        if (currentAnchorNode != null) {
            Pose objectPose = currentAnchor.getPose();
            Pose cameraPose = frame.getCamera().getPose();

            float dx = objectPose.tx() - cameraPose.tx();
            float dy = objectPose.ty() - cameraPose.ty();
            float dz = objectPose.tz() - cameraPose.tz();

            ///Compute the straight-line distance.
            float distanceMeters = (float) Math.sqrt(dx * dx + dy * dy + dz * dz);
            tvDistance.setText("Distance from camera: " + distanceMeters + " metres");


            /*float[] distance_vector = currentAnchor.getPose().inverse()
                    .compose(cameraPose).getTranslation();
            float totalDistanceSquared = 0;
            for (int i = 0; i < 3; ++i)
                totalDistanceSquared += distance_vector[i] * distance_vector[i];*/
        }
    }
}

در کد بالا موارد زیر را انجام دادیم:

• بررسی کردیم که آیا تلفن سازگار با AR (واقعیت افزوده) است.
• یک مدل مکعبی شکل سه بعدی (3D) ایجاد کردیم.
• پس از شناسایی سطح، آن را روی محل ضربه (کلیک) اضافه کردیم.
• فاصله دوربین از لنگر (anchor) را در هر فریم به روز کردیم.
• در هنگامی که دوباره ضربه زده شود، لنگر قبلی را پاک کردیم.

ما می توانیم یک پاسخ دهنده دیگر به رویدادِ کلیک (ضربه) را روی گره قابل تغییر (transformable node) با کد node.setOnTapListener  تنظیم کنیم و با کلیک روی گره کارهایی را انجام دهیم مثلاً پخش صدا و غیره.

خروجی برنامه در عمل در زیر آورده شده است:

همانطور که می بینید وقتی دوربین را به مکعبی که در صحنه قرار داده ایم نزدیک می کنیم ، فاصله تغییر می کند.

مقدار فاصله را به صورت عددی در زیر تصویر می توانید ببینید. فاصله بین دو گره در ARCore به متر محاسبه می شود.