পিনস্ক্রিনের সিক্রেটিভ Augmented রিয়ালিটি এবং CGI এর ভিতরে

প্রগতিশীল বাস্তবতা এবং ফেস-সোয়াপিং পরবর্তী মোবাইল অ্যাপ্লিকেশনের জন্য গরম প্রার্থী বলে মনে হচ্ছে; শুধু ফেসবুকের এমএসকিউআরডি বা স্ন্যাপচ্যাটের লুকসির অধিগ্রহণের ক্রয় দেখুন। কিন্তু পিনস্ক্রিন নামে একটি এআর স্টার্টআপ, বর্তমানে লাক্স ক্যাপিটাল এবং কলপল ভিআর ফান্ড থেকে $ 1.8 মিলিয়ন ডলারের পিছনে সমর্থিত, এই অঞ্চলে ভিন্নভাবে কাজ করার চেষ্টা করছে। বিপরীত এই গোপনীয় কোম্পানির জন্য এগিয়ে হতে পারে কি সম্পর্কে Pinscreen প্রতিষ্ঠাতা হাও লি একচেটিয়াভাবে স্পোক।

আপনি হয়তো হাও লি সম্পর্কে শুনেছেন না, তবে সম্ভবত আপনি এই ইউএসসি সহকারী অধ্যাপক এর গবেষণার বিভিন্ন ব্লকবাস্টার চলচ্চিত্রে কর্মকাণ্ডে দেখা করেছেন। চাক্ষুষ প্রভাব স্টুডিও শিল্পকৌশল হাল্কা এবং যাদু সময়ে কাজ করার সময়, লি বাস্তব সময় কর্মক্ষমতা ক্যাপচার সক্ষম যে কিছু সরঞ্জাম বিকাশ সাহায্য। ধারণাটি ছিল যে একজন অভিনেতা একটি ওয়েব ক্যামেরা সহ একটি কম্পিউটারের সামনে বসতে পারে, একটি দৃশ্যের কাজ করতে পারেন এবং তারপরে সেই কর্মক্ষমতাটি অনুবাদ করা হবে - রিয়েল-টাইমে - একটি সিজি চরিত্রের জন্য।

বাস্তব সময়ে রিয়েল লোকেদের 3D মডেলের ক্যাপ্টটিং এবং বিশেষ করে মুখ এবং চুলের গুরুত্বপূর্ণ অংশগুলি ধরে রাখার মাধ্যমে লি আরও অন্যান্য অঞ্চলে ব্যাপক গবেষণা চালায়। সম্প্রতি, লি গবেষণায় দেখিয়েছেন যে তিনি ও অন্যরা কেবলমাত্র একটি ক্যামেরা সহ একজন ব্যক্তির কাছ থেকে একটি পারফরমেন্স ক্যাপচার পরিচালনা করেছেন এবং এটি একটি ডিজিটাল চরিত্রের অনুবাদ করছেন।

প্রথমে, এই উপন্যাস শব্দ না। মোবাইল অ্যাপস এবং ফ্যাসেসিফিফ্ট (২015 সালে অ্যাপল দ্বারা ক্রয় করা) এর মতো আরো অত্যাধুনিক সিস্টেমগুলির জন্য ইতিমধ্যেই অনেকগুলি মুখের ট্র্যাকিং সমাধান রয়েছে। তবে এগুলির মধ্যে অনেক গভীরতা সেন্সরগুলির উপর নির্ভর করে, যা লি প্রযুক্তির প্রয়োজন হয় না। তিনি বলেন, যে পদ্ধতি, খুব ভিন্ন।

"যদি আপনার গভীরতা সেন্সর থাকে, তবে আপনার একটি মুখ মডেলের প্যারামিটারগুলি সর্বোত্তম করতে হবে যাতে মডেলটি 3D ইনপুটটিকে যতটা সম্ভব বন্ধ করে দেয়," লি ব্যাখ্যা করে। "কিন্তু একটি বিশুদ্ধ আরজিবি ইনপুট ক্ষেত্রে, সমগ্র বিশ্বের একটি দ্বিমাত্রিক ইমেজ সম্মুখের প্রদর্শিত হয় ফোকাস দৈর্ঘ্য হিসাবে পরিচিত ক্যামেরা পরামিতি ছাড়া। সুতরাং একটি সঠিক 3D মুখ মডেল এই প্রজেক্ট ইমেজ থেকে অনুমিত হতে হবে এবং আলোর বিস্তৃত অবস্থার পাশাপাশি বিভিন্ন বিষয়গুলির উপস্থিতি পরিচালনা করতে সক্ষম হবে।"

তাই 3 ডি অবতারগুলিতে লি এর গবেষণার গুরুত্ব। মানুষের মুখ ম্যাপিং করার সময়, অনেক ম্যাপিং প্রোগ্রাম চুল এবং চশমা মত চাক্ষুষ বাধা সঙ্গে মোকাবিলা সমস্যা হয়। সেই সমস্যা এড়ানোর জন্য, পিনস্ক্রিন "একটি গভীর সংশ্লেষীয় স্নায়ু নেটওয়ার্ক তৈরি করে যা সম্পূর্ণরূপে অসংলগ্ন চিত্রের মধ্যে একটি মুখ অঞ্চলকে কীভাবে ভাগ করতে হয় তা শিখতে পারে।"

সুতরাং, এই উন্মাদ উন্নত প্রযুক্তির ব্যবহার করে পিনস্কিন কি, যাইহোক?

"আমরা কিছু আকর্ষণীয় এআর ক্ষমতা সহ একটি নতুন ধরণের সামাজিক মিডিয়া / যোগাযোগ প্ল্যাটফর্ম হব," লি বলেছেন। "এটি স্ন্যাপচ্যাট লেন্স বা এমএসকিউআরডি মত একটি অ্যাপ্লিকেশন হতে যাচ্ছে না, যা বেশিরভাগ মানুষের জন্য শুধুমাত্র কয়েক মিনিটের জন্য আকর্ষণীয়।"

সুতরাং, এখন যে buzzwords তুলনায় অনেক বেশি নয়। কিন্তু, গভীরতর দিকে তাকিয়ে, তার পূর্বের কাজ প্রস্তাব করে যে তারা যেকোন চুল, চশমা বা অন্যান্য বস্তু যা একক ক্যামেরার দৃশ্যকে বাধাগ্রস্ত করে, তা সত্ত্বেও কারো মুখের ট্র্যাক করার ক্ষমতা বিকাশের আশা করছে। কিছু বর্ধিত বাস্তবতা যোগ করুন, এবং আকাশ সিনেমা, সোশ্যাল মিডিয়া এবং গেমগুলির জন্য সীমা।

এটি বরং গ্রাউন্ডbreিং শব্দ, কিন্তু এটা লক্ষ্য করা আবশ্যক যে লি এবং তার দল এই এলাকায় গবেষণা শুধুমাত্র এক নয়। ডিজনি সম্প্রতি ফেস-ফ্যাসেস নামক একটি টুল দিয়ে অন্য কিছু গবেষক হিসাবে বাস্তব সময় মুখের কর্মক্ষমতা ক্যাপচার গ্রহণ করেছে। ফেসবুক এবং স্ন্যাপচ্যাটের পাশাপাশি ফায়ারশিফ্টের সাথে থেরগুলিও রয়েছে, যারা তাদের জিনিসপত্র প্রদর্শন করতে শুরু করেছে।

তাই কি পিনস্ক্রিন এর প্রযুক্তি ভিন্ন করে তোলে? লি তার কোম্পানির সমাধান "অনেক বেশি শক্তসমর্থ এবং আরো সঠিক 3 ডি মডেলের ধারণা করতে পারে, কারণ আমরা স্পষ্টভাবে occlusions পরিচালনা করে।"

"আমাদের সবচেয়ে গুরুত্বপূর্ণ উদ্ভাবন এমন একটি প্রযুক্তি যা আমাদেরকে একটি সম্পূর্ণ 3D শিরোনাম মডেল তৈরি করতে দেয় যার সাহায্যে চুলগুলি স্বয়ংক্রিয়ভাবে কোনো ইমেজ থেকে আসে"। "এই ধরনের টাস্কটি ঐতিহ্যগতভাবে দক্ষ দক্ষ CG মডেলর এবং উত্পাদনের জন্য জোর প্রয়োজন, তবে আমরা এটি সম্পূর্ণরূপে স্বয়ংক্রিয়ভাবে জেনারেট করতে পারি। SIGGRAPH এ উপস্থাপিত সর্বশেষ কাগজপত্রগুলি (নেতৃস্থানীয় কম্পিউটার গ্রাফিক্স এবং ইন্টারেক্টিভ কৌশল কনফারেন্স) এছাড়াও ইনপুট হিসাবে একাধিক ইনপুট চিত্রগুলির প্রয়োজন - আমরা সর্বনিম্ন ইনপুট প্রয়োজনীয়তা, একটি একক 2 ডি চিত্র সহ সমাধানটি ফোকাস করি।"

অবশ্যই, যতক্ষণ না লোকেরা পিনস্ক্রিন থেকে কোন অ্যাপ্লিকেশন দেখতে এবং ব্যবহার না করে, জুরি তার ক্ষমতার বাইরে থাকবে। তবে, এখানে পার্থক্য হল, লি তার বিশেষ করে ডিজিটাল অবতারগুলি তৈরির ক্ষেত্রে গবেষণা ও নতুনত্বের একটি কঠিন ইতিহাস রয়েছে।

সামাজিক মিডিয়া মহাকাশে পিনস্ক্রিনের সম্ভাবনার বিষয়ে লি স্পষ্টভাবে বিশ্বাসী। তিনি বলেন, "আমাদের প্রযুক্তির 3 ডি অবতারের প্রজন্মকে গণতান্ত্রিকীকরণ করা হবে, এটি গেম, ভিআর / এআর অ্যাপ্লিকেশনগুলিতে নিমজ্জন যোগাযোগের জন্য, অথবা এআই এজেন্টগুলির জন্য স্পষ্ট অ্যাপ্লিকেশন থাকবে," তিনি বলেন, "কিন্তু আমি মনে করি আমরা নিজেরাই সবচেয়ে ভাল আবেদন তৈরি করব, যা আমরা উন্নয়নশীল সামাজিক মধ্যম প্ল্যাটফর্ম।

"সর্বাধিক গুরুত্বপূর্ণ," তিনি যোগ করেন, "আমরা এমন কিছু তৈরি করতে চাই যা আজকের ব্যয়বহুল ভিএফএক্স পাইপলাইনের প্রয়োজন ছাড়াই মানুষকে সত্যিই আকর্ষণীয় সামগ্রী তৈরি করতে এবং একে অপরের সাথে সংযোগ করার জন্য সত্যিই মজার এআর সামগ্রী ব্যবহার করতে পারে।"

পিনস্কিন প্রযুক্তির পরিসীমা লি এবং তার দল কাজ করছে বলে মনে হচ্ছে। কিন্তু, তিনি বলেছেন, এটি শুধুমাত্র পরিকল্পনার অংশ। "প্রযুক্তির ডেমো আসলেই আমরা যা ব্যবহার করার পরিকল্পনা করছি তা কেবলমাত্র একটি বৈশিষ্ট্য।" "পিনস্ক্রিন কিছুটা বড় হবে এবং প্রযুক্তিটি শুরুতে একটি আকর্ষণীয় বৈশিষ্ট্য হবে। আমরা অন্যান্য সোশ্যাল মিডিয়া প্ল্যাটফর্মের চেয়েও ভিন্ন হতে পারব।"

এখন জন্য, পিনস্ক্রিন এখনও একটি রহস্য একটি বিট এবং মনে হচ্ছে আমরা তাদের দোকান আছে কি দেখতে অপেক্ষা করতে হবে।