محققان MIT با پوشیدن یک دستکش بسته بندی شده از سنسور در هنگام کار با انواع اشیا ، یک مجموعه داده عظیم را تهیه کرده اند که یک سیستم هوش مصنوعی را قادر می سازد تا اشیاء را از طریق لمس به تنهایی تشخیص دهد. از این اطلاعات می توان برای کمک به روبات ها در شناسایی و دستکاری اشیاء استفاده کرد ، و ممکن است در طراحی پروتز کمک کند.
محققان یک دستکش بافتنی کم هزینه به نام "دستکش قابل لمس مقیاس پذیر" (STAG) تولید کردند که تقریباً در حدود 550 سنسور ریز مجهز شده است. هر حسگر سیگنال های فشار را ضبط می کند زیرا انسان به روش های مختلفی با اشیاء ارتباط برقرار می کند. یک شبکه عصبی سیگنال ها را برای "یادگیری" مجموعه ای از الگوهای سیگنال فشار مربوط به اشیاء خاص پردازش می کند. سپس سیستم از آن مجموعه داده برای طبقه بندی اشیاء و پیش بینی وزن آنها به تنهایی و بدون نیاز به ورودی بصری استفاده می کند.
در مقاله ای که در Nature منتشر شده است ، محققان مجموعه اطلاعاتی را که با استفاده از STAG برای 26 اشیاء معمول تهیه شده اند توصیف می کنند ، از جمله این شامل یک قوطی نوشابه ، قیچی ، توپ تنیس ، قاشق ، قلم و لیوان است. با استفاده از مجموعه داده ها ، سیستم هویت اشیاء را با دقت 76 درصد پیش بینی می کند. این سیستم همچنین می تواند وزن صحیح اکثر اشیاء را در حدود 60 گرم پیش بینی کند.
دستکش های مبتنی بر حسگر مشابه که امروزه استفاده می شود هزاران دلار دارد و اغلب فقط حدود 50 سنسور دارند که اطلاعات کمتری را ضبط می کنند. حتی اگر STAG داده های با وضوح بسیار بالایی تولید کند ، از مواد تجاری موجود در حدود 10 دلار ساخته شده است.
از سیستم سنجش لمسی می توان در ترکیب با دید رایانه ای سنتی و مجموعه داده های مبتنی بر تصویر استفاده کرد تا روبات ها درک انسانی تر از تعامل با اشیاء داشته باشند.
"انسان می تواند اشیاء را به خوبی شناسایی و اداره کند زیرا ما بازخورد لمسی داریم. وقتی اشیاء را لمس می کنیم ، به اطراف خود احساس می کنیم و متوجه می شویم که چه هستند. روبات ها بازخورد غنی ندارند." '18 ، دانشجوی سابق فارغ التحصیل در آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL). "ما همیشه می خواستیم روبات ها کاری را انجام دهند که انسان ها می توانند انجام دهند ، مانند انجام دادن ظروف یا کارهای دیگر. اگر می خواهید روبات ها این کارها را انجام دهند ، آنها باید بتوانند اشیاء را به خوبی دستکاری کنند."
محققان همچنین از داده های داده برای اندازه گیری همکاری بین نواحی دست در حین تعامل شی استفاده کردند. به عنوان مثال ، وقتی کسی از مفصل میانی انگشت خود استفاده می کند ، بندرت از انگشت شست خود استفاده می کند. اما نکته های ایندکس و انگشتان میانی همیشه با استفاده از انگشت شست منطبق است. او می گوید: "ما برای اولین بار كم كم نشان می دهیم كه اگر از یك قسمت از دستم استفاده كنم ، چقدر احتمال دارد كه از قسمت دیگری از دستم استفاده كنم."
تولید کنندگان پروتز به طور بالقوه می توانند از اطلاعات استفاده کنند ، به عنوان مثال ، نقاط بهینه را برای قرار دادن سنسورهای فشار انتخاب کنند و به شخصی سازی پروتز در وظایف و اشیاء که افراد به طور منظم با آنها تعامل دارند کمک کنند.
پیوستن به Sundaram بر روی کاغذ عبارتند از: کارت پستال CSAIL پت کلنهاوفر و ژوئن یان زو. دانشجوی ارشد CSAIL Yunzhu Li؛ آنتونیو تورالبا ، استاد ایزو و مدیر آزمایشگاه آزمایشگاهی MIT-IBM Watson AI؛ و Wojciech Matusik ، استادیار مهندسی برق و علوم کامپیوتر و رئیس گروه ساخت محاسباتی.
STAG به عنوان بستری برای یادگیری انسان است. اعتبار: طبیعت (2019). DOI: 10.1038 / s41586-019-1234-z
STAG با یک پلیمر رسانای الکتریکی لمینت شده است که مقاومت در برابر فشار اعمال شده را تغییر می دهد. محققان نخ های رسانا را از طریق سوراخ هایی در فیلم پلیمری رسانا ، از نوک انگشتان تا پایه کف دست دوختند. نخ ها به شکلی با هم همپوشانی دارند که آنها را به حسگر فشار تبدیل می کند. هنگامی که فردی با پوشیدن دستکش احساس ، بلند کردن ، نگه داشتن و رها کردن یک شیء را انجام می دهد ، سنسورها فشار را در هر نقطه ضبط می کنند.
موضوعات از دستکش به مدار خارجی متصل می شوند که داده های فشار را به "نقشه های لمسی" تبدیل می کند ، که در اصل فیلم های کوتاهی از نقاط در حال رشد و کوچک شدن در گرافیک یک دست هستند. نقاط نقطه محل فشار را نشان می دهند و اندازه آنها نیرو را نشان می دهد - هر چه نقطه بزرگتر باشد فشار بیشتر می شود.
از بین این نقشه ها ، محققان مجموعه ای از حدود 135000 فریم ویدیویی را از تعامل با 26 اشیاء جمع آوری کردند. این قاب ها می توانند توسط یک شبکه عصبی برای پیش بینی هویت و وزن اجسام مورد استفاده قرار گیرند و دیدی در مورد درک انسان ارائه دهند.
محققان برای شناسایی اشیاء ، یک شبکه عصبی حلقوی (CNN) که معمولاً برای طبقه بندی تصاویر استفاده می شود ، برای ایجاد الگوهای فشار خاص با اشیاء خاص ، طراحی کردند. اما ترفند انتخاب قاب هایی از انواع مختلف ملخ ها برای گرفتن تصویر کامل از جسم بود.
بیشتر بخوانید: پمپ وکیوم و کارکرد آن
این ایده برای تقلید از چگونگی نگه داشتن یک شیء از روش های مختلف برای تشخیص آن ، بدون استفاده از بینایی خود بود. به طور مشابه ، CNN محققان حداکثر هشت فریم نیمه تصادفی را از این ویدئو انتخاب می کند که نشانگر متفاوت ترین چنگک ها است - می گویند ، نگه داشتن لیوان از پایین ، بالا و دسته.
اما CNN فقط نمی تواند در هر فیلم فریم های تصادفی را از بین هزاران نفر انتخاب کند ، یا احتمالاً چنگ های مشخصی را انتخاب نمی کند. در عوض ، فریم های مشابه را با هم دسته بندی می کند و در نتیجه خوشه های مجزا مطابق با چنگک های منحصر به فرد است. سپس ، یک قاب را از هر یک از این خوشه ها می کشد ، و اطمینان می دهد که دارای یک نمونه نماینده است. سپس CNN از الگوهای تماسی که در آموزش آموخته است برای پیش بینی طبقه بندی شی از قاب های انتخاب شده استفاده می کند.
Kellnhofer می گوید: "ما می خواهیم تغییرات بین فریم ها را به حداکثر برسانیم تا بهترین شکل ممکن به شبکه ما وارد شود." "همه فریم های موجود در یک خوشه واحد باید دارای امضای مشابه باشند که بیانگر روش های مشابه درک شی است. نمونه برداری از چند خوشه یک انسان را شبیه سازی می کند که به صورت تعاملی سعی در یافتن دست های مختلف در هنگام کاوش یک شی دارد."
محققان MIT با پوشیدن یک دستکش بسته بندی شده از سنسور در هنگام کار با انواع اشیا ، یک مجموعه داده عظیم را تهیه کرده اند که یک سیستم هوش مصنوعی را قادر می سازد تا اشیاء را از طریق لمس به تنهایی تشخیص دهد. از این اطلاعات می توان برای کمک به روبات ها در شناسایی و دستکاری اشیاء استفاده کرد ، و ممکن است در طراحی پروتز کمک کند.
محققان یک دستکش بافتنی کم هزینه به نام "دستکش قابل لمس مقیاس پذیر" (STAG) تولید کردند که تقریباً در حدود 550 سنسور ریز مجهز شده است. هر حسگر سیگنال های فشار را ضبط می کند زیرا انسان به روش های مختلفی با اشیاء ارتباط برقرار می کند. یک شبکه عصبی سیگنال ها را برای "یادگیری" مجموعه ای از الگوهای سیگنال فشار مربوط به اشیاء خاص پردازش می کند. سپس سیستم از آن مجموعه داده برای طبقه بندی اشیاء و پیش بینی وزن آنها به تنهایی و بدون نیاز به ورودی بصری استفاده می کند.
در مقاله ای که در Nature منتشر شده است ، محققان مجموعه اطلاعاتی را که با استفاده از STAG برای 26 اشیاء معمول تهیه شده اند توصیف می کنند ، از جمله این شامل یک قوطی نوشابه ، قیچی ، توپ تنیس ، قاشق ، قلم و لیوان است. با استفاده از مجموعه داده ها ، سیستم هویت اشیاء را با دقت 76 درصد پیش بینی می کند. این سیستم همچنین می تواند وزن صحیح اکثر اشیاء را در حدود 60 گرم پیش بینی کند.
دستکش های مبتنی بر حسگر مشابه که امروزه استفاده می شود هزاران دلار دارد و اغلب فقط حدود 50 سنسور دارند که اطلاعات کمتری را ضبط می کنند. حتی اگر STAG داده های با وضوح بسیار بالایی تولید کند ، از مواد تجاری موجود در حدود 10 دلار ساخته شده است.
از سیستم سنجش لمسی می توان در ترکیب با دید رایانه ای سنتی و مجموعه داده های مبتنی بر تصویر استفاده کرد تا روبات ها درک انسانی تر از تعامل با اشیاء داشته باشند.
"انسان می تواند اشیاء را به خوبی شناسایی و اداره کند زیرا ما بازخورد لمسی داریم. وقتی اشیاء را لمس می کنیم ، به اطراف خود احساس می کنیم و متوجه می شویم که چه هستند. روبات ها بازخورد غنی ندارند." '18 ، دانشجوی سابق فارغ التحصیل در آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL). "ما همیشه می خواستیم روبات ها کاری را انجام دهند که انسان ها می توانند انجام دهند ، مانند انجام دادن ظروف یا کارهای دیگر. اگر می خواهید روبات ها این کارها را انجام دهند ، آنها باید بتوانند اشیاء را به خوبی دستکاری کنند."
محققان همچنین از داده های داده برای اندازه گیری همکاری بین نواحی دست در حین تعامل شی استفاده کردند. به عنوان مثال ، وقتی کسی از مفصل میانی انگشت خود استفاده می کند ، بندرت از انگشت شست خود استفاده می کند. اما نکته های ایندکس و انگشتان میانی همیشه با استفاده از انگشت شست منطبق است. او می گوید: "ما برای اولین بار كم كم نشان می دهیم كه اگر از یك قسمت از دستم استفاده كنم ، چقدر احتمال دارد كه از قسمت دیگری از دستم استفاده كنم."
تولید کنندگان پروتز به طور بالقوه می توانند از اطلاعات استفاده کنند ، به عنوان مثال ، نقاط بهینه را برای قرار دادن سنسورهای فشار انتخاب کنند و به شخصی سازی پروتز در وظایف و اشیاء که افراد به طور منظم با آنها تعامل دارند کمک کنند.
پیوستن به Sundaram بر روی کاغذ عبارتند از: کارت پستال CSAIL پت کلنهاوفر و ژوئن یان زو. دانشجوی ارشد CSAIL Yunzhu Li؛ آنتونیو تورالبا ، استاد ایزو و مدیر آزمایشگاه آزمایشگاهی MIT-IBM Watson AI؛ و Wojciech Matusik ، استادیار مهندسی برق و علوم کامپیوتر و رئیس گروه ساخت محاسباتی.
STAG به عنوان بستری برای یادگیری انسان است. اعتبار: طبیعت (2019). DOI: 10.1038 / s41586-019-1234-z
STAG با یک پلیمر رسانای الکتریکی لمینت شده است که مقاومت در برابر فشار اعمال شده را تغییر می دهد. محققان نخ های رسانا را از طریق سوراخ هایی در فیلم پلیمری رسانا ، از نوک انگشتان تا پایه کف دست دوختند. نخ ها به شکلی با هم همپوشانی دارند که آنها را به حسگر فشار تبدیل می کند. هنگامی که فردی با پوشیدن دستکش احساس ، بلند کردن ، نگه داشتن و رها کردن یک شیء را انجام می دهد ، سنسورها فشار را در هر نقطه ضبط می کنند.
موضوعات از دستکش به مدار خارجی متصل می شوند که داده های فشار را به "نقشه های لمسی" تبدیل می کند ، که در اصل فیلم های کوتاهی از نقاط در حال رشد و کوچک شدن در گرافیک یک دست هستند. نقاط نقطه محل فشار را نشان می دهند و اندازه آنها نیرو را نشان می دهد - هر چه نقطه بزرگتر باشد فشار بیشتر می شود.
از بین این نقشه ها ، محققان مجموعه ای از حدود 135000 فریم ویدیویی را از تعامل با 26 اشیاء جمع آوری کردند. این قاب ها می توانند توسط یک شبکه عصبی برای پیش بینی هویت و وزن اجسام مورد استفاده قرار گیرند و دیدی در مورد درک انسان ارائه دهند.
محققان برای شناسایی اشیاء ، یک شبکه عصبی حلقوی (CNN) که معمولاً برای طبقه بندی تصاویر استفاده می شود ، برای ایجاد الگوهای فشار خاص با اشیاء خاص ، طراحی کردند. اما ترفند انتخاب قاب هایی از انواع مختلف ملخ ها برای گرفتن تصویر کامل از جسم بود.
بیشتر بخوانید: پمپ وکیوم و کارکرد آن
این ایده برای تقلید از چگونگی نگه داشتن یک شیء از روش های مختلف برای تشخیص آن ، بدون استفاده از بینایی خود بود. به طور مشابه ، CNN محققان حداکثر هشت فریم نیمه تصادفی را از این ویدئو انتخاب می کند که نشانگر متفاوت ترین چنگک ها است - می گویند ، نگه داشتن لیوان از پایین ، بالا و دسته.
اما CNN فقط نمی تواند در هر فیلم فریم های تصادفی را از بین هزاران نفر انتخاب کند ، یا احتمالاً چنگ های مشخصی را انتخاب نمی کند. در عوض ، فریم های مشابه را با هم دسته بندی می کند و در نتیجه خوشه های مجزا مطابق با چنگک های منحصر به فرد است. سپس ، یک قاب را از هر یک از این خوشه ها می کشد ، و اطمینان می دهد که دارای یک نمونه نماینده است. سپس CNN از الگوهای تماسی که در آموزش آموخته است برای پیش بینی طبقه بندی شی از قاب های انتخاب شده استفاده می کند.
Kellnhofer می گوید: "ما می خواهیم تغییرات بین فریم ها را به حداکثر برسانیم تا بهترین شکل ممکن به شبکه ما وارد شود." "همه فریم های موجود در یک خوشه واحد باید دارای امضای مشابه باشند که بیانگر روش های مشابه درک شی است. نمونه برداری از چند خوشه یک انسان را شبیه سازی می کند که به صورت تعاملی سعی در یافتن دست های مختلف در هنگام کاوش یک شی دارد."
زمستان می تواند یک مزاحمت مزرعه خورشیدی برای شبکه برق باشد