Classification of Papaya Fruit Based on Maturity Using Machine Learning and Transfer Learning Approach

Subject Areas : Sustainable production technologies

Mohammad Ghorbani ¹ , Mostafa Ghazizadeh-Ahsaee ^{2 *} , Kazem Jafari Naeimi ³

1 - Biosystems Engineering Dept. Faculty of Agriculture, Shahid Bahonar University of Kerman, Kerman, Iran.
2 - Computer engineering department, Shahid Bahonar University of Kerman, Kerman, Iran
3 - Associate Professor، Department of Biosystems Engineering، Faculty of Agriculture، Shahid Bahonar University of Kerman، Kerman، Iran.

Received: 2023-12-25 Accepted : 2024-03-19 Published : 2024-03-19

Keywords: Feature descriptors , Grading, Machine learning, Maturity, Transfer learning,

Abstract :

Grading and packing fruits based on visual inspections can be time-consuming, destructive, and unreliable. The objective of the conducted research is to provide an intelligent, fast and reliable classification method to detect the maturity of papaya fruit in three levels: immature, partially mature and mature. The total number of images used in this article is 300 images, 100 images have been collected for each level. In this paper, the use of two approaches, machine learning and transfer learning, is proposed to classify papaya fruit maturity status. The machine learning approach includes the use of three feature descriptors and three different classifiers, which are: local binary pattern (LBP), Gray Level Cooccurrence Matrix (GLCM), histogram of oriented gradients (HOG), k-nearest neighbor (KNN) classification algorithm, support vector machine(SVM) and Naïve Bayes classification algorithm. Transfer learning methods include the use of six pre-trained deep learning models Alexnet, Googlenet, Resnet101, Resnet50, Resnet18, VGG19. KNN classifier using HOG feature descriptor has achieved 95.4% accuracy and 3:52 seconds training time. The classifier based on transfer learning approach VGG19 was able to record better performance among other deep learning networks by obtaining 100% accuracy and training time of 10:42 seconds. Two classification methods using machine learning and transfer learning methods have been able to obtain accuracy of 95.4% and 100%, respectively, which are 0.7% and 6% more than the existing proposed methods.

Full-Text:



32       پژوهش‏های علوم کشاورزی پایدار/جلد 3/شماره 4/زمستان 1402/ ص 51-32

https://www.sarj.iauk.ac.ir

 

طبقه بندی میوه پاپایا برمبنای رسیدگی، با استفاده از یادگیری ماشین و رویکرد یادگیری انتقالی

 

 

محمد قربانی 1، مصطفی قاضی‏زاده احسائی2*، کاظم جعفری نعیمی3

1-دانشجوی دکتری مکانیک بیوسیستم، دانشکده کشاورزی ، دانشگاه شهید باهنر کرمان، کرمان، ایران

2- استادیارگروه مهندسی کامپیوتر، دانشکده فنی مهندسی، دانشگاه شهید باهنر کرمان، کرمان، ایران

3- دانشیار گروه مهندسی مکانیک بیوسیستم، دانشکده کشاورزی، دانشگاه شهید باهنرکرمان، کرمان، ایران

* ايميل نویسنده مسئول: [e-mail]

(تاریخ دریافت: 4/10/1402- تاريخ پذيرش: 29/12/1402)

 

چکیده

درجه بندی و بسته بندی میوه ها بر اساس بازرسی های بصری می­ تواند زمان بر، مخرب و غیر قابل اطمینان باشد. هدف از پژوهش انجام شده ارائه یک روش طبقه­بندی هوشمند، سریع و قابل اطمینان جهت تشخیص میزان رسیدگی میوه پاپایا در سه سطح نارس، نمیه رسیده و رسیده می­باشد. تعدادکل تصاویر مورد استفاده در این مقاله 300 تصویر می‏باشد که برای هر کدام از سطوح تعداد 100 تصویر جمع آوری گردیده است. در این پژوهش استفاده از دو رویکرد یادگیری ماشین و یادگیری انتقالی برای طبقه بندی وضعیت میزان رسیدگی میوه پاپایا پیشنهاد شده است. رویکرد یادگیری ماشین شامل استفاده از سه توصیف گر ویژگی و سه طبقه بندی کننده مختلف می­ باشد­که عبارت اند از: الگوریتم دو دویی محلی (LBP)، ماتریس هم رخداد سطح خاکستری (GLCM)، هیستوگرام گرادیان های جهت دار(HOG)، الگوریتم طبقه بندیk- نزدیک ترین همسایه(KNN)، ماشین بردار پشتیبان(SVM)، و الگوریتم طبقه بندی کننده بیزی ساده (Naïve Bayes). روش­های­یادگیری­انتقالی­شامل استفاده از شش ­مدل ­یاد گیری­ عمیق ­از ­پیش­ آموزش داده شده Alexnet, Googlenet, Resnet101, Resnet50, Resnet18, VGG19 می باشد. طبقه بندی­کننده KNN با استفاده از توصیف گر ویژگی HOG توانسته­است به صحت4/95 درصد و زمان آموزش 3:52 ثانیه دست پیدا کند. طبقه بندی کننده مبتنی بر رویکرد یادگیری انتقالی VGG19 با بدست آوردن صحت 100 درصدی و زمان آموزش 10:42 ثانیه توانست عملکرد بهتری را در میان سایر شبکه های یادگیری عمیق ثبت کند. دو روش طبقه بندی با استفاده از روش های یادگیری ماشین و یادگیری انتقالی توانسته­اند هر کدام صحت 4/95، و 100 درصدی را بدست بیاورند که به ترتیب 7/0 و 6 درصد بیشتر از روش­های پیشنهادی موجود می باشد.

واژه‏هاي کليدي: گل محمدي، برداشت مكانيزه، دستگاه قابل حمل، سوخت مصرفی، زمان برداشت

 

مقدمه

 

پاپایا (Carica papaya) میوه­ای با ارزش غذایی بالا و منبع غنی برای ویتامین های A و C می‏باشد(Pereira et al ., 2018)­ میوه پاپایا مخصوص مناطق گرمسیری است و در جنوب و جنوب شرقی ایران کشت می­شود (sbaj.ir). استان سیستان و بلوچستان با سطح زیر کشت 50 هکتار بزرگترین تولید کننده میوه پاپایا در کشور ایران به شمار می­رود (sbaj.ir). طبقه­بندی­میوه­ها و ارزیابی کیفیت­آن­ها با استفاده از بازرسی­های بصری باعث بروز خطا به دلیل وجود تأثیرات خارجی مانند خستگی، تعصبات و پیش داوری های شخصی و غلط می شود .(Savakar et al., 2015) با وجود اپراتورهای حرفه ای و افراد خبره و صاحب نظر، طبقه بندی میوه­ ها درصنعت میوه بدلیل وجود تفاوت در ادراکات بصری منجر به وجود تفاوت ها و تناقضاتی می­شود. از این رو یک سیستم خودکار برای تجزیه و تحلیل میوه ها و ارائه اطلاعات قابل اعتماد تر مورد نیاز است.(Damez et al., 2008) کیفیت مصرف میوه­ها و تعیین زمان نگهداری آن ها قبل از مصرف به میزان زیادی به شناسایی میزان رسیدگی آن ها وابسته است.(Magwaza et al., 2015)  تعیین این خواص به کمک کارشناسان انسانی زمان بر و مخرب خواهد بود، بنابراین تکنیک هایی سریع، هوشمند و غیر مخرب در این حوزه­ی کاربردی مورد نیاز است (Medina et al., 2014). امروزه بسیاری از تولید کنندگان داخلی به دلیل عدم توانایی در عرضه محصول خود به نحو بازارپسند متحمل خسارت می شوند(Khodaei et al., 2018) . برای درجه بندی میوه­ها روش های گوناگونی وجود دارد. روش های دستی و مکانیکی با توجه با آسیب هایی مانند لهیدگی که به میوه وارد می کنند کمتر مورد توجه هستند. درحالی که روش های غیرمخرب به دلیل دخالت کمتر توسط انسان و پایین تر بودن هزینه ها، راحت تر و با صرفه تر بوده و در حال حاضر بدلیل کاهش صدمات وارده به محصول مورد توجه هستند(Baigvand et al., 2015). بینایی­ماشین یکی از روش­های نوین و غیرمخربی است که برای درجه بندی میوه ها براساس خصوصیات ظاهری مورد توجه قرار گرفته است(Mohammadi et al., 2015) . در حوزه­کشاورزی مطالعات زیادی در زمینه­ درجه بندی و طبقه بندی محصولات به کمک پردازش تصویر گزارش شده است (Kheiralipour , 2018; 2020; Farokhzad et al., 2020; Wang et al., 2020). ویژگی­های­ظاهری و بصری محصولات کشاورزی مانند رنگ، اندازه، شکل و بافت در ارزیابی کیفیت محصولات بسیار تاثیر­گذار هستند. بنابراین توسعه و طراحی یک سامانه هوشمند برای درجه بندی محصولات به ویژگیهای اشاره شده بستگی دارد (Azadnia et al., 2022). در سال های اخیر تعدادی از محققان مطالعاتی را بر روی پیش بینی میزان رسیدگی میوه های مختلف انجام دادند. یک مدل فازی برای طبقه­بندی سطوح متفاوت رسیدگی میوه آناناس پیشنهاد شده است. در این تحقیق ویژگی های مورد نظر از کانال های رنگی hue و فضای رنگی lab استخراج شده اند و مجددا از بهینه سازی­های ازدحام ذرات برای بهینه­سازی مدل فازی استفاده شده و در نتایج خود به صحت 11/93 درصد دست یافته اند(Marimuthu et al ., 2017). در تحقیقی دیگر به منظور طبقه بندی میزان رسیدگی میوه موز در سه سطح، از دو الگوریتم خودکار یعنی شدت رنگ متوسط و الگوریتم استخراج ویژگیهای­محلی استفاده شده است. به منظور استخراج ویژگی­ها از توصیف­گرهای ویژگی مانند ماتریس هم-رخداد سطح خاکستری (GLCM) و ویژگی های هندسی به منظور طبقه بندی استفاده شده است. الگوریتم ها با تعداد 120 تصویر از میوه های موز که شامل 40 تصویر از میوه­های نارس، 40 تصویر از میوه­های رسیده و 40 تصویر هم از میوه های کاملا رسیده است مورد بررسی قرار گرفتند. تجزیه و تحلیل ها نشان می دهند که ویژگیهای­میانگین رنگ و مساحت سطح میوه موز سهم اصلی را در این پژوهش تشکیل می­دهند. الگوریتم شدت رنگ به کار گرفته شده توانسته است سه مرحله رسیدگی میوه موز را باصحت 1/99درصد طبقه بندی کند، همچنین دلیل ناکارآمدی الگوریتم استخراج ویژگی محلی ناتوانی در طبقه بندی میوه­های موز رسیده و بیش از حد رسیده گزارش شده است (Prabha et al., 2015). سیستم دیگری برای طبقه بندی میوه­های انبه بر اساس میزان رسیدگی آن ها به چهار دسته طراحی شده است. در این سیستم یک دوربین از یک نوار نقاله که میوه­های انبه بر روی آن در حال حرکت کردن هستند فیلم برداری می کند، سپس تعداد 27 ویژگی از فریم سیگنال­های ویدیویی­جمع آوری شده استخراج می شود. این محققان در پژوهش خود ازتکنیک حذف ویژگی های اضافی و طبقه­بندی­کننده­ماشین بردار پشتیبان برای­اهداف­ طبقه­ بندی استفاده کرده اند.­ در این­سیستم تعداد16400 تصویر مورد ارزیابی قرار گرفتُ­که محققین توانسته­اند به صحت 96 درصد دست پیداکنند (Nandi et al., 2014). یک مدل دیگر که براساس تصویربرداری چندطیفی بیان گردیده به منظور ارزیابی کیفیت و طبقه­بندی میزان رسیدگی میوه های توت فرنگی پیشنهاد شده است. در پژوهش آن ها از دو روش تجزیه و تحلیل مولفه اصلی با شبکه عصبی پس انتشار و الگوریتم طبقه بندی ماشین بردار پشتیبان استفاده شده است. نتایج ارزیابی­ها نشان­می­دهند که محققین توانسته­اند به کمک طبقه­بندی کننده ماشین بردار پشتیبان به صحت 100درصد دست یابند، این صحت بدست آمده برای مرحله رسیدگی میوه توت فرنگی بوده و از مجموعه­ای از داده­ها که شامل 280 تصویر می­باشد بدست آمده است (Liu et al., 2014). یک سیستم حسگر غیرمخرب و غیر تهاجمی برای پیش بینی میزان رسیدگی میوه دورین پیشنهاد شده است، در این روش از مفهوم ارتباط بی سیم با ضریب Rician k-factor برای پیش بینی میزان رسیدگی میوه دورین استفاده شده است، محققان­در این روش توانسته بودند به صحت 7/92 درصد دست پیداکنند (Leekl et al., 2016). در یک پژوهش دیگر مدل طبقه­بندی­کننده­ای ­به ­منظور بررسی میزان رسیدگی میوه آلو بر اساس تکنیک پردازش تصویر پیشنهاد شده است، به منظور ارزیابی میزان رسیدگی میوه آلو از ویژگی­های­کیفی­خارجی مانندرنگ، بافت، و اندازه استفاده شده است. علاوه بر این تجزیه و تحلیل آزمایش­ها نشان می­دهد که ویژگی­های رنگی(شاخص­های استخراجی با استفاده از کانال­های رنگی rgb ) ویژگی­های برجسته­تری نسبت به ویژگی های بافت و اندازه هستند. نتایج آزمایش از آنالیز تصاویر صحت 66/99 درصد را در پژوهش هایشان گزارش داده ­است (Kaur et al., 2018) . در­دهه­های­گذشته ­فعالیت­ها و پژوهش­های ­زیادی­در مورد جنبه­های ­گوناگون صنعت میوه مانند تشخیص عیوب (Devi et al., 2013)  ارزیابی کیفیت میوه ها (Jadhav et al., 2013; Patel et al.,2012)  درجه بندی (Alohali , 2011)  و پیش بینی حجم و وزن میوه ها(Omid et al., 2010)  گزارش شده و انجام شده است. برای ­اهدافی ­مانند طبقه­بندی ­میوه­ها بینایی­کامپیوتر (Zhang et al., 2014; zhang et al., 2012) پردازش تصویر(Dubey et al., 2015) و تکنیک­هایی مانند یادگیری­عمیق (Sharma et al.,2019 ; Ji et al., 2019 ; Guo et al., 2019 ;Asad et al ., 2019)و یادگیری ماشین (Behera et al ., 2018; Huang et al., 2018) به طورگسترده استفاده می­شود، علاوه بر این در یکی دوسال گذشته تحقیقاتی به منظور تشخیص میوه­ها بر روی درختان (Rocha et al., 2010) طبقه بندی و درجه بندی(Kavdir et al., 2004 ; Alohali et al., 2011; Gongal et al., 2018)  آن ها انجام­گرفته است. که نشان از توانایی بالای تکنیک­های عنوان شده می­باشد. در ادبیات پیشین پژوهشی (Pereira et al., 2018) تنها یک مورد پیش بینی میزان رسیدگی میوه پاپایا بر اساس تکنیک پردازش تصویر با استفاده از الگوریتم طبقه بندی کننده جنگل تصادفی انجام شده است. در پژوهش انجام گرفته شده توسط آن محققین از 114 نمونه میوه پاپایا و تصاویر تهیه شده از میوه ها استفاده شده است. 21 ویژگی از تصاویر پاپایا به صورت دستی استخراج شده و الگوریتم طبقه بندی کننده توانسته بود میزان رسیدگی میوه پاپایا را بر اساس سه سطح رسیدگی با صحت 7/94 درصد طبقه­بندی کند. در این پژوهش یک مدل طبقه­بندی­کننده به منظور طبقه­بندی میزان رسیدگی میوه پاپایا در سه سطح یعنی نارس، نیمه رسیده و رسیده با استفاده از الگوریتم یادگیری ماشین و رویکرد یادگیری انتقالی پیشنهاد شده است. رویکرد یادگیری ماشین شامل استفاده از سه مجموعه توصیفگر ویژگی و سه مدل طبقه بندی کننده می­باشد، همچنین در رویکرد یادگیری انتقالی از شش مدل یادگیری عمیق از پیش آموزش داده شده­استفاده شده است.

مواد و روش ها

طبقه بندی سطوح رسیدگی یا میزان رسیدگی میوه پاپایا در دو رویکرد، یعنی یادگیری ماشین و یادگیری انتقالی انجام می گیرد. مراحل مختلف رسیدگی میوه بر اساس جنبه­های بصری رنگ میوه تعریف می شود. این جنبه های بصری و مراحل مختلف رسیدگی­آن در شکل(1) و جدول (1) آورده شده است.

 

جدول 1- ویژگی های بصری میوه پاپایا در مراحل مختلف رسیدگی

مراحل رسیدگی	توضیحات
ناررسیده	پوست میوه کاملا سبز بوده و فاقد هرگونه رنگ زرد یا نارنجی می باشد.
نیمه رسیده	پوست میوه ها دارای نواحی سبز رنگ ،زرد رنگ و نارنجی رنگ که نشانه هایی از رسیدگی میوه می باشند است.
رسیده	پوست میوه کاملا دارای نواحی زرد یا نارنجی روشن بوده وممکن است دارای نواحی سبز رنگ باشد یا نباشد.

 

 

شکل1- مراحل مختلف رسیدگی میوه پاپایا الف: پاپایا رسیده ب: پاپایا نیمه رسیده ج: پاپایا نارس

 

جزئیات جمع آوری نمونه­ها و مدل­های طبقه بندی کننده در دو رویکرد پیشنهادی در بخش های فرعی مناسب به طور کامل شرح داده شده اند.

جمع آوری داده­ها

به منظور ارزیابی بهتر سامانه و هم چنین دسترسی نداشتن به مزارع کشت محصول پاپایا و زمان بر بودن تصویربرداری از مراحل مختلف رسیدگی میوه در فصل­های مختلف سال لازم دانسته شد که از تصاویر تهیه شده توسط سایر محققین که مورد تایید نیز می­باشند، استفاده شود. بنابراین تصاویر مورد نیاز برای پردازش از پایگاه داده Data.mendly.com و موتورهای جستجوی گوگل، یاهو و بینگ جمع­آوری گردیده است. تصاویر میوه پاپایا بر اساس ویژگی­های بصری توضیح داده شده در جدول (1) به سه سطح نارسیده، نیمه رسیده و رسیده طبقه بندی می­شوند. همه نمونه­ها با سطوح متفاوت مقطع عرضی و طولی تصویربرداری شده و جمع آوری شده اند. تعداد کل تصاویر مورد استفاده در این پژوهش 300 تصویر بوده که برای هرکدام از سطوح متفاوت رسیدگی 100 تصویر تهیه شده است. همه تصاویر پس از جمع آوری به اندازه 3×227×227 تغییر اندازه داده شده اند و بدون هیچ گونه تغییری در فضای رنگی، به فرمت jpg و در فضای رنگی RGB ذخیره شده اند. تقسیم بندی تصاویر به منظور استفاده در فرآیندهای آموزش، آزمایش و اعتبارسنجی به ترتیب 70، 20 و 10 درصد کل نمونه ها در نظر گرفته شده است.

رویکرد یادگیری ماشین

رویکرد یادگیری ماشین شامل دو مرحله است. یک مرحله شامل استخراج ویژگی و مرحله دیگر طبقه­بندی تصاویر می باشد. ویژگی های مورد نظر که بیشتر مربوط به جنبه­های بافتی تصاویر هستند با استفاده از توصیف گرهای ویژگی هیستوگرام گرادیان های جهت دار، ماتریس هم رخداد سطح خاکستری و الگوریتم دودویی محلی از تصاویر نمونه استخراج می­شوند. هر کدام از این توصیف گرهای ویژگی به ترتیب 59، 13 و 37 ویژگی بافتی را از تصاویر استخراج کرده و به صورت یک بردار 59×1 ، 13×1 و 37×1 خروجی می دهند.­ توصیف­گرهای ویژگی هیستوگرام گردایان­های جهت­دار و الگوریتم دودویی محلی تلاش می کنند که از یک نوع اطلاعات برای استخراج ویژگی استفاده کنند وآن هم محاسبه گردایان­های اطراف یک پیکسل مورد نظر است. تفاوت اصلی­این دو توصیف گر نیز در نحوی استفاده از همین گرادیان­های استخراج شده است.(Aggarwal, 2018)

استخراج ویژگی

توصیف­گر ویژگی هیستوگرام گرادیان های جهت دار بر روی ساختار یا شکل یک شی تمرکز می کند، این توصیف گر از هر نوع توصیف­گر لبه ای بهتر عمل می کند زیرا از اندازه و زاویه گرادیان ها برای محاسبه ویژگی ها استفاده می کند. این توصیف­گر برای مناطق مختلفی از تصویر هیستوگرام­هایی را با استفاده از اندازه وجهت گرادیان ایجاد می کند.(Dalal et al., 2005)  ماتریس الگوریتم دودویی محلی تنها از یک جهت برای محاسبه گرادیان­های اطراف یک پیکسل مورد نظر استفاده می کند. این توصیف گر بر روی ساختار محلی همسایگی یک پیکسل تمرکز کرده و با استفاده از آستانه گذاری پیکسل های همسایه نسبت به پیکسل مرکزی آن را به صفر و یک تبدیل می کند. سپس کد دودویی اختصاص یافته به همسایگی ها را به عدد صحیح تبدیل کرده و الگوی دودویی محلی را بدست می آورد.(Ojala et al., 2002)  ماتریس هم رخداد سطح خاکستری یک روش آماری برای توصیف بافت تصاویر می باشد. این ماتریس میزان احتمال مشترک وقوع دو سطح رنگ مختلف را در یک فاصله و زاویه مشخص در تصاویر سطح خاکستری نشان می­دهد(Haralick et al., 1973). برای استخراج ویژگی­هایی مانند: کنتراست، همبستگی، انرژی، همگنی، میانگین، انحراف معیار، آنتروپی و واریانس از این ماتریس استفاده شده که روابط هرکدام از آنها در جدول (2) آورده شده است.

 

جدول2- ویژگی های استخراج شده از ماتریس هم رخداد سطح خاکستری

Pi, j-مقدار i, j امین مولفه ماتریس GLCM ، و – به ترتیب میانگین سطری و ستونی ماتریس GLCM ،  و - به ترتیب انحراف معیار سطری و ستونی ماتریس GLCM ،  – شدت پیکسل های موجود در منطقه مورد نظر

 

طبقه­بندی­کننده­ها از این ویژگی­های استخراج شده برای اهداف آموزشی و آزمایشی استفاده می­کنند. همان طور که قبلا عنوان شده است در پژوهش انجام شده از سه طبقه­بندی کننده ماشین بردار پشتیبان، k-نزدیک­ترین همسایه و طبقه­بندی کننده بیزی ساده استفاده شده است.

 مراحل مختلف رویکرد یادگیری ماشین در شکل(2) نشان داده شده است

 

 

 

 

 

شکل2-رویکرد یادگیری ماشین برای طبقه بندی میزان رسیدگی میوه پاپایا

 

رویکرد یادگیری انتقالی

در هنگام ساخت یک سیستم بینایی برای حل یک موضوع خاص، نیاز است که در مرحله اول مقدار زیادی داده جمع آوری شده، سپس توسط افراد خبره برچسب زنی شوند تا شبکه آماده آموزش شود. ولی اگر بتوان از یک شبکه عصبی موجود که توسط پژوهشگر دیگری آموزش داده شده و تنظیم دقیق شده است برای نقطه شروع یک فعالیت جدید استفاده شود، آن­گاه هم در زمان آموزش و هم در صحت و دقت شبکه عصبی بهبود حاصل می­گردد. از این مفهوم در یادگیری ماشین تحت عنوان یادگیری انتقالی یاد می­شود. یادگیری انتقالی یکی از مهمترین تکنیک های یادگیری عمیق است. در پژوهش صورت گرفته مدل­های شبکه عصبی کانولوشن از پیش آموزش دیده براساس رویکرد یادگیری انتقالی مجددا تنظیم دقیق شده تا برای اهداف طبقه­بندی مورد نظر مورد استفاده قرار بگیرند. در این مقاله از شش شبکه از پیش آموزش داده شده برای اهداف طبقه بندی­میزان رسیدگی میوه پاپایا استفاده شده است. این شبکه ها عبارت اند از: Google net, Alex net, VGG19, Resnet18, Resnet50, Resnet101 شبکه های از پیش آموزش داده شده یک شبکه عصبی کانولوشن بوده که بر روی بیش از یک میلیون تصویر از پایگاه داده ImageNet آموزش داده شده اند .(Challenge, 2012) نمایی از ساختار یک شبکه عصبی کانولوشن در شکل (3) آورده شده است.

 

 

شکل3- مدل یک شبکه عصبی کانولوشن

 

شبکه­های­عصبی­باقیمانده در سال 2015 توسط تیم مایکروسافت توسعه داده شده اند .(EL-Gendy, 2020) معماری ابداعی مفهومی تحت عنوان اتصالات گذری و بلوک­های باقیمانده را معرفی می­کند. در حالت عادی ماتریس تصاویر ورودی پس از عبور از لایه­های کانولوشن و نرمال سازی به یک تابع فعال سازی از نوع واحد یکسوشده­ی خطی (Relu) در لایه­های پنهان می رسد، اما در شبکه­های باقیمانده ماتریس تصاویر ورودی علاوه بر عبور از مسیراصلی از یک مسیری فرعی نیز عبور کرده و ورودی را درست قبل از تابع فعال سازی آخرین لایه کانولوشن به مسیراصلی اضافه کرده و آنگاه تابع فعالسازی را به هر دو مسیراعمال می­کند. با استفاده­از­ این تکنیک می­توان شبکه­های خیلی عمیق را ساخت و مشکل محو گرادیان را حل نمود.Resnet18, Resnet50, Resnet101 سه نوع از شبکه های عصبی باقیمانده هستند که به ترتیب دارای 101، 50 و 18 لایه پنهان بوده که می­توانند تصاویر را در 1000 دسته­شی طبقه­بندی کنند.  Alex netدر سال 2012 معرفی شده است. اندازه تصاویر ورودی به این شبکه 3×227×227 می باشد. اولین لایه کانولوشن در این شبکه دارای 96 فیلتر با اندازه 11×11 و گام 4 بوده که بر روی تصاویر ورودی جهت استخراج ویژگی اعمال می شود. ابعاد تصاویر از این لایه به اندازه 55×55 کاهش پیدا کرده و تصاویر به یک لایه فرونمونه برداری بیشینه با اندازه فیلتر 3×3 و گام 2 اعمال می شوند؛ و در نهایت یک لایه مسطح سازی حجم، ابعاد را به 9216 پارامتر تغییر داده و به دو لایه کاملا متصل که هر کدام دارای 4096 نورون است تحویل می­دهد. لایه طبقه بندی کننده سافت مکس با 1000 نورون که به تعداد کلاس های خروجی می باشد، به عنوان لایه آخر در این شبکه استفاده می شود. Alex net دارای 60 میلیون پارامتر و 65 هزار نورون می باشد. شبکه از پیش آموزش داده شده VGG19 در سال 2014 در دانشگاه اکسفورد توسعه داده شده است. این شبکه با ساده بودن آن شناخته می شود برای اینکه فقط از لایه های کانولوشن 3×3 که برروی هم انباشته شده اند و شبکه عصبی کانولوشن عمیق را تولید می­کند، ساخته می­شود. لایه فرونمونه برداری بعد از هر لایه کانولوشن باعث کاهش ابعاد واندازه در تصاویر خروجی از لایه کانولوشن می­شود. در این شبکه دولایه کاملا متصل که هر کدام دارای 4096 گره می باشند، توسط یک طبقه بندی کننده سافت مکس دنبال می­شوند.  Vgg16و  Vgg19دو شبکه عصبی کانولوشن بوده که به ترتیب هرکدام دارای 19و16 لایه پنهان در ساختار خود می باشند. google net یک مدل از پیش آموزش دیده است که در زیرمجموعه ای از پایگاه داده Image Net که در چالش های تصویری در مقیاس بزرگ استفاده می­شود، آموزش دیده است. هم چنین این شبکه در سال 2014 معرفی شده ست. Google net از یک معماری کاملا متفاوت نسبت به Vgg, Resnet, Alex net برخوردار است. مشخص دن اندازه فیلتر ها ومکان لایه­های فرونمونه برداری از تصمیماتی است که عمدتا با سعی و خطا گرفته می­شود. در google net به جای انتخاب اندازه فیلتر مطلوب در لایه کانولوشن و این که لایه فرونمونه­برداری در کجا قرار بگیرند همه آن ها در یک بلوک قرار داده شده و اصطلاحی تحت عنوان مدول­های تکوین را به وجود می­آورند. این مدول­ها هزینه های محاسباتی به وجودآمده که ناشی از استفاده از فیلترهایی با اندازه بزرگ است را کاهش می­دهند. در این مدول ها از یک لایه کانولوشن 1×1 موسوم به لایه گلوگاهی قبل از لایه های کانولوشن 3×3 و 5×5 و پس از لایه فرونمونه برداری بیشینه استفاده می­شود تا یک مدول تکوین با کاهش ابعاد ایجاد شود  .(EL-Gendy, 2020) نمایی از یک شبکه عصبی کانولوشن  Google Netو مدول تکوین آن در شکل های (4) و (5) آورده شده است.

 

 

شکل4. شبکه عصبی کانولوشن Google Net

 

شکل5- مدول تکوین

مراحل مختلف رویکرد یادگیری انتقالی در شکل(6) نشان داده شده است. 

 

شکل6-رویکرد یادگیری انتقالی برای طبقه بندی میزان رسیدگی میوه پاپایا

 

در این مطالعه عملکرد مدل­های طبقه بندی کننده برای طبقه بندی میزان رسیدگی میوه پاپایا بر اساس دو رویکرد یادگیری ماشین و یادگیری انتقالی مورد بررسی قرار گرفتند. آزمایش های تجربی و آنالیز تصاویر به وسیله نرم افزار MatlabR2022b بر روی یک لپ تاپ با مشخصات ارائه شده در جدول(3) اجرا شده است.

 

جدول3- مشخصات سخت افزاری لپ تاپ استفاده شده

ویژگی	رابطه
کنتراست
همبستگی
انرژی
همگنی
میانگین
انحراف معیار
آنتروپی
واریانس

مشخصات

Laptop AsusN53 Core i7 (8GB\750HDD\Windows10\2GB graphics) Equipped with NVIDIA G-force GT 550M CUDA

 

 

 

 

جدول4- مقایسه عملکرد مدل­های طبقه­بندی کننده مختلف براساس رویکرد یادگیری ماشین

ویژگی	طبقه­بندی کننده	صحت(درصد)	AUC	زمان آموزش(ثانیه)
	K-نزدیکترین همسایه	6/91	1	4:13
الگوریتم دودویی محلی	ماشین بردار پشتیبان	7/89	95/0	4:48
	بیزی ساده	3/78	83/0	5:32
	K-نزدیکترین همسایه	4/95	1	3:28
هیستوگرام گرادیان جهت­دار	ماشین بردار پشتیبان	4/91	1	3:45
	بیزی ساده	7/92	1	3:87
	K-نزدیکترین همسایه	6/93	1	5:87
ماتریس هم- رخداد سطح خاکستری	ماشین بردار پشتیبان	4/88	93/0	6:12
	بیزی ساده	2/83	89/0	6:87

 

 

شکل7- عملکرد طبقه­بندی کننده k-نزدیک ترین همسایه در پیش بینی برچسب کلاس­ها

 

شکل8- منحنی دقت -بخاطرآوری

نتایج بر اساس رویکرد یادگیری انتقالی

به منظور طبقه­بندی میزان رسیدگی میوه پاپایا شبکه­های عصبی کانولوشن از پیش آموزش داده شده بر اساس رویکرد یادگیری انتقالی، تنظیم دقیق شده اند و برای اهداف طبقه­بندی میوه پاپایا مورد استفاده قرار گرفتند. در رویکرد یادگیری انتقالی فراپارامترهای قابل تنظیم برای مدل­های از پیش آموزش داده شده مانند: اندازه بچ، تعدادتکرار­ها در آزمون اعتبارسنجی، تعدادکل دوره­های آموزش و نرخ یادگیری اولیه به ترتیب 20، 12، 7 و 0003/0 در نظر گرفته شد. علاوه براین از روش فرودگرادیان استوکاستیک همراه با مومنتوم  (SGDM)به عنوان روش یادگیری برای بروزرسانی اوزان و آموزش مدل استفاده شده است. برای ایجاد مدلی با قابلیت تعمیم بالا و همچنین جلوگیری از مشکل بیش برازش و ساخت مدلی مستحکم و قابل اطمینان لازم است تا داده های جمع­آوری شده در مجموعه داده تقویت شوند، در این پژوهش از تکنیک تقویت داده­ها برای رسیدن به این اهداف استفاده شده است. چرخش [90;90-] انتقال [30;30-] و تغییر مقیاس [1.1;9/0] سه عملیاتی است که به منظور تقویت داده­ها در این پژوهش بر روی تصاویر مورد استفاده قرارگرفته­اند. پس از تنظیم فراپارامترها، تقویت داده­ها و اجرای آزمایشات مشخص شد که شبکه از پیش آموزش داده شده VGG19 توانسته است عملکرد بهتری را نسبت به سایر شبکه­­ها از خود نشان دهد. در شکل (9) عملکرد این شبکه در زمان آموزش و اعتبارسنجی نشان داده شده است.

 

 

شکل9 - عملکرد شبکه VGG19 در زمان آموزش و اعتبارسنجی

 

شبکه از پیش آموزش داده شده VGG19 توانسته است در مدت زمان10:42 ثانیه به صحت 100درصد عملکرد برای داده­های اعتبارسنجی دست پیداکند. اگرچه سایر مدل­های از پیش آموزش داده شده توانسته اند به این صحت 100 درصدی دست پیدا کنند اما زمان رسیدن به این صحت برای مدل VGG19 کمتر از سایر مدل­ها است. علاوه بر این شبکه VGG19 توانسته است تنها در 7 تکرار به این صحت و زمان آموزش برسد که بهترین عملکرد در میان سایر مدل ها می باشد. نتایج عملکردی سایر شبکه­ها بر اساس رویکرد یادگیری انتقالی در جدول (5) نشان داده شده است، همچنین ماتریس آشفتگی و خروجی شبکه VGG19 که پیش بینی برچسب کلاس های میزان رسیدگی میوه پاپایا همراه با صحت این پیش بینی است به ترتیب در جدول (6) وشکل (10) آورده شده است.

 

جدول5- مقایسه عملکرد مدل­های طبقه­بندی کننده مختلف براساس رویکرد یادگیری انتقالی

شبکه از پیش آموزش داده شده	صحت	تعداد تکرار در رسیدن به حداکثر صحت اعتبارسنجی	زمان آموزش(ثانیه)
ResNet101	100	16	15:68
ResNet50	100	20	17:35
ResNet18	7/98	15	14:30
VGG19	100	12	10:42
Google Net	100	14	13:87
Alex Net	9/99	15	15:45

 

کلاس­های پیش بینی شده

رسیده

نارس

نیمه رسیده

رسیده

جدول6- ماتریش آشفتگی در عملکرد شبکه vgg19

100% 0.0%	0 0.0%	0 0.0%	20 33.33%
100% 0.0%	0 0.0%	20 33.33%	0 0.0%
100% 0.0%	20 33.33%	0 0.0%	0 0.0%
100% 0.0%	100% 0.0%	100 نارس 0.0%	100 نیمه رسیده 0.0%

کلاس­های واقعی

 

 

شکل10- عملکرد شبکه Vgg19در پیش بینی برچسب کلاس­ها

 

 

نتیجه­گیری و پیشنهادات

در این پژوهش یک مدل طبقه­بندی کننده برای طبقه­بندی میزان رسیدگی­میوه پاپایا در دو رویکرد یادگیری ماشین و یادگیری­انتقالی پیشنهاد شده است. در رویکرد یادگیری ماشین از توصیف­گرهای ویژگی­ هیستوگرام گرادیان­های جهت دار، الگوریتم دودویی محلی و ماتریس هم رخداد سطح خاکستری همراه با طبقه­بندی کننده­های k-نزدیکترین همسایه، ماشین بردارپشتیبان و طبقه­بندی کننده بیزی ساده که هرکدام عملکردی متفاوت ازخود نشان داده اند، استفاده شده است. طبقه­بندی کنندهk-نزدیک ترین همسایه همراه با توصیف­گر ویژگی HOG توانست با به دست آوردن صحت 4/95 درصد بهترین عملکرد را در میان سایر طبقه­بندی کننده های یادگیری ماشین به خود اختصاص دهد . علاوه بر این، این طبقه­بندی کننده با ثبت Auc=1 و زمان آموزش 3:28 ثانیه بهترین نتیجه را بر اساس این سنجه های ارزیابی در بین سایر مدل­های طبقه­بندی کنندهای یادگیری ماشین بدست آورده است. در رویکرد یادگیری انتقالی شبکه از پیش آموزش داده شدهvgg19  توانسته است با بدست آوردن صحت 100درصد و زمان آموزش 10:42 ثانیه بهترین عملکرد را دربین سایر شبکه ها به خود اختصاص بدهد. به طورکلی می­توان نتیجه گرفت که در بین رویکرد­های یادگیری ماشین و یادگیری انتقالی شبکه vgg19 از لحاظ همه سنجه های ارزیابی عملکرد بهتری را داشته است. از آن جایی که شبکه از پیش آموزش داده شده vgg19 بر مبنای یادگیری انتقالی عمل می­کند دیگر نیازی به فرآیندهای زمان بر وخسته کننده­ای مانند استخراج ویژگی و انتخاب ویژگی­ها نمی­باشد. اگرچه رویکرد یادگیری انتقالی نیاز به ایجاد معماری­های پیچیده شبکه، زمان آموزش زیاد و مجموعه داده­های بزرگ برای آموزش دارند، اما همه­ی این موارد فقط یک بار اتفاق می­افتد و زمانی که شبکه آموزش داده شد، دیگر نیازی به اجرای مجدد این فرآیندهای خسته کننده نیست. از طرفی رویکرد یادگیری ماشین نیز دارای محدویت هایی از قبیل استخراج ویژگی­ها به صورت دستی، انتخاب ویژگی­ها به صورت تجربی، اجرای مکرر آزمایش­ها به صورت سعی و خطا تا رسیدن به بهترین صحت در نتایج و استفاده از افرادخبره برای برچسب زنی کلاس واقعی داده­ها می باشد، تمام سعی و تلاش محققین ­در فایق آمدن براین محدویت­ها با به کار بردن تکنیک­های جدید است. با این حال صحت بدست آمده در این پژوهش با پژوهش های قبلی قابل مقایسه است که می­توان به مواردی از جمله : طبقه­بندی میوه پاپایا بر مبنای میزان رسیدگی­آن با صحت 7/94 درصد (Pereira et al ., 2018)، طبقه­بندی میزان رسیدگی میوه گوجه فرنگی با استفاده از ماشین بردارپشتیبان با صحت 90 درصد .(El-Bendary et al., 2015) طبقه­بندی سه مرحله رسیدگی میوه خرما با استفاده از تکنیک پردازش تصویر و الگوریتم یادگیری عمیق با صحت 97 درصد Nasiri et al.,2019)  و طبقه­بندی چهار مرحله رسیدگی میوه موز با استفاده از الگوریتم یادگیری عمیق با صحت 4/96 (Saranya et al., 2021) اشاره کرد. بر اساس نتایج بدست آمده می­توان عنوان کرد که طبقه بندی میوه پاپایا بر اساس میزان رسیدگی­ آن با استفاده از الگوریتم­های پیشنهادی می­تواند جایگزینی مناسب برای روش­های سنتی طبقه­بندی این میوه باشد، همچنین به منظور کاهش ضایعات محصولات کشاورزی و افزایش کیفیت درجه­بندی محصولات می توان از الگوریتم پیشنهادی در بعد صنعتی نیز استفاده کرد.

 

REFRENCES

 

Aggarwal, C.C., 2018. Neural networks and deep learning. Springer, 10(978), p.3.

Al Ohali, Y., 2011. Computer vision based date fruit grading system: Design and implementation. Journal of King Saud University-Computer and Information Sciences, 23(1), pp.29-36.

Asad, M.H. and Bais, A., 2020. Weed detection in canola fields using maximum likelihood classification and deep convolutional neural network. Information Processing in Agriculture, 7(4), pp.535-545.

Azadnia, R., Kheiralipour, K. and Jafarian, M., 2022. Classification of hawthorn fruit based on ripeness level by machine vision. Innovative Food Technologies, 9(4), pp.331-344.

Baigvand, M., Banakar, A., Minaei, S., Khodaei, J. and Behroozi-Khazaei, N., 2015. Machine vision system for grading of dried figs. Computers and Electronics in Agriculture, 119, pp.158-165.

Behera, S.K., Rath, A.K. and Sethy, P.K., 2021. Maturity status classification of papaya fruits based on machine learning and transfer learning approach. Information Processing in Agriculture, 8(2), pp.244-250.

Challenge, I.L.S.V.R., 2012. Available online: http://www. image-net. org/challenges. LSVRC/2012/(Last visited on 9 Dec. 2020).

Dalal, N. and Triggs, B., 2005, June. Histograms of oriented gradients for human detection. In 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05) (Vol. 1, pp. 886-893). Ieee.

Damez, J.L. and Clerjon, S., 2008. Meat quality assessment using biophysical methods related to meat structure. Meat science, 80(1), pp.132-149.

Devi, P.L. and Varadarajan, S., 2013. Defect fruit image analysis using advanced bacterial foraging optimizing algorithm. IOSR J Comput Eng, 14(1), pp.22-6..

Dubey, S.R. and Jalal, A.S., 2015. Application of image processing in fruit and vegetable analysis: a review. Journal of Intelligent Systems, 24(4), pp.405-424.

El-Bendary, N., El Hariri, E., Hassanien, A.E. and Badr, A., 2015. Using machine learning techniques for evaluating tomato ripeness. Expert Systems with Applications, 42(4), pp.1892-1905.

El-Gendy, M. 2020. Deeplearning for vision system. (1th ed). Translated by Ayub Turkian.Tehran. Niaze- Danesh Publications. (In Farsi)

Farokhzad, S., Modaress Motlagh, A., Ahmadi Moghadam, P., Jalali Honarmand, S. and Kheiralipour, K., 2020. Application of infrared thermal imaging technique and discriminant analysis methods for non-destructive identification of fungal infection of potato tubers. Journal of Food Measurement and Characterization, 14, pp.88-94.

Gongal, A., Karkee, M. and Amatya, S., 2018. Apple fruit size estimation using a 3D machine vision system. Information Processing in Agriculture, 5(4), pp.498-503.

Guo, X., Zhao, X., Liu, Y. and Li, D., 2019. Underwater sea cucumber identification via deep residual networks. Information Processing in Agriculture, 6(3), pp.307-315.

Haralick, R.M., Shanmugam, K. and Dinstein, I.H., 1973. Textural features for image classification. IEEE Transactions on systems, man, and cybernetics, (6), pp.610-621.

Huang, T., Yang, R., Huang, W., Huang, Y. and Qiao, X., 2018. Detecting sugarcane borer diseases using support vector machine. Information processing in agriculture, 5(1), pp.74-82.

Jadhav, R.S. and Patil, S.S., 2013. A fruit quality management system based on image processing. IOSR Journal of Electronics and Communication Engineering (IOSR-JECE), 8(6), pp.01-05.

Ji, M., Zhang, L. and Wu, Q., 2020. Automatic grape leaf diseases identification via UnitedModel based on multiple convolutional neural networks. Information Processing in Agriculture, 7(3), pp.418-426.

Kaur, H., Sawhney, B.K. and Jawandha, S.K., 2018. Evaluation of plum fruit maturity by image processing techniques. Journal of Food Science and Technology, 55, pp.3008-3015.

Kavdır, I. and Guyer, D.E., 2004. Comparison of artificial neural networks and statistical classifiers in apple sorting using textural features. Biosystems engineering, 89(3), pp.331-344.

Kheiralipour, K., Ahmadi, H., Rajab pour, A. & Rafiee, S. 2018. Thermal Imaging, Principles, Methods and Applications. Ilam Uni Pub. Ilam, Iran. (In Farsi).

Kheiralipour, K. and Kazemi, A., 2020. A new method to determine morphological properties of fruits and vegetables by image processing technique and nonlinear multivariate modeling. International Journal of Food Properties, 23(1), pp.368-374.

Khodaei, J., BehrooziKhazaei, N.& HosseinzadehRendi, A. 2018 . Classification of Strawberry Based on Maturity Rate and Size Using Machine Vision. Biosystem Engineering of Iran,50(1),145-154 (In Farsi).

Leekul, P., Chivapreecha, S., Phongcharoenpanich, C. and Krairiksh, M., 2016. Rician k-factors-based sensor for fruit classification by maturity stage. IEEE Sensors Journal, 16(17), pp.6559-6565.

Liu, C., Liu, W., Lu, X., Ma, F., Chen, W., Yang, J. and Zheng, L., 2014. Application of multispectral imaging to determine quality attributes and ripeness stage in strawberry fruit. PloS one, 9(2), p.e87818.

Magwaza, L.S. and Opara, U.L., 2015. Analytical methods for determination of sugars and sweetness of horticultural products—A review. Scientia Horticulturae, 184, pp.179-192.

Marimuthu, S. and Roomi, S.M.M., 2017. Particle swarm optimized fuzzy model for the classification of banana ripeness. IEEE Sensors Journal, 17(15), pp.4903-4915.

Medina JD, Gutie´rrez GV, Garcı´a HS. Pawpaw. (2014). Post-harvest operation. Compendium on Post-harvest Operations. Link: <http://www.fao.org/fileadmin/user_upload/inpho/docs/ Post_Harvest_Compendium_-_Pawpaw__Papaya_.pdf>.

Mohammadi, V., Kheiralipour, K. and Ghasemi-Varnamkhasti, M., 2015. Detecting maturity of persimmon fruit based on image processing technique. Scientia Horticulturae, 184, pp.123-128.

Nandi, C.S., Tudu, B. and Koley, C., 2014. A machine vision-based maturity prediction system for sorting of harvested mangoes. IEEE Transactions on Instrumentation and measurement, 63(7), pp.1722-1730.

Nasiri, A., Taheri-Garavand, A. and Zhang, Y.D., 2019. Image-based deep learning automated sorting of date fruit. Postharvest biology and technology, 153, pp.133-141.

Ojala, T., Pietikainen, M. and Maenpaa, T., 2002. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on pattern analysis and machine intelligence, 24(7), pp.971-987.

Omid, M., Khojastehnazhand, M. and Tabatabaeefar, A., 2010. Estimating volume and mass of citrus fruits by image processing technique. Journal of food Engineering, 100(2), pp.315-321.

Patel, K.K., Kar, A., Jha, S.N. and Khan, M.A., 2012. Machine vision system: a tool for quality inspection of food and agricultural products. Journal of food science and technology, 49, pp.123-141.

Pereira, L.F.S., Barbon Jr, S., Valous, N.A. and Barbin, D.F., 2018. Predicting the ripening of papaya fruit with digital imaging and random forests. Computers and Electronics in Agriculture, 145, pp.76-82.

Rocha, A., Hauagge, D.C., Wainer, J. and Goldenstein, S., 2010. Automatic fruit and vegetable classification from images. Computers and Electronics in Agriculture, 70(1), pp.96-104.

Saranya, N., Srinivasan, K. and Kumar, S.P., 2022. Banana ripeness stage identification: a deep learning approach. Journal of Ambient Intelligence and Humanized Computing, 13(8), pp.4033-4039.

Savakar, D.G. and Anami, B.S., 2015. Grading of bulk food grains and fruits using computer vision. Journal of Agricultural Engineering and Biotechnology, 3(1), p.1.

Sharma, P., Berwal, Y.P.S. and Ghai, W., 2020. Performance analysis of deep learning CNN models for disease detection in plants using image segmentation. Information Processing in Agriculture, 7(4), pp.566-574.

Surya Prabha, D. and Satheesh Kumar, J., 2015. Assessment of banana fruit maturity by image processing technique. Journal of food science and technology, 52, pp.1316-1327.

Wang, A., Zhang, W. and Wei, X., 2019. A review on weed detection using ground-based machine vision and image processing techniques. Computers and electronics in agriculture, 158, pp.226-240.

Zhang, Y. and Wu, L., 2012. Classification of fruits using computer vision and a multiclass support vector machine. sensors, 12(9), pp.12489-12505.

Zhang, Y., Wang, S., Ji, G. and Phillips, P., 2014. Fruit classification using computer vision and feedforward neural network. Journal of Food Engineering, 143, pp.167-177. DataMendly <http\\www.Data.Mendly.com> Sbaj.ir <http\\www.Sbaj.ir>

 

 

 

Classification of Papaya fruit Based on Maturity, Using Machine Learning and Transfer Learning Approach

 

Mohammad Ghorbani1, Mostafa Ghazizadeh Ehsaei2* and| Kazem Jafari naeimi3

1 Biosystems Engineering Dept., Faculty of Agriculture, Shahid Bahonar University of Kerman, Kerman, Iran.

2 Assistant Professor,computer Engineering Department, Faculty of Engineering, Shahid Bahonar University of Kerman, kerman, Iran

3 Biosystems Engineering Dept., Faculty of Agriculture, Shahid Bahonar University of Kerman, Kerman, Iran.

* Corresponding Author’s Email: [e-mail]

(Received: December. 25, 2023 – Accepted: March. 19, 2024)

 

 

ABSTRACT

 

Grading and packing fruits based on visual inspections can be time-consuming, destructive, and unreliable. The objective of the conducted research is to provide an intelligent, fast and reliable classification method to detect the maturity of papaya fruit in three levels: immature, partially mature and mature. The total number of images used in this article is 300 images, 100 images have been collected for each level. In this paper, the use of two approaches, machine learning and transfer learning, is proposed to classify papaya fruit maturity status. The machine learning approach includes the use of three feature descriptors and three different classifiers, which are: local binary pattern (LBP), Gray Level Cooccurrence Matrix (GLCM), histogram of oriented gradients (HOG), k-nearest neighbor (KNN) classification algorithm, support vector machine (SVM) and Naïve Bayes classification algorithm. Transfer learning methods include the use of six pre-trained deep learning models Alex net, Google net, Resnet101, Resnet50, Resnet18, VGG19. KNN classifier using HOG feature descriptor has achieved 95.4% accuracy and 3:52 seconds training time. The classifier based on transfer learning approach VGG19 was able to record better performance among other deep learning networks by obtaining 100% accuracy and training time of 10:42 seconds. Two classification methods using machine learning and transfer learning methods have been able to obtain accuracy of 95.4% and 100%, respectively, which are 0.7% and 6% more than the existing proposed methods.

 

Keywords: Feature descriptors, Grading, Machine learning, Maturity, Transfer learning