کاربردهای یادگیری عمیق در تصویربرداری سرطان پستان: دستاوردهای گذشته و چالش های آینده

محورهای موضوعی : مهندسی پزشکی

زهرا مقصودزاده سروستانی ¹ , سلما شیردل ²

1 - گروه مهندسی برق، واحد شیراز، دانشگاه آزاد اسلامی، شیراز، ایران
2 - دانشجو، دانشگاه صدا و سیما، دانشکده فنی و مهندسی رسانه

تاریخ دریافت : 1403/06/05 تاریخ پذیرش : 1403/06/28 تاریخ انتشار : 1403/06/31

کلید واژه: ماموگرافی, سونوگرافی, تصویربرداری تشدید مغناطیسی, یادگیری عمیق,

چکیده مقاله :

از سال ۲۰۲۰، سرطان سینه به شایع ترین بدخیمی تشخیص داده شده در سراسر جهان تبدیل شده است. نقش تصویربرداری پستان در تشخیص زودهنگام و مداخله برای بهبود نتایج بیمار بسیار مهم است. در دهه گذشته، یادگیری عمیق انقلابی در تجزیه و تحلیل تصویربرداری سرطان پستان ایجاد کرده است و پیشرفت های قابل توجهی در تفسیر داده های پیچیده از روش های مختلف تصویربرداری ارائه می دهد. با تکامل سریع فناوری یادگیری عمیق و افزایش بروز سرطان سینه، مرور دستاوردهای گذشته و شناسایی چالش های آینده ضروری است. این مقاله بررسی گسترده ای از تحقیقات تصویربرداری سرطان پستان مبتنی بر یادگیری عمیق را ارائه می دهد که بر مطالعات مربوط به ماموگرافی، سونوگرافی، تصویربرداری تشدید مغناطیسی و تصاویر آسیب شناسی دیجیتال در ده سال گذشته تمرکز دارد. روش‌های یادگیری عمیق اولیه و کاربردهای آن‌ها در غربالگری، تشخیص، پیش‌بینی پاسخ درمان و پیش‌آگهی مبتنی بر تصویربرداری را برجسته می‌کند. بر اساس یافته‌های تحقیق، ما چالش‌ها را مورد بحث قرار می‌دهیم و جهت‌های تحقیقاتی بالقوه آینده در تصویربرداری سرطان پستان مبتنی بر یادگیری عمیق را پیشنهاد می‌کنیم.

چکیده انگلیسی:

Since 2020, breast cancer has become the most frequently diagnosed malignancy worldwide. The role of breast imaging in early detection and intervention is critical for improving patient outcomes. In the past decade, deep learning has revolutionized the analysis of breast cancer imaging, providing significant advancements in interpreting the complex data from various imaging modalities. With the rapid evolution of deep learning technology and the increasing incidence of breast cancer, it is essential to review past achievements and identify future challenges. This paper offers an extensive review of deep learning-based breast cancer imaging research, focusing on studies involving mammograms, ultrasound, magnetic resonance imaging, and digital pathology images over the last ten years. It highlights the primary deep learning methods and their applications in imaging-based screening, diagnosis, treatment response prediction, and prognosis. Based on the research findings, we discuss the challenges and propose potential future research directions in deep learning-based breast cancer imaging

منابع و مأخذ:
#H. Sung et al., “Global cancer statistics 2020: Globocan estimates of incidence and mortality worldwide for 36 cancers in 185 countries,”CA: a cancer journal for clinicians, vol. 71, no. 3, pp. 209–249, 2021#

متن کامل:



Deep Learning Applications in Breast Cancer Imaging… / Maghsoodzadeh and Shirdel

Deep Learning Applications in Breast Cancer Imaging:

 Past Achievements and Future Challenges

Zahra MaghsoodzadehSarvestani1*, Salma Shirdel2

1 Department of Electrical Engineering, Shiraz Branch, Islamic Azad University, Shiraz, Iran

[e-mail]

2 Faculty of Media Engineering and Technology, IRIB University, Tehran, Iran

[e-mail]

Abstract: Since 2020, breast cancer has become the most frequently diagnosed malignancy worldwide. The role of breast imaging in early detection and intervention is critical for improving patient outcomes. In the past decade, deep learning has revolutionized the analysis of breast cancer imaging, providing significant advancements in interpreting the complex data from various imaging modalities. With the rapid evolution of deep learning technology and the increasing incidence of breast cancer, it is essential to review past achievements and identify future challenges. This paper offers an extensive review of deep learning-based breast cancer imaging research, focusing on studies involving mammograms, ultrasound, magnetic resonance imaging, and digital pathology images over the last ten years. It highlights the primary deep learning methods and their applications in imaging-based screening, diagnosis, treatment response prediction, and prognosis. Based on the research findings, we discuss the challenges and propose potential future research directions in deep learning-based breast cancer imaging.

Keywords: Mammograms, Ultrasound, Magnetic Resonance Imaging, Deep Learning.

JCDSA, Vol. 2, No. 2, Summer 2024	Online ISSN: 2981-1295	Journal Homepage: https://sanad.iau.ir/en/Journal/jcdsa
Received: 2024-08-26	Accepted: 2024-09-18	Published: 2024-09-21
CITATION	Maghsoodzadeh, Z., Shirdel, S., "Deep Learning Applications in Breast Cancer Imaging: Past Achievements and Future Challenges", Journal of Circuits, Data and Systems Analysis (JCDSA), Vol. 2, No. 2, pp. 39-49, 2024. DOI: 00.00000/0000
COPYRIGHTS	©2024 by the authors. Published by the Islamic Azad University Shiraz Branch. This article is an open-access article distributed under the terms and conditions of the Creative Commons Attribution 4.0 International (CC BY 4.0) https://creativecommons.org/licenses/by/4.0

 

* Corresponding author

 

Extended Abstract

1-       Introduction

This article explores the advancements made over the past decade in utilizing deep learning for breast cancer image analysis. Since 2020, breast cancer has held the highest incidence rate among all malignancies globally. Breast imaging is vital for early diagnosis and intervention, enhancing outcomes for patients with breast cancer. Throughout the last decade, deep learning has shown remarkable progress in analyzing breast cancer images, fostering great optimism for interpreting the rich and complex information embedded in these images.

2-       Deep Learning Methods for Breast Cancer Analysis

·       Classification: Deep learning models are employed to classify images into different categories, such as the presence or absence of cancer. These models are trained using Convolutional Neural Networks (CNN) to extract important features from images and make decisions based on them. For example, the Densely Connected Network (DenseNet) model is one of the successful models in this field, achieving high accuracy in detecting breast cancer through the use of dense layers.

·       Detection: Deep learning techniques are utilized to identify and locate suspicious areas in images. These models generally employ convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to pinpoint these regions. Such methods can aid radiologists in detecting suspicious areas more swiftly and accurately.

·       Segmentation: The goal of these methods is to deliver pixel-wise predictions that define the exact boundaries of tumors. Deep learning models like U-Net and SegNet are employed for this task. These models pinpoint the precise tumor boundaries in images through convolutional and recurrent layers, aiding doctors in developing more accurate treatment plans for patients.

3-       Deep Learning Applications in Breast Cancer

·       Screening and Diagnosis: Utilizing deep learning for the early and more precise detection of breast cancer via mammography, ultrasound, and MRI images. These models can autonomously analyze images and pinpoint suspicious areas, aiding in reducing diagnosis time and enhancing accuracy.

·       Predicting Treatment Response and Prognosis: Deep learning models are used to predict patients' response to treatment and predict long-term outcomes. These models can analyze clinical and image data to predict which patients will respond positively to certain treatments and which patients need alternative treatments.

·       Pathology Image Analysis: Deep learning models are used to analyze digital pathology images. These models can identify cancer cells in pathology images and help doctors make a more accurate diagnosis. These methods can help reduce human errors and increase diagnostic accuracy.

4-       Results )Deep Learning Applications(

·       Screening and diagnosis: Deep learning models have been used to detect breast cancer earlier and more accurately through mammography, ultrasound, and MRI. These models can automatically analyze images and identify suspicious areas, which can help reduce detection time and increase accuracy.

·       Predicting treatment response and prognosis: Deep learning models are used to predict patients' response to treatment and predict long-term outcomes. These models can analyze clinical and image data to predict which patients will respond positively to certain treatments and which patients need alternative treatments.

·       Pathology Image Analysis: Deep learning models are used to analyze digital pathology images. These models can identify cancer cells in pathology images and help doctors make a more accurate diagnosis. These methods can help reduce human errors and increase diagnostic accuracy.

5-       Challenges and future directions:

Challenges:

·       Need for big, high-quality data: Deep learning models require big, high-quality data for training. Collecting and labeling this data is time-consuming and costly.

·       Interpretability of models: One of the main challenges of deep learning is the interpretability of models. Deep learning models are known as "black boxes," and it's difficult to figure out how they came to a specific outcome.

·       Adaptability of models to new data: Deep learning models need to be able to adapt to new and diverse data. This requires improving training methods and increasing the generalizability of models.

Future directions:

·       Semi-supervised learning and transferential learning: The use of semi-supervised learning and transferential learning can help reduce the need for labeled data and increase the accuracy of models.

·       Multifaceted learning: Using multiple data such as images, clinical data, and genetic data can help in a more comprehensive and accurate analysis.

·       International cooperation: International cooperation and the use of big data can lead to further advancements in this area.

 

 کاربردهای یادگیری عمیق در تصویربرداری سرطان پستان:

دستاوردهای گذشته و چالش­های آینده

زهرا مقصودزاده سروستانی1¹، سلما شیردل2

1- گروه مهندسی برق، واحد شیراز، دانشگاه آزاد اسلامی، شیراز، ایران ([e-mail])

2- دانشکده فنی و مهندسی رسانه، دانشگاه صدا و سیما، تهران، ایران ([e-mail])

چکیده: از سال ۲۰۲۰، سرطان سینه به شایع­ترین بدخیمی تشخیص داده شده در سراسر جهان تبدیل شده است. نقش تصویربرداری پستان در تشخیص زودهنگام و مداخله برای بهبود نتایج بیمار بسیار مهم است. در دهه گذشته، یادگیری عمیق انقلابی در تجزیه و تحلیل تصویربرداری سرطان پستان ایجاد کرده است و پیشرفت­های قابل توجهی در تفسیر داده­های پیچیده از روش­های مختلف تصویربرداری ارائه می­دهد. با تکامل سریع فناوری یادگیری عمیق و افزایش بروز سرطان سینه، مرور دستاوردهای گذشته و شناسایی چالش­های آینده ضروری است. این مقاله بررسی گسترده­ای از تحقیقات تصویربرداری سرطان پستان مبتنی بر یادگیری عمیق را ارائه می­دهد که بر مطالعات مربوط به ماموگرافی، سونوگرافی، تصویربرداری تشدید مغناطیسی و تصاویر آسیب شناسی دیجیتال در ده سال گذشته تمرکز دارد. روش‌های یادگیری عمیق اولیه و کاربردهای آن‌ها در غربالگری، تشخیص، پیش‌بینی پاسخ درمان و پیش‌آگهی مبتنی بر تصویربرداری را برجسته می‌کند. بر اساس یافته‌های تحقیق، چالش‌ها مورد بحث قرار می‌گیرد و جهت‌های تحقیقاتی بالقوه آینده در تصویربرداری سرطان پستان مبتنی بر یادگیری عمیق پیشنهاد می‌شود.

واژه های کلیدی: ماموگرافی، سونوگرافی، تصویربرداری تشدید مغناطیسی، یادگیری عمیق.

DOI: 00.00000/0000		نوع مقاله: مروری
تاریخ چاپ مقاله:  31/06/1403	تاریخ پذیرش مقاله:  28/06/1403	تاریخ ارسال مقاله: 05/06/1403

 

---

[1]  نویسنده­ مسئول

 

1-       مقدمه

سرطان سینه به بیماری بدخیمی با بالاترین میزان بروز جهانی با حدود 3/2 میلیون مورد جدید در سال ۲۰۲۰ تبدیل شده‌است. اگرچه نرخ مرگ و میر از سال ۱۹۸۹ به طور پیوسته کاهش‌یافته [‏1]‏؛ سرطان سینه پنجمین علت مرگ و میر سرطان در جهان و علت اصلی مرگ و میر ناشی از سرطان در زنان است. با افزایش نرخ بروز در بیشتر چهار دهه گذشته و برآورد ۶۸۵۰۰۰ مرگ در سال ۲۰۲۰، سرطان سینه را می­توان به دو دسته سرطان تهاجمی و سرطان درجا طبقه‌بندی کرد. آمارهای اخیر توسط انجمن سرطان آمریکا نشان داد که طول عمر سرطان سینه به طور قابل‌توجهی با تشخیص مرحله به مرحله تغییر می‌کند. نرخ بقای پنج ساله بیماران آمریکایی تشخیص‌داده ‌شده در طول ۲۰۱۲ - ۲۰۱۸ برای مرحله اول ۹۹%، برای مرحله دوم ۹۳%، برای مرحله سوم ۷۵% و برای مرحله چهارم ۲۹% بود. تشخیص زودهنگام و درمان‌های سیستمیک کارآمد در کاهش میزان مرگ و میر سرطان سینه ضروری هستند. تصویربرداری پستان، از جمله ماموگرافی، سونوگرافی، تصویربرداری رزونانس مغناطیسی و تصویربرداری پاتولوژی، نقش حیاتی در ارائه تحقیقات میکروسکوپی و ماکروسکوپی از سرطان سینه برای هدایت تصمیمات درمانی ایفا کرده‌است. همچنین ثابت شده که ماموگرافی (که برای اولین بار در سال ۱۹۱۳ انجام شد) پس از پی‌گیری طولانی‌مدت، میزان مرگ و میر ناشی از سرطان پستان را کاهش می‌دهد. ماموگرافی از اشعه ایکس کم‌انرژی برای بررسی سینه استفاده می‌کند؛ که اغلب با قرار دادن بافت‌ها در یک تصویر دو بعدی انجام می‌شود. غربالگری ماموگرافی مبتنی بر جمعیت سازمان‌یافته برای زنان توسط سازمان بهداشت جهانی توصیه می‌شود‏ که می‌تواند تشخیص زودهنگام و بهبود پیش‌آگهی برای بیماران بالقوه را فراهم کند‏. علاوه بر غربالگری، ماموگرام­ها نیز برای تشخیص اختلالاتی مانند توده‌ها، کلسیفیکاسیون‌ها، تحریفات معماری یا عدم تقارن بافت، مورد استفاده قرار می‌گیرند. با توجه به ماهیت برهم­نهی ماموگرام­های دو بعدی، این روش می‌تواند برای اطلاعات غنی‌تر مورد نیاز باشد. نماهای استاندارد ماموگرافی، نمای کرانیوکودال (‏CC)¹‏ و نمای میانی-جانبی (‏MLO)‏² برای هر دو سینه هستند، که به ترتیب مستقیماً از بالا و از یک سمت زاویه‌دار پستان گرفته شده‌اند. تصویرهای اضافی نیز ممکن است بسته به نیازهای عملی گرفته شوند. ترکیب دیجیتال ماموگرافی³ (‏DBT)‏، که به عنوان ماموگرافی سه‌بعدی نیز در نظر گرفته می­شود، معرفی شده تا زمینه­ی فضایی بیشتری را برای بررسی دقیق سینه­ها فراهم کند و به عنوان استاندارد مراقبت‌های تصویربرداری سینه در حال ظهور است‏.

تصویربرداری اولتراسوند (‏سونوگرافی)‏ از امواج صوتی فرکانس بالا برای مشاهده داخل بدن بدون هیچگونه اشعه یونیزه‌کننده استفاده می‌کند. از زمان تلاش‌های اولیه در توصیف ویژگی‌های صوتی تومورهای سینه‏، تصویربرداری اولتراسونیک دست‌خوش یک سری تحولات هم در طراحی ابزار و هم در کاربردهای بالینی شده‌است. در طول چند دهه گذشته، کیفیت تصاویر سونوگرافی تا حد زیادی با پیشرفت در طراحی مبدل، الکترونیک، کامپیوتر و سیگنال‌ها بهبود یافته‌است. بنابراین، سونوگرافی به یک حالت اصلی تصویربرداری برای تشخیص سرطان سینه در معاینات بالینی تبدیل شده‌است. در حال حاضر، سونوگرافی پستان به طور گسترده برای تشخیص کیست‌ها و گره‌های جامد با ویژگی بالا [‏2] و طبقه‌بندی توده‌های جامد به عنوان خوش‌خیم یا بدخیم در ترکیب با ماموگرافی [‏3]‏ استفاده می‌شود. همچنین در غربالگری و تشخیص سرطان‌های پستان در مراحل اولیه مفید بوده و برای زنان آسیایی با پستان‌های متراکم توصیه می‌شود [‏4]‏. به دلیل سهولت استفاده و قابلیت تصویربرداری بلادرنگ، سونوگرافی پستان، در مقایسه با بیوپسی‌های پستان و دیگر روش‌های مداخله‌ای تهاجمی از محبوبیت برخوردار است. حالت مد­برایتنس⁴ رایج‌ترین شکل تصویربرداری اولتراسونیک برای سینه‌ها است. تصویربرداری ترکیبی و تصویربرداری هارمونیک نیز به طور فزاینده‌ای برای تصویرسازی ضایعات سینه و کاهش مصنوعات تصویر به کار می‌روند. علاوه بر این، علاقه فزاینده­ای به استفاده از سونوگرافی داپلر رنگی و عوامل کنتراست برای اندازه­گیری جریان خون تومور و تصویربرداری از عروق تومور وجود دارد.

ام­آرآی⁵ [‏5]‏ از امواج رادیویی و میدان­های مغناطیسی برای تولید اطلاعات دقیق‌تر استفاده می‌کند؛ که اغلب یک تصویر سه‌بعدی از داخل سینه است. از زمان اختراع ام­آرآی در سال ۱۹۷۱، ارزیابی‌های بالینی متعددی شاهد کارایی ام­آرآی سینه بوده‌اند. ام­آر­آی پستان بالاترین حساسیت را در میان روش‌های تصویربرداری رادیولوژی برای تشخیص سرطان سینه دارد [‏6]‏؛ و به طور گسترده به عنوان یک ابزار کمکی برای تشخیص و پیش‌بینی ضایعات مرتبط با سینه استفاده می‌شود. امروزه، آزمایش‌های ام­آرآی در حال تبدیل شدن به روش‌های اصلی اسکن کردن برای نظارت بر پاسخ دوره درمان و عود است؛ که جزئیات بیشتری از سینه‌ها را بدون معرفی پرتو‌ای یونیزه‌کننده ارائه می‌دهد. با توجه به اینکه آناتومی سینه شامل انواع مختلفی از بافت‌ها است، تکنیک سرکوب چربی [‏7]‏ برای سرکوب سیگنال از بافت چربی به عنوان یک مرحله کمکی معرفی شده‌است. برای فراهم کردن کانون‌های مرئی مختلف، انواع مختلفی از توالی‌ها می‌توانند تولید شوند [8]؛‏ که شامل 1T - موزون، 2T- موزون⁶ و ام­آرآی انتشار - موزون⁷ است. افزایش کنتراست ام­آرآی دینامیک⁸ به توالی اصلی بالینی و تحقیقاتی تبدیل شده‌است، که می‌تواند اطلاعات اضافی را با مشاهده تغییرات 1T در فازه‌ای متعدد پس از تزریق عامل کنتراست فراهم کند [‏9]‏. ام­آر­آی خلاصه‌شده پستان که از ام­آرآی دینامیک تک‌فاز اولیه استفاده می‌کند، به عنوان یک روش معاینه کوتاه­شده برای غربالگری سرطان پستان معرفی شده‌است [10]‏.

آسیب‌شناسی پستان یک بررسی میکروسکوپی برای سرطان به روش تهاجمی است. در تشخیص بالینی، تحلیل میکروسکوپی توسط تصویربرداری پاتولوژی به عنوان استاندارد طلایی برای تعیین نهایی سرطان سینه در نظر گرفته می‌شود. یک نمونه از بافت سینه بیمار توسط آسیب‌شناسان برداشته می‌شود و بر روی یک اسلاید میکروسکوپی قرار داده می‌شود. سپس از لکه‌های خاص و رنگ‌ها برای شناسایی سلول‌های سرطانی و تایید حضور گیرنده‌های شیمیایی استفاده می‌شود. رایج‌ترین لکه برای نمونه‌های بافت سینه، رنگ‌آمیزی هماتوکسیلین-ائوزین⁹ (‏رنگ‌آمیزی ایرویدی) ‏است [11]؛ که بیش از یک قرن است که مورد استفاده قرار می‌گیرد و هنوز هم فرآیند استاندارد برای تشخیص هیستوپاتولوژیکی است [‏12]‏. علاوه بر این، روش‌های کمکی اغلب برای تکمیل تشخیص مورد نیاز هستند، مانند ایمونوهیستوشیمی¹⁰ ‏[‏13]‏ و هیبریداسیون در محل¹¹ ‏[‏14]‏. در آسیب‌شناسی بالینی معمول، بیومارکرهای پیش‌بینی و پیش‌آگهی گیرنده استروژن¹²‏، گیرنده پروژسترون¹³‏، گیرنده فاکتور رشد اپیدرمی انسان¹⁴‏، و پروتئین هسته‌ای مربوط به تکثیر، توسط IHC تجزیه و تحلیل می‌شود [‏15]‏. توصیف سرطان سینه نیازمند تفسیر اطلاعات بالینی پیچیده ارائه‌شده توسط تصویربرداری پستان از سطح ماکروسکوپی تا سطح میکروسکوپی است. با افزایش سریع مقیاس داده‌های پزشکی و توسعه فناوری تصویربرداری، تحلیل تصاویر با ابعاد بزرگ با هوش مصنوعی (‏AI)‏ وعده بزرگی در بهبود کارایی روش‌های بالینی دارد. هوش مصنوعی فعلی معمولا با یادگیری عمیق (‏DL) ‏نشان داده می‌شود، که دستاوردهای قابل‌توجهی در طول دهه گذشته داشته و به طور گسترده‌ای در زمینه‌های مختلف مانند پردازش تصویر یا تشخیص گفتار مورد استفاده قرار گرفته‌است [‏14]‏. در مقایسه با روش‌های تشخیص کامپیوتری مرسوم که بر ویژگی‌های مهندسی متکی هستند؛ مدل‌های یادگیری عمیق کارایی زیادی در استخراج بازنمایی‌ها از داده‌های با بعد بالا (‏مانند تصاویر)‏ نشان می‌دهند، و عملکرد آنها اغلب با داده‌های آموزشی بیشتر بهتر است.

 

 

 

 

 

 

 

 

---

[1]  نمای CC(Cranio caudal view) بخش میانی پستان و نیز بخش جانبی خارجی پستان را تا جائیکه ممکن است، نشان می‌دهد.

[2]  نمای MLO (Mediolateral oblique view) ربع فوقانی خارجی پستان را که بیشترین پاتولوژی‌های پستان در این منطقه رخ می‌دهد را نشان می‌دهد.

[3]  Digital Breast Tomosynthesis

[4]  مد برایتنس یا B-Mode یک نمایش تصویر اولتراسوند به­صورت دو بعدی است که از نقاط روشنی که پژواک اولتراسوند را نشان می‌دهد تشکیل شده است. میزان روشنایی هر نقطه با دامنه سیگنال اکو برگشتی تعیین می‌شود.

[5]  تصویربرداری تشدید مغناطیسی(Magnetic Resonance Imaging) 

[6]  T1-weighted, T2-weighted

[7]  DW-MRI: Diffusion-weighted MRI

[8]  Dynamic Contrast Enhanced (DCE)-MRI

[9]  hematoxylin-eosin stain (H&Estain)

[10]  Immunohistochemistry (IHC)

[11]  In Situ Hybridization (ISH)

[12]  Predictive and prognostic biomarkers estrogen receptor α 

[13]  Progesterone Receptor (PgR)

[14]  Human epidermal growth factor receptor 2 (HER2)

 شکل (1): روش‌های معمول تصویربرداری شامل ماموگرام، سونوگرافی، تصویربرداری تشدید مغناطیسی (‏ام­آرآی) ‏و تصاویر پاتولوژی ]12[

 

تاکنون، یادگیری عمیق به طور گسترده‌ای برای تجزیه و تحلیل تصاویر پزشکی مورد مطالعه قرار گرفته‌ [‏18]‏ و عملکرد بالایی در زمینه‌های مختلف نشان داده‌است [‏19]‏. با هم‌گرایی AI و عملکرد انسان، امروزه یادگیری­عمیق نیز در حال شکل‌دهی مجدد تحقیقات سرطان و مراقبت بالینی شخصی است. شکل (1) روش‌های معمول تصویربرداری شامل ماموگرافی، سونوگرافی، تصویربرداری تشدید مغناطیسی (‏ام­آرآی)‏ و تصاویر پاتولوژی را نشان می­دهد ]12[. همان طور که در شکل (2) نشان‌داده شده‌ در دهه اخیر تصویربرداری پستان مبتنی بر یادگیری­عمیق پیشرفت چشمگیری داشته‌است. با این حال، یک بررسی گسترده در مورد تجزیه و تحلیل سرطان پستان مبتنی بر یادگیری­عمیق هنوز وجود ندارد تا پیشرفت در روش‌های مختلف تصویربرداری در دهه گذشته را نشان دهد. بنابراین، هدف اصلی این مقاله بررسی توسعه یادگیری عمیق در تصویربرداری سرطان سینه، شناسایی چالش‌هایی که هنوز باید در این زمینه به آن‌ها پرداخته شود، و بررسی راه‌حل‌های بالقوه برای این چالش‌ها است. این بررسی شامل کاربردهایی از غربالگری، تشخیص، و پیش‌بینی پاسخ به درمان برای پیش‌آگهی، پوشش روش‌های تصویربرداری از ماموگرافی، سونوگرافی، و ام­آرآی گرفته تا تصاویر پاتولوژی است. مقاله‌ها از سال ۲۰۱۲ تا ۲۰۲۲ مورد بررسی قرار گرفتند که گستره وسیعی از کاربردهای یادگیری عمیق در تصویربرداری سرطان سینه را پوشش می‌دهند.

ادامه این کار به شرح زیر است: در بخش ۲، روش‌های یادگیری عمیق اصلی مورد استفاده در تحلیل تصویر سرطان سینه معرفی می­شود. در بخش ۳، جزئیات کاربردهای یادگیری عمیق در تجزیه و تحلیل تصویر سرطان سینه در چهار جنبه (غربالگری، تشخیص، پیش‌بینی پاسخ درمان، و پیش‌آگهی) شرح داده شده است. در بخش ۴، چالش‌های اصلی پیش روی این حوزه مورد بحث قرار گرفته و دیدگاه‌های آینده که در پیشبرد این حوزه وعده می‌دهند را برجسته کرده است. در نهایت، در بخش 5 نتیجه‌گیری بیان می­شود.

 

شکل (2): تعداد مقالات ارائه شده در حوزه یادگیری عمیق در تصویربرداری سرطان پستان از سال ۲۰۱۲ تا ۲۰۲۲

2-       یادگیری ­عمیق برای تحلیل سرطان پستان

در این بخش مهم‌ترین روش‌های یادگیری عمیق مورد استفاده در تصویربرداری سرطان سینه معرفی می‌شود. در ابتدا با دسته‌بندی تحلیل تصویر سرطان سینه به سه وظیفه اساسی، یعنی طبقه‌بندی، تشخیص و تقسیم‌بندی، با توجه به انواع خروجی، فرمول‌ها و برخی از مدل‌های یادگیری عمیق که به طور عمده مورد استفاده قرار می‌گیرند را معرفی می‌کنیم. تصویر مختصری از مدل‌های یادگیری عمیق که معمولا در هر وظیفه به کار می‌روند را می­توان در شکل (3) یافت. الگوهای یادگیری عمیق به کار رفته شامل یادگیری با نظارت، یادگیری با نظارت ضعیف، یادگیری بدون نظارت، یادگیری انتقالی و یادگیری چند وجهی است. در قسمت (‏a) ‏یک شبکه طبقه‌بندی که از کانولوشن و ترکیب برای نمونه‌برداری تصویر و در عین حال گسترش کانال‌های ویژگی‌ها استفاده می‌کند. نقشه‌های ویژگی نهایی در یک بردار ویژگی ادغام می‌شوند و اغلب یک لایه کاملا متصل می‌تواند برای انجام طبقه‌بندی براساس بردار ویژگی مورد استفاده قرار گیرد. نقشه‌های ویژگی معمول استخراج‌شده از لایه‌های ۱، ۷ و ۱۷ به ترتیب در (d-b)‏ ‏نشان‌داده شده‌اند.

 

 

 

 

 

شکل (3): تصویر مختصر از مدل‌های یادگیری عمیق، (‏a)‏یک شبکه طبقه‌بندی معمولی، (‏b)‏، (‏c)‏و (‏d)‏ نقشه‌های ویژگی معمول استخراج‌شده از لایه‌های ۱، ۷ و ۱۷ ، (‏e)‏ گردش کار نمونه‌برداری نزولی، (‏f) ‏یک شبکه قطعه‌بندی [‏18]‏

همچنین، (‏e) ‏یک شبکه تشخیص معمول است. گردش کار نمونه‌برداری نزولی اغلب از شبکه طبقه‌بندی پیروی می‌کند. سپس، نقشه‌های ویژگی بالا نمونه‌برداری می‌شوند، ویژگی‌های چندمقیاسی به یک شبکه پیشنهاد ناحیه¹ ‏برای تولید پیشنهاد ناحیه تغذیه می‌شوند، و یک طبقه‌بندی ناحیه‌ای برای تعیین خروجی نهایی انجام می‌شود. در نهایت، (‏f) ‏یک شبکه قطعه‌بندی است که گردش کار نمونه‌برداری نزولی را نشان می­دهد. سپس، نقشه‌های ویژگی چندین بار نمونه‌برداری شده و با ویژگی‌های لایه کم‌عمق الحاق می‌شوند. نتایج نهایی براساس طبقه‌بندی پیکسلی بر روی بزرگ‌ترین نقشه ویژگی به دست آمده‌است. تمام مدل‌ها با پس‌انتشار بهینه‌سازی شده‌اند [‏18].‏

2-‏1-‏       طبقه‌بندی

هدف طبقه‌بندی، ارائه پیش‌بینی‌های گسسته برای طبقه‌بندی کل ورودی‌ها است. به عنوان مثال، عدد 1 برای نشان دادن این که تصویر سینه، شامل سرطان است و عدد ۰ برای نشان دادن این که تصویر شامل سرطان نیست، استفاده می‌شود. یک مدل طبقه‌بندی می‌تواند به عنوان یک تابع نگاشت  در نظر گرفته شود، که در آن  دامنه تصاویر یا ویژگی‌ها و  معمولا یک نمایش یک طرفه از وجود بیماری است. به طور رسمی، با توجه به  یک ورودی،  خروجی هدف، و  خروجی مدل، مدل‌های طبقه‌بندی معمولاً با به حداقل رساندن آنتروپی متقاطع بین  و y بهینه می‌شوند.

برای مدل کردن، مطالعات قبلی از شبکه‌های عصبی مصنوعی [‏19]‏ استفاده می‌کنند که توسط چندین لایه کاملاً متصل ساخته شده‌اند و به عنوان ویژگی‌های دست‌ساز ورودی در نظر گرفته می‌شوند. شبکه عصبی­کانولوشن [‏20]‏ از مهندسی ویژگی خلاص می‌شود و مساله طبقه‌بندی را بر روی تصاویر به طور کامل به پایان می‌رساند. در سال ۲۰۱۲، موفقیت الکسنت [‏21]‏، یک شبکه پنج لایه شبکه عصبی­کانولوشن که با واحد پردازش گرافیکی² کار می‌کرد، عصر یادگیری ­عمیق را با عملکرد خروجی آن در چالش شبکه تصویری³ آغاز کرد‏. گروه هندسه بصری⁴ [‏22]‏، عمق شبکه عصبی­کانولوشن را با هسته‌های کوچک‌تر و تلفات کمکی گسترش داد. شبکه‌های باقی مانده⁵، شبکه عصبی­کانولوشن  را به صدها لایه عمیق‌تر کرده و مشکل گرادیان را با قطع ارتباطات غلبه کردند. بسیاری از شبکه‌های دیگر مانند شبکه با اتصال مستقیم⁶‏[‏24]‏ و مجموعه دریافتی [‏25]‏، به طور گسترده در تصویربرداری سرطان پستان مورد استفاده قرار گرفته‌اند. اخیراً، ترانسفورماتور بینایی [‏27]‏، به عنوان نوعی از شبکه‌های­عصبی­عمیق که عمدتاً مبتنی بر مکانیزم توجه است و پتانسیل زیادی در پردازش تصویر دارد، مورد استفاده قرار گرفته است. لازم به ذکر است که مدل‌های طبقه‌بندی اغلب به عنوان استخراج‌کننده ویژگی برای کارهای دیگری که در بخش‌های بعدی معرفی خواهند شد، استفاده می‌شوند.

2-‏2-‏       تشخیص 

هدف از تشخیص پیش‌بینی نتایج طبقه‌بندی منطقه‌ای ، به عنوان مثال، رسم یک جعبه محدود کننده برای یک بدخیمی شناخته‌شده است. استفاده مجدد از  به عنوان تابع نگاشت یک مدل تشخیص،  دامنه تصاویر باقی می‌ماند، در حالیکه  مجموعه‌ای از   ‏با ناحیه و  کلاس متناظر برای آن ناحیه است. قابل توجه است که  ‏می‌تواند یک مجموعه تهی باشد اگر هیچ ناحیه مورد نظر (‏ROIs)‏ در تصویر وجود نداشته باشد.

رایج‌ترین فرمولاسیون مورد استفاده  یک چهار برابر  است که در آن  و  مرکز یک شیء را نشان می‌دهند و  و  به ترتیب وزن و ارتفاع را نشان می‌دهند. هدف تشخیص اغلب به عنوان وظایف هم‌نژاد شامل   از دست دادن طبقه‌بندی ناحیه‌ایی و  از دست دادن رگرسیون جعبه محدود، رسمیت می‌یابد؛ که در آن  معمولا به صورت اتلاف آنتروپی عرضی شکل می‌گیرد و یک ابرپارامتر موازنه کننده اتلاف است، و  اغلب به صورت یک اتلاف  نرم به صورت زیر فرمول‌بندی می‌شود:

(1)

جایی که  پیش‌بینی مدل است، ti نمایش مکان تبدیل شده بر اساس  برای رگرسیون منظم [29] است، و  را نشان می‌دهد. همچنین گزینه های دیگری برای  (به عنوان مثال، از دست دادن کانونی⁷) و  ([21]) وجود دارد.

(2)

مدل‌های تشخیص شیء اغلب از شبکه‌های طبقه‌بندی به خوبی آموزش‌دیده به عنوان استخراج‌کننده­ویژگی استفاده می‌کنند. برای انجام پیش‌بینی ناحیه‌ای بر روی نقشه‌های ویژگی استخراج‌شده، تعداد قابل ‌توجهی از معماری‌های یادگیری­عمیق پیشنهاد شده‌اند و برخی از مدل‌های پرکاربرد در تصویربرداری سرطان سینه در اینجا پوشش داده شده‌اند. Faster R - CNN [‏21]‏ پیشنهادها (‏یعنی ویژگی‌های موضوع کاندید)‏ را از شبکه عصبی­کانولوشن ازپیش­آموزش‌دیده استخراج کرده و اجرا می‌کند و محلی‌سازی خانواده⁸ و وظایف طبقه‌بندی را انجام می‌دهد. در [‏23] Faster R-CNN ‏ مفهوم لنگرها را با شبکه پیشنهاد منطقه ‏معرفی می‌کند، که سرعت تشخیص را با جعبه‌های مرجع بر روی نقشه‌های ویژگی افزایش می‌دهد. به غیر از روش‌های دو مرحله‌ای ذکر شده که پیشنهادها را استخراج می‌کنند و سپس طبقه‌بندی و رگرسیون را هدایت می‌کنند، آشکارسازهای یک مرحله‌ای برای تسریع بیشتر سرعت استنباط، با نمایندگان کلاسیک مانند سری YOLO [‏24]‏، و RetinaNet [‏25]‏ پیشنهاد می­شود.

2-‏3-‏       قطعه‌بندی

قطعه‌بندی با هدف دادن پیش‌بینی‌های طبقه‌بندی پیکسلی انجام می‌شود، و سپس می‌توان کانتور اشیاء را ترسیم کرد. تقسیم‌بندی بر روی تصاویر دوبعدی در راستای عرض، ارتفاع، کانال و تعداد کلاس‌ها انجام می‌شود. اهداف تقسیم‌بندی تصاویر پزشکی، از دست دادن آنتروپی عرضی به اندازه پیکسل و از دست دادن تاس⁹ است [26]‏ :

(3)

که در آن M تعداد کل پیکسل هاست،  هدف پیکسل i ام است،  پیش‌بینی پیکسل i ام است، و یک پارامتر بیش از حد برای پایداری عددی است. هدف y در اینجا ماسک تصویر نیز نامیده می‌شود.

مدل‌های تقسیم‌بندی برای تصویربرداری پزشکی معمولاً از ساختار رمزگذار-رمزگشا پیروی می‌کنند که ابتدا تصویر ورودی را به ویژگی‌ها  (به عنوان مثال، از طریق کانولوشن و ادغام) پایین می‌آورد و سپس نمونه‌برداری (مثلاً از طریق دکانولوشن و درونیابی)، ویژگی‌ها را به پیش‌بینی‌های پیکسلی تبدیل می‌کند. FCN [‏27]‏ ابتدا آن را به یک طبقه‌بندی­کننده گروه هندسه بصری برای جداسازی تصویر معرفی کرد. U-Net [‏28]‏ فرآیند نمونه‌گیری بالا را به سطوح چندگانه درونیابی گسترش داده و سپس اتصالات صرف‌نظر شده بین مسیرهای رمزگذار و رمزگشا را برای غنی‌سازی جزئیات معرفی می­کند. پس از آن، U-Net و انواع آن [‏29]‏ تقریباً بر حوزه جداسازی تصویر پزشکی تسلط دارند. به‌علاوه، برای جدا کردن نمونه‌های همپوشانی که به یک کلاس تعلق دارند، ابتدا پیشنهادات شیء را روی تصاویر تشخیص می‌دهد و سپس برای هر شیء شناسایی شده تقسیم‌بندی انجام می‌شود.

2-‏4-‏       یادگیری عمیق

با توجه به در دسترس بودن داده‌ها و برچسب‌ها، گزینه‌های متنوعی از پارادایم‌های یادگیری­عمیق برای اعمال مدل‌ها در سناریوهای مختلف وجود دارد. یادگیری با نظارت نیاز به این دارد که تمام نمونه‌های آموزشی دقیقاَ به شکل خروجی‌های هدف (برای مثال، ماسک‌ها برای کار تقسیم‌بندی یا جعبه‌های محدوده بندی برای کار تشخیص) برچسب‌گذاری شوند. یادگیری با نظارت رایج‌ترین شکل یادگیری عمیق است و بخش بزرگی از مطالعات بررسی شده در این مقاله در این دسته جای می‌گیرند. با این حال، یادگیری­عمیق به شدت وابسته به داده است و برچسب زدن تصاویر پزشکی زمان­بر و مبتنی­بر تخصص است. از اینرو، یادگیری تحت نظارت ممکن است راه‌حل بهینه برای بسیاری از سناریوهای عملی تجزیه و تحلیل تصویر پزشکی نباشد. یادگیری تحت نظارت ضعیف¹⁰ زمانی اعمال می‌شود که برچسب داده‌شده در قالب خروجی هدفمند نباشد (به عنوان مثال، استفاده از علامت‌های سطح تصویر برای تشخیص یا تقسیم‌بندی). در تصویربرداری سرطان پستان، روش‌های یادگیری ­با نظارت، نقشه فعال‌سازی کلاس¹¹ ‏[‏30]‏ و یادگیری چند نمونه‌ای¹² ‏[‏22]‏ هستند. از نقشه فعال‌سازی کلاس اغلب برای تشخیص ناهموار ضایعات هدف استفاده می‌شود، که به عنوان نقشه‌های ویژگی وزن‌دهی شده توسط گرادیان‌های مربوطه محاسبه می‌شوند. مقادیر بالاتر در نقشه فعال‌سازی کلاس، نشان‌دهنده مناطقی است که سهم بیشتری در پیش‌بینی نهایی دارند. یادگیری چندنمونه‌ای، یک تصویر ورودی را به عنوان یک کیسه از نمونه‌ها (‏تکه‌های تصویر) در نظر می‌گیرد ‏که تنها زمانی منفی است که همه نمونه‌ها منفی باشند. هدف یادگیری چند نمونه‌ای اغلب توسعه یک طبقه‌بندی­کننده سطح کیفی است؛ که یک استراتژی کاملا رایج در پردازش کل تصاویر پاتولوژی اسلاید است که از مقیاس پیکسل گیگا هستند. همانند نقشه فعال‌سازی کلاس، یادگیری چند نمونه‌ای را نیز می توان برای تعیین محل ضایعات با تاکید بر موارد بیشتر کمک شده مورد استفاده قرار داد.

2-‏5-‏       یادگیری نیمه نظارت شده¹³

یادگیری نیمه‌نظارت شده می‌تواند به عنوان نوع دیگری از یادگیری تحت نظارت ضعیف در نظر گرفته شود، که استفاده از مقدار زیادی از داده‌های برچسب­دار نشده همراه با داده‌های برچسب‌گذاری شده محدود را ممکن می‌سازد. روش‌های یادگیری نیمه‌نظارت شده مبتنی ­بر گراف، حداقل‌سازی آنتروپی، برچسب­زدن کاذب، مدل‌سازی مولد، یا یادگیری سازگاری هستند. اخیراً، رویکردهای مبتنی بر سازگاری موفقیت بزرگی را در یادگیری نیمه‌نظارت شده نشان داده‌اند، که تنظیم مدل را تزریق می‌کند که پیش‌بینی‌های نسخه‌های اختلالی مختلف یک مدل باید سازگار باقی بمانند.

2-‏6-‏       یادگیری بدون نظارت

یادگیری بدون نظارت، داده‌های بدون برچسب را برای آموزش مدل پوشش، اغلب با هدف خوشه‌بندی یا کاهش ابعاد، به کار می‌برد. در ادبیات تحلیل تصویر سرطان سینه مبتنی بر یادگیری­عمیق، دو جهت اصلی در یادگیری بدون نظارت مدل‌سازی مولد و یادگیری خودنظارتی، توجه تحقیق را به خود جلب کرده‌است. اولی از روش‌های تولیدی مانند شبکه رقیب تولیدی¹⁴ ‏[‏23]‏ برای مدلسازی توزیع­داده و تولید نمونه‌های جدید استفاده می‌کند که اغلب در یادگیری نیمه‌نظارت شده نیز استفاده می‌شود. یادگیری خودنظارتی، یک شبکه­عصبی را بر روی تصاویر بدون برچسب آموزش می‌دهد تا نمایش را برای وظایف پایین‌دست تحت­نظارت یادبگیرد [24]‏. یادگیری خود­نظارتی قدرت قابل توجهی را در کاهش نیاز به مقدار زیادی از داده­های برچسب­گذاری شده پایین دستی نشان داده است، که در تحلیل تصاویر پزشکی نویدبخش است.

هدف از یادگیری انتقال، انتقال دانش آموخته‌شده در یک دامنه منبع به دامنه هدف است، که به ویژه زمانی مفید است که دامنه هدف داده‌های زیادی ندارد. یک استراتژی یادگیری انتقال رایج در تصویربرداری پزشکی، پیش آموزش شبکه‌ها بر روی مجموعه داده‌های تصویر طبیعی در مقیاس بزرگ، مانند شبکه تصویری است [‏20]‏. اخیراً، تطبیق دامنه [‏25]‏ و تعمیم دامنه [‏26]‏ نیز توجه زیادی را به خود جلب کرده‌اند، که شکاف‌های بین دامنه منبع و دامنه هدف را کاهش می‌دهد.

هدف یادگیری­ چند­وجهی، پردازش و خلاصه کردن اطلاعات از دیدگاه‌ها و روش‌های مختلف یک موضوع است. با در نظر گرفتن فرآیند معاینه سرطان سینه به عنوان مثال، داده‌های چندوجهی از ماموگرام، سونوگرافی، ام­آرآی تا تصاویر پاتولوژی را می­توان تولید کرد و با یکدیگر مورد استفاده قرار داد. داده‌های چندوجهی می‌توانند اطلاعات غنی و تکمیلی را از ماکروسکوپ به میکروسکوپ فراهم کنند. لازم به ذکر است که داده‌های چند وجهی را نیز می­توان با یک نوع از تکنیک‌های تصویربرداری، مانند ماموگرام­های چند­نمایی یا ام­آرآی­های چند توالی، به دست آورد. به طور معمول در تصویربرداری پستان، یادگیری چند­وجهی بر استراتژی‌های ترکیب اطلاعات تمرکز می‌کند که عمدتا شامل ترکیب اولیه (‏یعنی اطلاعات در سطح ورودی)‏، ترکیب مشترک (‏یعنی در سطح ویژگی)‏ و ترکیب اخیر (‏یعنی در سطح تصمیم) ‏می‌باشد.

3-       کاربردهای یادگیری عمیق در سرطان پستان

در اینجا مروری مختصر بر کاربردهای مبتنی بر یادگیری­عمیق در تصویربرداری سرطان سینه ارائه می‌شود. 

3-‏1-‏       غربالگری و تشخیص

هدف از غربالگری یافتن بیماران خارج از گروه مورد بررسی و تشخیص، توصیف دقیق­تری از وضعیت بیماران است. غربالگری اغلب براساس ماموگرام­های در مقیاس جمعیتی است و تشخیص از دیگر روش‌های تصویربرداری استفاده می‌کند. با این حال، هیچ علامت‌گذاری روشنی بین دو وظیفه در زمینه یادگیری­عمیق وجود ندارد؛ زیرا تعداد زیادی از مطالعات بر روی تعیین بدخیمی از موضوعات نرمال یا خوش‌خیم تمرکز می‌کنند. از این رو ما غربالگری و تشخیص سرطان پستان مبتنی بر یادگیری عمیق را در یک بخش ترکیبی معرفی می‌کنیم.

3-‏2-‏       غربالگری و تشخیص مبتنی بر ماموگرام

طبقه‌بندی: به عنوان یک روش معمول غربالگری سرطان پستان، ماموگرام‌ها اغلب برای طبقه‌بندی دوگانه (‏به عنوان مثال بدخیم در مقابل خوش‌خیم/ نرمال/ غیربدخیم)‏ یا طبقه‌بندی سه طبقه‌ای (بدخیم، خوش‌خیم، نرمال)‏ مورد مطالعه قرار می‌گیرند. مطالعات همچنین سعی در تشخیص انواع مختلف ضایعات مانند توده یا اعوجاج معماری، میزان تراکم سینه، و یا میزان خطر سرطان داشتند. مطالعات اولیه بر ویژگی‌های دست‌ساز به عنوان ورودی به شبکه عصبی متکی بودند [‏27و‏28]‏. با موفقیت قابل‌توجه آن‌ها در تجزیه و تحلیل تصاویر طبیعی [‏20]‏، از شبکه عصبی کانولوشن به عنوان یک استخراج­کننده ویژگی قدرتمند در ترکیب با دیگر طبقه‌بندی کننده‌های یادگیری ماشین مانند ماشین­بردار­پشتیبان ‏و جنگل تصادفی [‏29]‏ استفاده شده‌است. از آنجا که داده‌های پزشکی اغلب در مقیاس محدود هستند، برخی کارها شبکه‌های موجود را با وزن‌های از پیش آموزش‌دیده از شبکه­تصویری به مجموعه داده‌های ماموگرام منتقل کرده‌اند. یک مطالعه مقایسه‌ای بر روی عملکرد طبقه‌بندی ماموگرام شبکه‌های مختلف در [‏2۲]‏ گزارش شده‌است. مقایسه کارایی طبقه‌بندی مبتنی بر ماموگرافی (‏با استفاده از گروه هندسه بصری دوبعدی)‏ و مدل‌های طبقه‌بندی مبتنی بر ترکیب دیجیتال ماموگرافی (‏با استفاده از گروه هندسه بصری سه‌بعدی) ‏در [‏2۳]‏ گزارش شده‌است. علاوه بر استفاده مستقیم از مدل‌های در دسترس، مطالعات بیشتر به دنبال روش‌های موثرتر انتقال یادگیری برای بهبود فرآیند یادگیری پیش از آموزش و استفاده کامل از دانش آموخته‌شده از مجموعه داده‌های پیش­از آموزش بودند ‏. 

یادگیری چندنمونه‌ای ‏نقش مهمی در طبقه‌بندی مبتنی بر ماموگرام ایفا کرده‌است، زیرا ضایعات اغلب پراکنده هستند. یک خط از کارها بر توسعه دسته‌بندی‌کننده یادگیری چندنمونه‌ای با استراتژی‌های تجمع مختلف برای خلاصه کردن نقشه‌ ویژگی نهایی یک مدل شبکه عصبی کانولوشن متمرکز بود. برخی کارها از یک طبقه‌بندی­کننده دوبعدی برای به دست آوردن نتایج برای هر برش و ترکیب نتایج با یادگیری چندنمونه‌ای برای پیش‌بینی سه­بعدی نهایی استفاده کردند [‏30]‏. بخش بزرگی از مطالعات یادگیری پیش‌بینی سطح بیمار را از تصاویر ورودی چندگانه پیشنهاد کردند. دیدگاه‌های چندگانه (‏به عنوان مثال، دیدگاه‌های کرانیوکودال دو طرفه‏، دیدگاه‌های مایل مدیولترال، و غیره) ‏اغلب برای بررسی دقیق‌تر تولید می‌شوند. بنابراین روش‌های مختلف ترکیب ویژگی چند دیدگاهی پیشنهاد شده‌اند، که عمدتاً بر توسعه استخراج‌کنندگان ویژگی برای تولید نمایش‌های معنادار از لحاظ معنایی یا استفاده از استراتژی‌ها برای استنتاج نتایج ­نهایی براساس ویژگی‌های ناهمگن تمرکز دارند. از سوی دیگر، تلاش شده تا اطلاعات تصویر غربالگری شده قبلی (‏یعنی ماموگرام قبلی)‏ و تصویر بررسی شده فعلی (‏یعنی ماموگرام فعلی)‏ را برای طبقه‌بندی بدخیمی ترکیب کنند [‏24]‏. یادگیری چندوظیفه‌ای نیز به منظور افزایش عملکرد طبقه‌بندی با نظارت بیشتر مورد مطالعه قرار گرفته‌است [‏26]‏. قابل‌ذکر است که ورودی‌های یادگیری چند وظیفه‌ای و چند دیدگاهی می‌توانند اطلاعات ارائه‌شده به مدل را غنی کنند، و این دو استراتژی می‌توانند به طور همزمان ادغام شوند [‏27]‏.

تشخیص برخورد می‌تواند محل و نوع تومور را مشخص کند و توسعه بیشتر سرطان را تعیین کند. تشخیص سرطان دو مرحله‌ای به طور گسترده مورد استفاده قرار می­گیرد، که در آن، نامزدهای آسیب دست‌ساز یا شبکه بخش‌بندی شده به یک شبکه طبقه‌بندی برای کاهش مثبت کاذب تبدیل شدند. مطالعات همچنین آشکارسازهای انتها به انتها، را اتخاذ و اصلاح کردند، که به عنوان ورودی کل تصویر ماموگرافی و مختصات جعبه­مرزی خروجی برای ضایعات با امتیازهایی که نشان‌دهنده احتمال وقوع انواع مختلف ضایعات است به کار می‌رود [10]‏. همچنین یک روش تشخیص سرطان را برای ترکیب دیجیتال ماموگرافی سه‌بعدی با جمع‌آوری پیش‌بینی‌های دو بعدی در نتایج سه‌بعدی پیشنهاد کردند[14]. لازم به ذکر است که نقشه ویژگی استخراج‌شده از یک شبکه طبقه‌بندی نیز می‌توانند برای مکان‌یابی ضایعات توسط نقشه فعال‌سازی کلاس یا مکانیزم توجه به شیوه‌ای با نظارت ضعیف مورد استفاده قرار گیرند. با این حال، ارزیابی‌های کمّی اغلب برای این مطالعات وجود ندارد، و نقشه‌های توجه برای هدف تفسیر کیفی استفاده می‌شوند [‏17و 18]‏. یک مطالعه اخیر نیز استفاده از ویژگی‌های میانی و نقشه فعال‌سازی کلاس را به عنوان شبه­لیبل برای آموزش یک مدل تشخیص پیشنهاد داده ­است [19]‏.

3-‏3-‏       قطعه‌بندی

قطعه‌بندی، ترسیم کانتور را برای توصیف دقیق‌تر ضایعه، فراهم می‌کند، که اغلب به مقدار قابل‌توجهی از علامت‌های پیکسل توسط رادیولوژیست­های مجرب برای آموزش مدل نیاز دارد. مطالعات کمی در مورد تقسیم‌بندی جرم از ماموگرام­ها وجود دارد که براساس ساختارهای اصلاح‌شده یا ساختارهای U-Net مشابه است[‏10]‏. یک مطالعه مقایسه‌ای بر روی مدل‌های مختلف قطعه‌بندی در [‏11]‏ انجام شده است.

3-‏4-‏       وظایف چندگانه

برخی مطالعات تلاش کردند تا ماژول­ها را برای وظایف مختلف ادغام کنند تا چارچوب‌های تشخیص به کمک کامپیوتر¹⁵ چند منظوره‏ را ایجاد کنند. یک راه ساده برای یک سیستم تشخیص به کمک کامپیوتر چندوظیفه، آموزش مجموعه‌ای از مدل‌های خاص وظیفه است [‏12]‏، که در آن مطالعات اغلب براساس راه‌حل‌های موجود برای هر وظیفه هستند. شبکه‌های تشخیص شی، مانند Faster R-CNN ، Mask R-CNN و YOLO نیز برای انجام هر دو طبقه‌بندی و تشخیص با توجه به ماهیت یادگیری چندوظیفه‌ای خود اتخاذ شده‌اند‏. همانطور که اشاره شد، مدل‌های طبقه‌بندی می‌توانند برای استخراج نتایج تشخیص به شیوه‌ای با نظارت ضعیف استفاده شوند [‏5، 6]‏. علاوه بر این، مدل‌های چندوظیفه‌ای یکپارچه در مقالات پیشنهاد شده‌اند، به عنوان مثال، ترکیب طبقه‌بندی با تشخیص [7]‏ یا تقسیم‌بندی [8]‏ به­کار می­رود.

3-‏5-‏       دیگر تکلیف‌ها

بسیاری از مطالعات بیش از توسعه روش‌های خاص، برای وظایف پایه ذکرشده هدف‌گذاری می‌کنند. یک مطالعه مقایسه‌ای از عملکرد طبقه‌بندی ماموگرام، بین یک مدل یادگیری عمیق و رادیولوژیست، ارائه داده است. در آن مقایسه مدل عملکرد سیستم تشخیص به کمک کامپیوتر در ‌مقایسه با میانگین رادیولوژیست­ها بهتر عمل کرده است[‏7]‏. در ادامه، تعدادی از مطالعات نشان داده‌اند که مدل‌های یادگیری­عمیق می‌توانند به بهبود­ عملکرد رادیولوژیست‌ها کمک کنند [۱۹]‏. مطالعه اخیر همچنین نشان داد که یادگیری عمیق از عملکرد الگوریتم­های پیش‌بینی ریسک پیشی­گرفته ‌است­[2]‏. علاوه بر این، مدل‌های عمیق قادر به غربالگری ماموگرام­ها براساس جمعیت‌های بزرگ یا حتی بین‌المللی [‏13]‏ و یافتن موضوعات پرخطر برای بررسی بیشتر توسط رادیولوژیست‌ها هستند [‏5]‏. تعداد رو به افزایشی از کارها برای بهبود استحکام مدل‌های یادگیری­عمیق برای ماموگرام ها در جنبه‌های برچسب نویزدار [‏11]‏، تعمیم دامنه­خارجی [‏20]‏ و تفسیرپذیرکردن مدل‌ها [‏2۲] تلاش کرده‌اند. برای کاهش عوارض جانبی بالقوه ناشی از فرآیند تصویربرداری اضافی، مطالعات اخیر همچنین تلاش‌هایی را در سنتز ماموگرام ها انجام داده‌اند [‏1۳]‏.

4-       چالش­ها و مسیرهای آینده

داده­های آموزشی در مقیاس بزرگ، کلید موفقیت یادگیری­عمیق است. در [22] تلاش‌هایی برای دسترسی به داده‌های مقیاس بزرگ‌تر برای اهداف تحقیقاتی صورت گرفت، با این حال، بیشتر مجموعه داده‌های عمومی موجود، به‌ویژه روش‌های غیر از ماموگرافی، در مقیاس نسبتاً کوچک هستند. این یک عامل بالقوه است که مانع استحکام و تعمیم‌پذیری مدل‌های تحلیل سرطان پستان مبتنی بر یادگیری عمیق می‌شود. یک جهت قابل قبول برای بزرگتر کردن داده­های آموزشی و در­عین­حال محافظت از حریم خصوصی بیماران، یادگیری فدرال¹⁶ با همکاری چندین موسسه است. یادگیری فدرال اجازه می­دهد تا به طور مشترک مدل­های یادگیری­عمیق را بدون به اشتراک گذاشتن داده­ها بین شرکت­کنندگان آموزش دهید، که در عین حفظ حریم خصوصی بیمار، همکاری بین مشتریان را ممکن می سازد. 

داده­های مصنوعی یکی دیگر از گزینه­های بالقوه است. یک کار پیشگام اخیر 2000 تصویر آسیب­شناسی مصنوعی را برای مطالعات تقسیم بندی هسته­ها ارائه کرد [23]. چالش دیگری که به طور طبیعی از داده­های آموزشی محدود ایجاد می­شود، توانایی تعمیم محدود مدل توسعه­یافته، مانند نتایج گزارش شده توسط [16] است. رویکردهای موجود عمدتاً مبتنی بر یادگیری بازنمایی­های ثابت از داده­های چند منبعی هستند. یک مطالعه اخیر همچنین نشان داد که حاشیه‌نویسی‌های ریز می‌توانند تعمیم‌پذیری مدل را بدون درگیرکردن داده‌های آموزشی از منابع متعدد بهبود بخشند [26]. شایان ذکر است که شکاف­های دامنه به طور کلی در سناریوهای یادگیری فدرال نیز وجود دارد، که در آن داده­های ارائه شده توسط هر مشتری به طور طبیعی ناهمگن هستند. با توسعه روش‌های تصویربرداری پزشکی، داده‌های تصویربرداری جدید نیز ظاهر می‌شوند، که در مقایسه با روش‌های مورد مطالعه گسترده، روش‌های جدید به انطباق بیشتر با الگوریتم‌های یادگیری­عمیق فعلی نیاز دارند. 

5-       نتیجه گیری

سرطان سینه به بدترین بدخیمی در سراسر جهان تبدیل شده است و تصویربرداری پستان نقش مهمی در غربالگری، تشخیص، پیش­بینی پاسخ به درمان و پیش­آگهی سرطان سینه ایفا می­کند. با پیشرفت چشمگیر تحقیقات یادگیری­عمیق، مطالعات نوظهوری برای استفاده از روش­های یادگیری ­عمیق برای مقابله با سرطان سینه انجام شده است. غربالگری و تشخیص به طور خاص، توجه جامعه یادگیری­عمیق را به خود جلب کرده است. یافته‌های این مقاله نشان می‌دهد که این مطالعات تا حد زیادی با داده‌های موجود، به‌ویژه آن‌هایی که برای عموم منتشر می‌شوند، تعیین می‌شوند. همچنین تشخیص زود­هنگام می­تواند تاثیر زیادی در رونددرمان و دستیابی سریعتر به سلامت را به دنبال داشته باشد و باعث کاهش چشمگیر مرگ و میرها شود. با بحث در مورد چالش‌ها و کاوش در جهت‌های بالقوه آینده، امیداست، بینش‌های جدیدی برای الهام بخشیدن به خوانندگان ارائه شده باشد، تا تلاش‌های بیشتری را برای توسعه نسل بعدی مدل‌های مراقبت سلامت قابل اعتماد برای سرطان سینه و همچنین سایر بیماری‌ها انجام شود.

مراجع

[1]       J. Wang and S.-G. Wu, “Breast Cancer: An Overview of Current Therapeutic Strategies, Challenge, and Perspectives,” Breast Cancer: Targets and Therapy, vol. 15, pp. 721–730, Oct. 2023, doi: https://doi.org/10.2147/bctt.s432526.

[2]       A. N. Giaquinto et al., “Breast Cancer Statistics, 2022,” CA: A Cancer Journal for Clinicians, vol. 72, no. 6, Oct. 2022, doi: https://doi.org/10.3322/caac.21754.

[3]       H. Sung et al., “Global Cancer Statistics 2020: GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries,” CA: a Cancer Journal for Clinicians, vol. 71, no. 3, pp. 209–249, Feb. 2021, doi: https://doi.org/10.3322/caac.21660.

[4]       M. B. Amin et al., “The Eighth Edition AJCC Cancer Staging Manual: Continuing to build a bridge from a population-based to a more ‘personalized’ approach to cancer staging,” CA: A Cancer Journal for Clinicians, vol. 67, no. 2, pp. 93–99, Jan. 2017, doi: https://doi.org/10.3322/caac.21388.

[5]       L. Nyström, I. Andersson, N. Bjurstam, J. Frisell, B. Nordenskjöld, and L. E. Rutqvist, “Long-term effects of mammography screening: updated overview of the Swedish randomised trials,” The Lancet, vol. 359, no. 9310, pp. 909–919, Mar. 2002, doi: https://doi.org/10.1016/s0140-6736(02)08020-0.

[6]       J. Didkowska and Urszula Wojciechowska, “WHO position paper on mammography screening,” vol. 11, no. 1, pp. 16–19, Jan. 2015.

[7]       M. G. Marmot, D. G. Altman, D. A. Cameron, J. A. Dewar, S. G. Thompson, and M. Wilcox, “The benefits and harms of breast cancer screening: an independent review,” British Journal of Cancer, vol. 108, no. 11, pp. 2205–2240, Jun. 2013, doi: https://doi.org/10.1038/bjc.2013.177.

[8]       A. Chong, S. P. Weinstein, E. S. McDonald, and E. F. Conant, “Digital Breast Tomosynthesis: Concepts and Clinical Practice,” Radiology, vol. 292, no. 1, pp. 1–14, Jul. 2019, doi: https://doi.org/10.1148/radiol.2019180760.

[9]       J. J. Wild and D. Neal, “Use of high-frequency ultrasonic waves for detecting changes of texture in living tissues.,” The Lancet, vol. 257, no. 6656, pp. 655–657, Mar. 1951, doi: 10.1016/S0140-6736(51)92403-8.

[10]       C. M. Sehgal, S. P. Weinstein, P. H. Arger, and E. F. Conant, “A Review of Breast Ultrasound,” Journal of Mammary Gland Biology and Neoplasia, vol. 11, no. 2, pp. 113–123, Nov. 2006, doi: https://doi.org/10.1007/s10911-006-9018-0.

[11]       R. J. Hooley, L. M. Scoutt, and L. E. Philpotts, “Breast Ultrasonography: State of the Art,” Radiology, vol. 268, no. 3, pp. 642–659, Sep. 2013, doi: https://doi.org/10.1148/radiol.13121606.

[12]       A. Kapur et al., “Combination of Digital Mammography with Semi-automated 3D Breast Ultrasound,” vol. 3, no. 4, pp. 325–334, Aug. 2004, doi: https://doi.org/10.1177/153303460400300402.

[13]       W. A. Berg, “Combined Screening With Ultrasound and Mammography vs Mammography Alone in Women at Elevated Risk of Breast Cancer,” JAMA, vol. 299, no. 18, p. 2151, May 2008, doi: https://doi.org/10.1001/jama.299.18.2151.

[14]       L. C. H. Leong, A. Gogna, R. Pant, Fook Cheong Ng, and L. S. J. Sim, “Supplementary Breast Ultrasound Screening in Asian Women with Negative But Dense Mammograms—A Pilot Study,” Annals, Academy of Medicine, Singapore/Annals of the Academy of Medicine, Singapore, vol. 41, no. 10, pp. 432–439, Oct. 2012, doi: https://doi.org/10.47102/annals-acadmedsg.v41n10p432.

[15]       C. M. Sehgal, P. H. Arger, S. E. Rowling, E. F. Conant, C. Reynolds, and J. A. Patton, “Quantitative vascularity of breast masses by Doppler imaging: regional variations and diagnostic implications.,” Journal of Ultrasound in Medicine, vol. 19, no. 7, pp. 427–440, Jul. 2000, doi: https://doi.org/10.7863/jum.2000.19.7.427.

[16]       W. A. Berg, “Combined Screening With Ultrasound and Mammography vs Mammography Alone in Women at Elevated Risk of Breast Cancer,” JAMA, vol. 299, no. 18, p. 2151, May 2008, doi: https://doi.org/10.1001/jama.299.18.2151.

[17]       A. Kalovidouri et al., “Fat suppression techniques for breast MRI: Dixon versus spectral fat saturation for 3D T1-weighted at 3 T,” La radiologia medica, vol. 122, no. 10, pp. 731–742, Jun. 2017, doi: https://doi.org/10.1007/s11547-017-0782-2.

[18]       M. A. Bernstein and K. F. King, “Handbook of MRI Pulse Sequences by Matt A. Bernstein, Kevin F. King & Xiaohong Joe Zhou Engineering,” Sep. 2004.

[19]       M.-Y. Su et al., “Correlation of dynamic contrast enhancement MRI parameters with microvessel density and VEGF for assessment of angiogenesis in breast cancer,” vol. 18, no. 4, pp. 467–477, Oct. 2003, doi: https://doi.org/10.1002/jmri.10380.

[20]       Y. Gao and S. L. Heller, “Abbreviated and Ultrafast Breast MRI in Clinical Practice,” RadioGraphics, vol. 40, no. 6, pp. 1507–1527, Oct. 2020, doi: https://doi.org/10.1148/rg.2020200006.

[21]       E. Duregon et al., “Comparative diagnostic and prognostic performances of the hematoxylin-eosin and phospho-histone H3 mitotic count and Ki-67 index in adrenocortical carcinoma,” Modern Pathology, vol. 27, no. 9, pp. 1246–1254, Jan. 2014, doi: https://doi.org/10.1038/modpathol.2013.230.

[22]       Enabling histopathological annotations on immunofluorescent images through virtualization of hematoxylin and eosin

[23]       W. M. Hanna et al., “HER2 in situ hybridization in breast cancer: clinical implications of polysomy 17 and genetic heterogeneity,” Modern Pathology, vol. 27, no. 1, pp. 4–18, Jun. 2014, doi: https://doi.org/10.1038/modpathol.2014.103.

[24]       A. S. Coates et al., “Tailoring therapies—improving the management of early breast cancer: St Gallen International Expert Consensus on the Primary Therapy of Early Breast Cancer 2015,” Annals of Oncology, vol. 26, no. 8, pp. 1533–1546, Aug. 2015, doi: https://doi.org/10.1093/annonc/mdv221.

[25]       S. J. Magny, R. Shikhman, and A. L. Keppke, “Breast Imaging Reporting and Data System,” PubMed, 2022. https://www.ncbi.nlm.nih.gov/books/NBK459169/

[26]       Y. LeCun, Y. Bengio, and G. Hinton, “Deep Learning,” Nature, vol. 521, no. 7553, pp. 436–444, May 2015, doi: https://doi.org/10.1038/nature14539.

[27]       G. Litjens et al., “A Survey on Deep Learning in Medical Image Analysis,” Medical Image Analysis, vol. 42, no. 1, pp. 60–88, Dec. 2017, doi: https://doi.org/10.1016/j.media.2017.07.005.

[28]       E. J. Topol, “High-performance medicine: the Convergence of Human and Artificial Intelligence,” Nature Medicine, vol. 25, no. 1, pp. 44–56, Jan. 2019.

[29]       J. Bai, R. Posner, T. Wang, C. Yang, and S. Nabavi, “Applying deep learning in digital breast tomosynthesis for automatic breast cancer detection: A review,” Medical Image Analysis, vol. 71, p. 102049, Jul. 2021, doi: https://doi.org/10.1016/j.media.2021.102049.

[30]       A. Duggento, A. Conti, A. Mauriello, M. Guerrisi, and N. Toschi, “Deep computational pathology in breast cancer,” Seminars in Cancer Biology, vol. 72, pp. 226–237, Jul. 2021, doi: https://doi.org/10.1016/j.semcancer.2020.08.006.

 

 

---

[1]  Region Proposal Network (RPN)

[2]  Graphic processing unit (GPU)

[3]  Image Net challenge

[4]  Visual Geometry Group (VGG)

[5]  Residual networks (ResNet)

[6]  Densely Connected Network (DenseNet)

[7]  Focal loss

[8]  Sibling

[9]  Pixel wise cross entropy loss and the Dice loss

[10]  Weakly-Supervised Learning (WSL)

[11]  Class Activation Map (CAM)

[12]  Multiple Instance Learning (MIL)

[13]  Semi-supervised learning (SSL)

[14]  generative adversarial network (GAN)

[15]  Computer-aided detection (CAD)

[16]  یادگیری فدرال (Federated learning) که به عنوان یادگیری مشارکتی (collaborative learning) نیز شناخته می‌شود. یک روش یادگیری ماشین است که یک الگوریتم را در چندین دستگاه غیرمتمرکز یا سرورهای نگهدارنده نمونه داده‌های محلی، بدون مبادله آنها آموزش می‌دهد. 

(4)

---