Kamera Neuronal dan Pencitraan Nanoskopi Bantuan ML

Peneliti IISc telah menunjukkan bagaimana sensor gambar yang terinspirasi oleh otak dapat melewati batas difraksi cahaya untuk mendeteksi objek kecil seperti komponen seluler atau partikel nano yang tidak terlihat oleh mikroskop saat ini.

Para peneliti di Indian Institute of Science (IISc) telah menunjukkan bagaimana sensor gambar yang terinspirasi oleh otak dapat melampaui batas difraksi cahaya untuk mendeteksi objek kecil seperti komponen seluler atau partikel nano yang tidak terlihat oleh mikroskop saat ini. Teknologi baru mereka, yang menggabungkan mikroskop optik, kamera saraf, dan algoritme pembelajaran mesin, mengambil langkah maju yang besar dalam mengidentifikasi objek yang berukuran lebih kecil dari 50 nanometer. Hasilnya dipublikasikan di Nanoteknologi Alam.

Sejak penemuan mikroskop cahaya, para ilmuwan telah berusaha untuk mengatasi penghalang yang disebut batas difraksi, yang berarti bahwa mikroskop tidak dapat membedakan antara dua objek jika ukurannya lebih kecil dari ukuran tertentu (biasanya 200-300 nanometer). Upaya mereka sebagian besar terfokus pada memodifikasi molekul yang dicitrakan, atau mengembangkan strategi pencahayaan yang lebih baik — beberapa di antaranya menghasilkan Hadiah Nobel Kimia 2014. kata Deepak Nair, Associate Professor di Center for Neuroscience (CNS), The Institute of Ismaili Studi dan penulis Sesuai dengan studi: “Tetapi sangat sedikit dari mereka yang benar-benar mencoba menggunakan detektor yang sama untuk mencoba dan melewati batas deteksi itu.”

Mengubah kerapatan probabilitas kumulatif dari proses hidup dan mati memungkinkan pelokalan di bawah batas deteksi klasik untuk partikel tunggal (Kredit: Mangalwedhekar et al, 2023).

Berukuran sekitar 40 mm (tinggi) kali 60 mm (lebar) kali 25 mm (diameter), dan berat sekitar 100 gram, kamera saraf yang digunakan dalam penelitian ini meniru cara retina manusia mengubah cahaya menjadi impuls listrik, dan memiliki banyak keunggulan dibandingkan kamera konvensional. kamera. Dalam kamera tipikal, setiap piksel menangkap intensitas cahaya yang jatuh di atasnya selama paparan yang difokuskan kamera pada objek, dan semua piksel dijahit bersama untuk merekonstruksi gambar objek. Dalam kamera neuromorfik, setiap piksel beroperasi secara independen dan asinkron, menghasilkan kejadian atau lonjakan hanya jika ada perubahan intensitas insiden cahaya pada piksel tersebut. Hal ini menghasilkan jumlah yang lebih kecil dan data yang lebih sedikit daripada kamera konvensional, yang menangkap setiap nilai piksel dengan laju konstan, terlepas dari apakah ada perubahan dalam pemandangan. Tindakan neurocamera ini mirip dengan cara kerja retina manusia, dan memungkinkan kamera untuk “mengambil sampel” lingkungan pada resolusi temporal yang jauh lebih tinggi—karena tidak dibatasi oleh frekuensi gambar seperti kamera biasa—dan juga melakukan penekanan latar belakang.

Kamera neuromorfik ini memiliki jangkauan dinamis yang sangat tinggi (>120dB), yang berarti Anda dapat beralih dari lingkungan dengan cahaya redup ke kondisi dengan cahaya sangat tinggi. Kombinasi sifat asinkron, rentang dinamis tinggi, data jarang, dan resolusi temporal tinggi dari kamera neuromorfik membuatnya cocok untuk digunakan dalam mikroskop saraf,” jelas Chetan Singh Thakur, asisten profesor di Departemen Teknik Sistem Elektronik (DESE), IISc, dan rekan penulis.

Tampilan pengaturan mikroskop (Kredit: Rohit Mangalwedhekar).

Dalam studi saat ini, kelompok tersebut menggunakan kamera saraf mereka untuk mengidentifikasi manik-manik fluoresen individu yang lebih kecil dari batas difraksi, dengan menyinari pulsa laser pada intensitas tinggi dan rendah, dan mengukur variasi tingkat fluoresensi. Saat intensitas meningkat, kamera menangkap sinyal sebagai peristiwa “ON”, sedangkan peristiwa “OFF” dilaporkan sebagai penurunan intensitas cahaya. Data dari peristiwa ini dikumpulkan bersama untuk merekonstruksi bingkai.

Untuk secara tepat menemukan molekul fluoresen di dalam bingkai, tim menggunakan dua metode. Yang pertama adalah algoritme pembelajaran mendalam, yang dilatih pada sekitar satu setengah juta simulasi gambar yang secara dekat mewakili data eksperimen, untuk memprediksi di mana pusat suatu objek akan berada, jelas Rohit Mangalwedekar, mantan peneliti magang di CNS dan penulis pertama dari Memori. Algoritma segmentasi wavelet juga digunakan untuk menentukan centroid partikel secara terpisah untuk kejadian ON dan OFF. Kombinasi prediksi dari keduanya memungkinkan tim membidik lokasi yang tepat dari objek dengan presisi yang lebih tinggi daripada teknik saat ini.

“Dalam proses biologis seperti pengaturan diri, Anda memiliki molekul yang berganti-ganti antara gerakan acak atau terarah, atau yang tidak bergerak,” jelas Nair. “Jadi, Anda harus dapat menentukan dengan tepat pusat molekul itu setepat mungkin sehingga kita dapat memahami aturan praktis yang memungkinkan pengorganisasian diri.” Tim mampu melacak dengan dekat gerakan manik-manik fluoresen yang bergerak bebas dalam larutan berair menggunakan teknik ini. Oleh karena itu, pendekatan ini dapat memiliki aplikasi yang luas dalam melacak dan memahami proses acak secara akurat dalam biologi, kimia, dan fisika.

referensi

Mangalwedhekar R, Singh N, Thakur CS, Seelamantula CS, Jose M, Nair D, Mencapai resolusi skala nano menggunakan mikroskop pemosisian saraf, Nanoteknologi Alami (2023).

https://www.nature.com/articles/s41565-022-01291-1

Terkait