Fourier Dönüşümleri, Yapay Zekanın Karmaşık Fiziği Nasıl Öğrendiğini Ortaya Çıkarıyor

admin
Posted by admin Mart 21, 2023
Fourier Dönüşümleri, Yapay Zekanın Karmaşık Fiziği Nasıl Öğrendiğini Ortaya Çıkarıyor
Fourier Dönüşümleri, Yapay Zekanın Karmaşık Fiziği Nasıl Öğrendiğini Ortaya Çıkarıyor
Android Robot AI Concept

Yeni bir çalışma, 200 yıldır kullanılan matematiksel bir teknik olan Fourier analizinin, derin sinir ağlarının karmaşık fizik görevlerini yerine getirmeyi nasıl öğrendiği hakkında önemli bilgileri ortaya çıkarmak için kullanılabileceğini buldu. iklim ve türbülans modellemesi. Bu araştırma, Fourier analizinin yapay zekanın iç işleyişine ilişkin içgörüler elde etmek için bir araç olarak potansiyelini vurgulamaktadır ve daha etkili makine öğrenimi algoritmalarının geliştirilmesi için önemli çıkarımlara sahip olabilir.

Scientific AI’s “Black Box” ” 200 Yıllık Yöntemle Eşleşmiyor

Fourier dönüşümleri, derin sinir ağının karmaşık fiziği nasıl öğrendiğini ortaya koyuyor.

Hesaplamalı fizikteki en eski araçlardan biri — 200 yıllık bir matematiksel Fourier analizi olarak bilinen teknik — yeni bir araştırmaya göre, derin sinir ağı adı verilen bir yapay zeka biçiminin iklim ve türbülans modellemesi gibi karmaşık fizik içeren görevleri gerçekleştirmeyi nasıl öğrendiği hakkında önemli bilgileri ortaya çıkarabilir.

Rice Üniversitesi’ndeki makine mühendisliği araştırmacıları tarafından yapılan keşif, Proceedings of the National Academy of Sciences’ın kardeş yayını olan PNAS Nexus dergisinde yayınlanan açık erişimli bir çalışmada açıklanmaktadır.

“Bu, iklim gibi karmaşık dinamik sistemler için derin sinir ağlarının kullanımını açıklayan ve yönlendiren ilk titiz çerçeve” dedi. “İklim biliminde bilimsel derin öğrenmenin kullanımını önemli ölçüde hızlandırabilir ve çok daha güvenilir iklim değişikliği tahminlerine yol açabilir.”

AI Predicting How Flows Will Change Over Time

Rice Üniversitesi araştırmacıları, derin zeka adı verilen bir yapay zeka biçimi eğitti. karmaşık hava veya su akışlarını tanımak ve akışların zaman içinde nasıl değişeceğini tahmin etmek için sinir ağını öğrenmek. Bu görsel, modelin eğitim sırasında gösterdiği özelliklerin ölçeğindeki (üstte) ve tahminlerini yapmak için tanımayı öğrendiği özelliklerin (altta) önemli farklılıklarını gösterir. Kaynak: P. Hassanzadeh/Rice Üniversitesi’nin izniyle

Makalede, her ikisi de eski öğrenciler olan Hassanzadeh, Adam Subel ve Ashesh Chattopadhyay ve doktora sonrası araştırma görevlisi Yifei Guan, Fourier kullanımlarını ayrıntılı olarak açıkladılar atmosferdeki karmaşık hava akışlarını veya okyanustaki suyu tanımak ve bu akışların zaman içinde nasıl değişeceğini tahmin etmek için eğitilmiş derin öğrenme sinir ağını incelemek için analiz. Hassanzadeh, analizlerinin “yalnızca sinir ağının öğrendiklerini değil, aynı zamanda ağın öğrendiklerini modellediği karmaşık sistemin fiziğine doğrudan bağlamamızı da sağladığını” ortaya çıkardı.

“Derin sinir ağları anlaşılması çok zor ve genellikle ‘kara kutu’ olarak kabul ediliyorlar” dedi. “Bu, bilimsel uygulamalarda derin sinir ağlarının kullanılmasıyla ilgili en büyük endişelerden biridir. Diğeri genelleştirilebilirlik: Bu ağlar, eğitildiklerinden farklı bir sistem için çalışamaz.”

Fourier Spectra of Most Changed Kernels From Retrained DNN

Son teknoloji ürünü derin sinir ağlarını eğitmek için çok fazla veri gerekir. ve mevcut yöntemlerle yeniden eğitimin yükü hala önemlidir. Rice Üniversitesi araştırmacıları, karmaşık fizik içeren farklı görevleri gerçekleştirmek için bir derin öğrenme ağını eğittikten ve yeniden eğittikten sonra, iki yinelemedeki 40.000 çekirdeğin tümünü karşılaştırmak için Fourier analizini kullandı ve %99’dan fazlasının benzer olduğunu buldu. Bu resim, yeniden eğitimden önce (solda) ve sonra (sağda) en çok farklılık gösteren dört çekirdeğin Fourier spektrumunu göstermektedir. Bulgular, yöntemin önemli ölçüde daha az veri gerektiren yeniden eğitim için daha verimli yollar belirleme potansiyelini gösteriyor. Kaynak: P. Hassanzadeh/Rice Üniversitesi’nin izniyle

Hassanzadeh, ekibinin gazetede sunduğu analitik çerçevenin “kara kutuyu açtığını, ağların ne öğrendiğini anlamak için içine bakmamızı ve ve ayrıca bunu öğrenilen sistemin fiziğiyle ilişkilendirmemize izin veriyor.”

Çalışmanın baş yazarı Subel, araştırmaya Rice lisans öğrencisi olarak başladı ve şu anda New York Üniversitesi’nde yüksek lisans öğrencisi.Kredi: Rice Universitesi

“Sinir ağlarını anlamak için yaygın olarak kullanılan makine öğrenimi araçları, en azından bulguların fizikle ilişkilendirilebilmesi açısından, doğal sistemler ve mühendislik sistemi uygulamaları için pek başarılı olamadı,” Hassanzadeh söz konusu. “Düşüncemiz, ‘Farklı bir şey yapalım. Fizik çalışmak için yaygın olarak kullanılan bir aracı kullanalım ve bunu fizik yapmayı öğrenmiş bir sinir ağı çalışmasına uygulayalım.”

İlk kez 1820’lerde önerilen Fourier analizi dedi{5 }, fizikçilerin ve matematikçilerin uzay ve zamandaki frekans kalıplarını belirlemek için kullandıkları favori bir tekniktir.

“Fizikle uğraşan insanlar neredeyse her zaman Fourier uzayındaki verilere bakarlar,” dedi. “Fiziği ve matematiği kolaylaştırıyor.”

Örneğin, bir kişinin bir yıllık bir süre boyunca dakika dakika dış sıcaklık ölçümleri kaydı olsaydı, bilgi 525.600 rakamdan oluşan bir dizi olurdu; fizikçiler veri kümesi türüne bir zaman serisi diyorlar. Bir araştırmacı, zaman serisini Fourier uzayında analiz etmek için trigonometri kullanarak serideki her bir sayıyı dönüştürerek orijinal kümeden bilgiler içeren ancak oldukça farklı görünen 525.600 sayıdan oluşan başka bir küme oluşturur.

“Bunun yerine Subel, her dakika sıcaklığı gördüğünüzde, yalnızca birkaç ani artış görürsünüz, dedi. “Biri, 24 saatin kosinüsü olacaktır, bu da gece ve gündüz yüksek ve düşük döngüsü olacaktır. Bu sinyal, zaman serisi boyunca oradaydı, ancak Fourier analizi, bu tür sinyalleri hem zamanda hem de uzayda kolayca görmenizi sağlar.”

Bu yönteme dayanarak, bilim adamları zaman-frekans için başka araçlar geliştirdiler. analiz. Örneğin, düşük geçişli dönüşümler arka plan gürültüsünü filtreler ve yüksek geçişli filtreler tersini yaparak kişinin arka plana odaklanmasını sağlar.

Adam Subel

Adam Subel. Kredi: Rice Üniversitesi

Hassanzadeh’in ekibi ilk olarak tamamen eğitilmiş derin öğrenme modelinin denklemi üzerinde Fourier dönüşümünü gerçekleştirdi. Modelin yaklaşık 1 milyon parametresinin her biri, model hesaplamaları sırasında denklemdeki belirli işlemlere az ya da çok ağırlık uygulayan çarpanlar gibi davranır. Eğitimsiz bir modelde, parametreler rastgele değerlere sahiptir. Algoritma, eğitim durumlarında bilinen sonuçlara giderek daha yakın olan tahminlere ulaşmayı kademeli olarak öğrendiğinden, bunlar eğitim sırasında ayarlanır ve bilenir. Yapısal olarak, model parametreleri yaklaşık 40.000 beşe beş matris veya çekirdek halinde gruplandırılmıştır.

“Denklemdeki Fourier dönüşümünü aldığımızda, bu bize bu matrislerin Fourier dönüşümüne bakmamız gerektiğini söyledi. dedi Hassanzade. “Bunu bilmiyorduk. Daha önce hiç kimse bu kısmı yapmadı, bu matrislerin Fourier dönüşümlerine bakıp onları fiziğe bağlamaya çalışmadı.

“Ve bunu yaptığımızda, sinir ağının öğrendiği şeyin bir şey olduğu ortaya çıktı. Alçak geçiren filtrelerin, yüksek geçiren filtrelerin ve Gabor filtrelerinin birleşimi,” dedi.

“Bunun güzel yanı, sinir ağının herhangi bir sihir yapmaması,” Hassanzadeh söz konusu. “Çılgınca bir şey yapmıyor. Aslında bir fizikçi veya matematikçinin yapmaya çalışmış olabileceği şeyi yapıyor. Elbette sinir ağlarının gücü olmadan bu filtreleri doğru şekilde nasıl birleştireceğimizi bilmiyorduk. Ama fizikçilerle bu çalışma hakkında konuştuğumuzda, buna bayılıyorlar. Çünkü onlar, ‘Oh! Bu şeylerin ne olduğunu biliyorum. Sinir ağının öğrendiği şey bu. Anlıyorum.’”

Subel, bulguların bilimsel derin öğrenme için önemli çıkarımlara sahip olduğunu söyledi ve hatta bilim adamlarının başka bağlamlarda makine öğrenimi üzerinde çalışarak öğrendikleri, statik görüntülerin sınıflandırılması gibi bazı şeylerin geçerli olmayabileceğini ileri sürdü. bilimsel makine öğrenimi.

“Örneğin, ticari ve tıbbi uygulamalar üzerindeki çalışmalardan elde edilen makine öğrenimi literatüründeki bazı bilgi ve sonuçların, bilim ve mühendislikteki birçok kritik uygulama için geçerli olmadığını bulduk. Subel, iklim değişikliği modellemesi gibi. “Bu kendi başına önemli bir çıkarımdır.”

Referans: “Veriye dayalı türbülans modellemede aktarım öğreniminin fiziğini açıklama” yazan Adam Subel, Yifei Guan, Ashesh Chattopadhyay ve Pedram Hassanzadeh, 23 Ocak 2023, PNAS Nexus.
DOI: 10.1093/pnasnexus/pgad015

Chattopadhyay doktora derecesini aldı.Hesaplamalı kaynaklar, Ulusal Bilim Vakfı (170020) ve Ulusal Atmosfer Araştırmaları Merkezi (URIC0004) tarafından sağlanmıştır.

.