Apple, EMG sinyallerine dayanarak tanımadığı el sıkışmalarını tanıyan bir yapay zeka eğitti

Apple, EMG sinyaliyle jest tanıma modeli EMBridge’i geliştirdi

Apple’ın yeni araştırmaları, yapay zeka modelinin EMBridge’in, eğitim setinde benzer jestler bulunmamasına rağmen sadece kas elektrik sinyallerinden (EMG) el hareketlerini belirleyebildiğini gösterdi.

EMG nedir ve nerelerde kullanılıyor? Elektromiyografi, kasların kasılması sırasında ortaya çıkan elektriksel aktiviteyi ölçer.
Tıp alanında tanı ve fizyoterapi için, aynı zamanda uzuv protezlerinde de kullanılmaktadır.
Kullanılabilir cihazlar (örneğin Meta Ray‑Ban Display gözlükleri Neural Band kontrolcüsüyle) EMG’yi sanal gerçekliği yönetmek için kullanır.

EMBridge nasıl eğitildi
1. Veri – araştırmacılar iki açık veri seti kullandı:
* `emg2pose` – EMG sinyalleri ve el koordinatları.
* `NinaPro DB2` – benzer bir set.
2. İki temsil – model önce ayrı akışlarda eğitildi:
* sadece EMG sinyalleri;
* sadece el konumu verileri.
3. Senkronizasyon – ilk eğitimden sonra araştırmacılar akışları “birleştirdi”: EMG ile çalışan bileşen, koordinat verilerinden bilgi “anlamayı” öğrendi. Sonuç olarak EMBridge yalnızca EMG sinyaline dayanarak jestleri tanıyabildi.

Görevin zorlaştırılması
* İkinci akışın (koordinatlar) bir kısmı kesildi ve model sadece EMG’ye dayalı çıkarımlar yapmaya zorlandı.
* Aşırı hataları önlemek için tahmin değerlendirmesi daha az katı hale getirildi: benzer jestler ilişkili olarak kabul edildi, tamamen farklı değil.
* Bu yaklaşım, özellik uzayını “yapısal” hale getirdi ve eğitimde olmayan el konumlarının geri kazanımını iyileştirdi.

Doğrulama ve sonuçlar
* Model aynı `emg2pose` ve `NinaPro` setlerinde test edildi, bunları karşılaştırma ölçütü olarak kullandı.
* EMBridge, yalnızca %40 eğitim verisi kullanıldığında bile yüksek doğrulukta kalıyor.

Sınırlamalar
Bilim insanları, ana engelin hâlâ “EMG + el konumu” çiftine sahip veri setlerine erişimde olduğunu vurguluyor. Böyle veriler şu anda hacim olarak sınırlı ve her zaman mevcut değil.