Programlar

Devamı

Aday Öğrenciler

Devamı

Mevcut Öğrenciler

 

Devamı
Enstitümüz Öğretim Üyelerinden Behçet Uğur Töreyin'in yazarları arasında olduğu 'PURSUhInT: In Search of Informative Hint Points Based on Layer Clustering for Knowledge Distillation' başlıklı makale 'Expert Systems with Applications' dergisinde 1 Mart 2023 tarihinde yayınlanmıştır.

DOI: https://doi.org/10.1016/j.eswa.2022.119040

Özet:
One of the most efficient methods for model compression is hint distillation, where the student model is injected with information (hints) from several different layers of the teacher model. Although the selection of hint points can drastically alter the compression performance, conventional distillation approaches overlook this fact and use the same hint points as in the early studies. Therefore, we propose a clustering based hint selection methodology, where the layers of teacher model are clustered with respect to several metrics and the cluster centers are used as the hint points. Our method is applicable for any student network, once it is applied on a chosen teacher network. The proposed approach is validated in CIFAR-100 and ImageNet datasets, using various teacher–student pairs and numerous hint distillation methods. Our results show that hint points selected by our algorithm results in superior compression performance compared to state-of-the-art knowledge distillation algorithms on the same student models and datasets.
Tarih 06 Mar 2023

İTÜ Bilişim Enstitüsü

bilisim-anasayfa-hakkimizda

İTÜ Bilişim Enstitüsü, Bilişim Uygulamaları, Bilgisayar Bilimleri, Hesaplamalı Bilim ve Mühendislik ile İletişim Sistemleri Anabilim Dallarında aşağıda yer alan programlarda lisansüstü düzeyde eğitimler veren, bu alanlarda temel ve uygulamalı araştırmalar yapan bir birimdir.

Enstitü öğretim üyeleri ile öğrencileri, elektromanyetik alanlar, haberleşme sistemleri/regülasyonları, hesaplamalı malzeme tasarımı, hesaplamalı kimya/biyoloji, kriptografi, işaret/veri işleme/görselleştirme, büyük veri yönetimi, iklim ve okyanus bilimleri, termodinamik modelleme, haberleşme ağları ve moleküler enformatik alanlarında ulusal ve uluslar arası kuruluşlarca desteklenen araştırmalar yürütmektedir.

Enstitü öğretim üyeleri ve öğrencileri tarafından alınan ödüllerden bazıları:

  • HBM Programı’ndan araştırma görevlileri Hacer Duzman ve E. Cenk Ersan ile Prof. Dr. M. Serdar Çelebi tarafından ortaklaşa hazırlanan “Non-Invasive Complete Hemodynamic Model to Investigate the Effect of Multi-Stenosis in Patient-Specific Coronary Arteries” başlıklı çalışma, ESM’25 kapsamında En İyi Bildiri Ödülü'ne layık görülmüştür. (22-24 Ekim - Belçika)
  • HBM Doktora Programı öğrencilerimiz Hacer Duzman ve Muhammed Enis Şen, "Başarım 2024 8. Ulusal Yüksek Başarımlı Hesaplama Konferansı"nda düzenlenen "5 Dakikalık Tez Yarışması"nda ödül aldılar. 

Enstitü bünyesinde, Devlet Planlama Teşkilatı desteğiyle kurulan bir Yüksek Başarımlı Hesaplama Laboratuvarı da bulunmaktadır.

Bilişim Enstitüsü- Telefon +90 (212) 285 71 94

Bilişim Enstitüsü- Fax +90 (212) 285 70 73

Bilişim Enstitüsü- Adres İTÜ Ayazağa Kampüsü, Bilişim Enstitüsü Binası 34469, Maslak, İstanbul

İTÜ Bilgi İşlem Daire Başkanlığı ©