Programlar

Devamı

Aday Öğrenciler

Devamı

Mevcut Öğrenciler

 

Devamı
Enstitümüz Öğretim Üyelerinden Behçet Uğur Töreyin'in yazarları arasında olduğu 'PURSUhInT: In Search of Informative Hint Points Based on Layer Clustering for Knowledge Distillation' başlıklı makale 'Expert Systems with Applications' dergisinde 1 Mart 2023 tarihinde yayınlanmıştır.

DOI: https://doi.org/10.1016/j.eswa.2022.119040

Özet:
One of the most efficient methods for model compression is hint distillation, where the student model is injected with information (hints) from several different layers of the teacher model. Although the selection of hint points can drastically alter the compression performance, conventional distillation approaches overlook this fact and use the same hint points as in the early studies. Therefore, we propose a clustering based hint selection methodology, where the layers of teacher model are clustered with respect to several metrics and the cluster centers are used as the hint points. Our method is applicable for any student network, once it is applied on a chosen teacher network. The proposed approach is validated in CIFAR-100 and ImageNet datasets, using various teacher–student pairs and numerous hint distillation methods. Our results show that hint points selected by our algorithm results in superior compression performance compared to state-of-the-art knowledge distillation algorithms on the same student models and datasets.
Tarih 06 Mar 2023

İTÜ Bilişim Enstitüsü

bilisim-anasayfa-hakkimizda

İTÜ Bilişim Enstitüsü, Bilişim Uygulamaları, Bilgisayar Bilimleri, Hesaplamalı Bilim ve Mühendislik ile İletişim Sistemleri Anabilim Dallarında aşağıda yer alan programlarda lisansüstü düzeyde eğitimler veren, bu alanlarda temel ve uygulamalı araştırmalar yapan bir birimdir.

Enstitü öğretim üyeleri ile öğrencileri, elektromanyetik alanlar, haberleşme sistemleri/regülasyonları, hesaplamalı malzeme tasarımı, hesaplamalı kimya/biyoloji, kriptografi, işaret/veri işleme/görselleştirme, büyük veri yönetimi, iklim ve okyanus bilimleri, termodinamik modelleme, haberleşme ağları ve moleküler enformatik alanlarında ulusal ve uluslar arası kuruluşlarca desteklenen araştırmalar yürütmektedir.

Enstitü öğretim üyeleri ve öğrencileri tarafından alınan ödüllerden bazıları:

  • En Etkili Bilim İnsanları Listesi; Doç.Dr. B. Uğur Töreyin (Dr. John PA Ioannidis, K. W. Boyack ve J. Baas’ın PLOS Biology dergisinde yayımlanan makalesi)
  • 2020 Uluslararası Öğrenciler Proje Yarışmasında, Fen Bilimleri kategorisinde en iyi proje ödülü, Beltus Nkwawir Wiysobunri
  • Dr. Abdulkerim Çapar'ın da kurucu ortakları arasında yer aldığı Argenit firması, İTÜ ARI Teknokent’in “Ulusal-Uluslararası Destekler” Birincilik ödülünü almıştır.
  • TÜBİTAK 2242 Öncelikli Alanlarda Üniversite Öğrencileri Proje Yarışması: İstanbul bölgesi birinciliği - Ahmet Burak Özyurt
  • ICAT'18 Konferansında En İyi Sunum Ödülü: Sena Efsun Cebeci, 2018
  • Tübitak Teşvik Ödülü; 2016 Doç.Dr. Adem Tekin
  • Amerikan Isıtma Soğutma ve İklimlendirme Derneği tarafından “Teknik Makale” ve “Willis H. Carrier” Ödülü; 2016 Yrd.Doç.Dr. H. Salih Erden
  • Bilim Kahramanları Derneği Yılın Genç Bilim İnsanı Ödülü; 2016 Doç.Dr. B. Uğur Töreyin PRACEdays 2016 konferansında En İyi Poster Ödülü; Samet Demir
  • İTÜ En Başarılı Tez Ödülü; 2016 Hatice Gökcan

Enstitü bünyesinde, Devlet Planlama Teşkilatı desteğiyle kurulan bir Yüksek Başarımlı Hesaplama Laboratuvarı da bulunmaktadır.

Bilişim Enstitüsü- Telefon +90 (212) 285 71 94

Bilişim Enstitüsü- Fax +90 (212) 285 70 73

Bilişim Enstitüsü- Adres İTÜ Ayazağa Kampüsü, Bilişim Enstitüsü Binası 34469, Maslak, İstanbul

İTÜ Bilgi İşlem Daire Başkanlığı ©