Hugging Face Üzerinden Model İndirme ve Çalıştırma

müfettiş

müfettiş

Moderatör
Katılım
20 Ocak 2024
Mesajlar
325
Tepkime puanı
1
Puanları
18
Yapay zeka teknolojileri, birkaç yıl öncesine kadar sadece devasa teknoloji şirketlerinin ve akademik kurumların tekelindeydi. Ancak Hugging Face platformunun yükselişiyle birlikte, bu durum kökten değişti. Bugün Hugging Face, yapay zeka dünyasının "GitHub"ı olarak kabul ediliyor ve yüz binlerce açık kaynaklı modele (LLM'ler, görsel oluşturucular, ses analizcileri) erişim sağlayarak bu alanı demokratize ediyor.

1. Hugging Face Ekosistemini Anlamak​

Hugging Face sadece bir depolama alanı değildir; modellerin, veri setlerinin ve demoların bir arada bulunduğu devasa bir kütüphanedir. Süreci yönetmek için üç ana bileşeni bilmeniz gerekir:

  • Models (Modeller): Eğitilmiş yapay zeka dosyalarının bulunduğu bölümdür.
  • Datasets (Veri Setleri): Modelleri eğitmek veya test etmek için kullanılan ham verilerdir.
  • Spaces (Alanlar): Modelleri tarayıcı üzerinden doğrudan test edebileceğiniz interaktif demolardır.

2. Doğru Modeli Seçme Stratejileri​

Hugging Face üzerinde (Ocak 2026 itibarıyla) 1 milyondan fazla model bulunmaktadır. İhtiyacınıza uygun olanı bulmak için şu kriterlere dikkat etmelisiniz:

  1. Task (Görev) Filtreleme: Sol menüden "Text Generation", "Text-to-Image" veya "Automatic Speech Recognition" gibi spesifik görevleri seçin.
  2. İndirme ve Beğeni Sayısı: Topluluk tarafından en çok tercih edilen modeller genellikle daha güvenilir ve dökümante edilmiştir.
  3. Model Kartı (Model Card): Modeli indirmeden önce açıklama sayfasını mutlaka okuyun. Modelin hangi dillerde çalıştığını, lisans şartlarını ve donanım gereksinimlerini buradan öğrenebilirsiniz.

3. Kurulum ve Ortam Hazırlığı​

Modelleri yerel bilgisayarınızda çalıştırmak için bir Python ortamına ihtiyacınız vardır. Öncelikle gerekli temel kütüphaneleri yüklemelisiniz:

Kod: 
pip install transformers datasets torch

  • Transformers: Modelleri yüklemek ve çalıştırmak için ana kütüphanedir.
  • Torch (PyTorch): Modellerin arkasındaki matematiksel hesaplamaları yapan motorlardan biridir.

4. Modeli İndirme ve Çalıştırma (Python Adımları)​

En popüler görevlerden biri olan metin üretimi (Text Generation) üzerinden bir örnek yapalım. Hugging Face kütüphanesinin en büyük kolaylığı, model ismini vermenizin indirme işlemi için yeterli olmasıdır.

Adım 1: Pipeline Kullanımı (En Kolay Yol)​

pipeline fonksiyonu, tüm karmaşık işlemleri (tokenization, model yükleme, inference) arka planda halleder.

Kod: 
from transformers import pipeline

# Modeli ve görevi tanımlıyoruz
generator = pipeline("text-generation", model="meta-llama/Llama-3.2-1B")

# Modeli çalıştırıyoruz
result = generator("Yapay zekanın geleceği hakkında ne düşünüyorsun?", max_length=50)
print(result[0]['generated_text'])

Adım 2: Manuel Yükleme (Daha Fazla Kontrol)​

Eğer modelin iç işleyişine müdahale etmek isterseniz, AutoModel ve AutoTokenizer sınıflarını kullanırsınız.

Kod: 
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mistral-7B-v0.1"

# Tokenizer ve Modelin indirilmesi
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Metni sayısal verilere dönüştürme
inputs = tokenizer("Merhaba, nasılsın?", return_tensors="pt")

# Yanıt üretme
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0]))

5. Donanım Gereksinimleri ve Bellek Yönetimi​

Büyük modelleri çalıştırmak ciddi bir donanım gücü ister. Eğer bilgisayarınızın GPU (Ekran Kartı) belleği yetersizse şu yöntemleri izleyebilirsiniz:

A. GPU Kullanımı​

Cuda çekirdeklerine sahip bir NVIDIA kartınız varsa işlemi hızlandırmak için şu komutu ekleyin:model.to("cuda")

B. Kuantizasyon (Quantization)​

Büyük bir modeli (örneğin 7B parametreli) normalde 16-32 GB VRAM isterken, 4-bit veya 8-bit kuantize ederek 6-8 GB VRAM ile çalıştırabilirsiniz. Bunun için bitsandbytes kütüphanesi kullanılır.

6. GGUF ve Llama.cpp ile Hafifletilmiş Çalıştırma​

Eğer bir yazılımcı değilseniz veya çok kısıtlı bir bilgisayarınız varsa, modellerin GGUF formatındaki versiyonlarını indirebilirsiniz. Bu format, modelleri ekran kartı yerine işlemci (CPU) ve sistem belleği (RAM) üzerinde verimli çalıştırmak için optimize edilmiştir. LM Studio veya Ollama gibi araçlar, Hugging Face'ten GGUF modellerini tek tıkla indirip sohbet etmenizi sağlar.

7. Hugging Face CLI Kullanımı​

Çok büyük modelleri (100 GB+) indirmek tarayıcı üzerinden kopmalara neden olabilir. Bu durumlarda komut satırı aracını (CLI) kullanmak daha sağlıklıdır:
Kod: 
huggingface-cli download meta-llama/Llama-3.1-8B --local-dir ./llama3

8. Güvenlik ve Lisans Dikkatleri​

Hugging Face'teki her model tamamen "özgür" değildir. Bazı modeller (Llama 3 gibi) "Gated" yani kapalıdır. Bu modelleri indirmek için:

  1. Model sayfasından kullanım şartlarını kabul edip onay almalısınız.
  2. huggingface-cli login komutuyla terminalden giriş yapmalısınız.

9. Sonuç: Kendi AI Laboratuvarınızı Kurun​

Hugging Face, karmaşık yapay zeka algoritmalarını birkaç satır koda indirgeyen devasa bir köprüdür. Bu platform sayesinde sadece hazır modelleri kullanmakla kalmaz, aynı zamanda topluluğun ürettiği binlerce özel modeli deneyimleyerek kendi projelerinize entegre edebilirsiniz. İster bir sohbet botu yapın, ister bir ses analiz sistemi kurun; Hugging Face sizin için dünyanın en büyük açık kaynaklı laboratuvarıdır.
 
Cevap yazmak için giriş yap yada kayıt ol.
Geri
Üst