Wozu dieser Guide?
Aktuellere Distris (z.B. Nobara) liefen bei mir nicht stabil und ein Updates blieben hängen. Ich verspreche mir von Ubuntu mehr Stabilität trotz den Änderungen.Hinweis: Was ich hier beschreibe sollte zwar funktionieren, ist aber nicht supported!
1. Installation von Ubuntu 24.04
Man braucht zwingend Ubuntu 24.04 für ROCm (für AI). Die aktuellste Ubuntu Version wird von ROCM von AMD nicht supported. Wie man Ubuntu installiert erkläre ich hier nicht.2. Updates installieren
Nach der Installation ein Systemupdate machen
Bash:
sudo apt update
sudo apt upgrade3. Neuesten Kernel installieren
Hinweis: Wenn man selbst den neuen Kernel installiert, muss man ihn in Zukunft auch manuell aktuell halten. Leider wird er nicht automatisch aktualisiert.Secure Boot muss im Bios aus sein.
Den neuesten Kernel kann man sich hier herunterladen: https://kernel.ubuntu.com/mainline/
Momentan ist der aktuellste Kernel v6.15.1.
Einfach in den passenden Ordner navigieren und die zwei Dateien in der neuesten Version herunterladen:
- amd64/linux-image-unsigned...
- amd64/linux-modules...
Bash:
cd Downloads
sudo apt install ./linux-image-* ./linux-modules-*Wie beschrieben kann man den Kernel später auch manuell updaten.
4. Aktuellere Grafiktreiber
Das Mesa Snap aus dem beta chanel installieren:
Bash:
sudo snap refresh --channel beta/kisak mesa-2404
Bash:
sudo add-apt-repository ppa:kisak/turtle
Bash:
sudo apt update
sudo apt upgrade5. ROCm installieren
Bash:
wget https://repo.radeon.com/amdgpu-install/6.4.1/ubuntu/noble/amdgpu-install_6.4.60401-1_all.deb
sudo apt install ./amdgpu-install_6.4.60401-1_all.deb
sudo apt update
sudo apt install python3-setuptools python3-wheel
sudo usermod -a -G render,video $LOGNAME
sudo apt install rocmNäheres: https://rocm.docs.amd.com/projects/install-on-linux/en/latest/install/quick-start.html
6. VRR aktivieren
Der Schalter für VRR(Freesync) ist standardmäßig nicht sichtbar und muss erst aktiviert werden:
Bash:
gsettings set org.gnome.mutter experimental-features "['variable-refresh-rate']"7. Neustarten
Nach dem Neustart kann man in den Systemeinstellungen bei der Monitor Refresh Rate VRR aktivieren (wenn der Minitor das kann).8. Sprachmodell auf 9070/9060 (XT) ausführen
1. Ollama instalieren
Curl installieren
Bash:
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | shDas Skript erkennt ROCm automatisch und erstelt einen Server auf 127.0,0.1:11434
2. Alpaca einrichten
Flatpak installieren
Bash:
sudo apt install flatpakFlathub repo hinufügen
Bash:
flatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepoAlpaca instaliern
Bash:
flatpak install flathub com.jeffser.Alpaca- Dann Alpaca über den Ubuntu Launcher startne.
- Links auf Burger Menü klicken und "Instanzen verwalten" anklicken
- "+ Instanz hinufügen"
- Ollama auswähen (nicht verwaltet !)
- Akzeptieren
- Bei Instanz-URL "http://127.0.0.1:11434" eintragen
- Speichern klicken
- Oben auf < (zurück) klicken
- "Modelle Hinzufügen"
- Oben auf "verfügbar" gehen
- Modell auswählen . Z.B. Mistral.
- Rechts auf "latest" klicken
- Warten bis Model Download abgescholsen ist
- Wieder auf < (zurück) klicken
9. 9070/9060 (XT) für Pytorch benutzen
Virtualenv installieren
Bash:
sudo apt install virtualenvEinen Projektordner erstellen und in den Orner gehen
Bash:
mkdir meinaiprojekt
cd meinaiprojektProgrammierumgebung erstellen
Bash:
virtualenv venvProgrammierumgebung aktivieren
Bash:
. venv/bin/activateHinweis: Aus der virtuellen Umgebung kann man mit dem Befehl deactivate später wieder herauswechseln.
Pytorch für ROCm in der virtuellen Umgebung installieren
Bash:
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm6.4Die somit installierte Pytorch version ist nur im venv verfügbar!
Python im venv starten
Bash:
python3
Python:
import torch
torch.cuda.is_available()
quit()Virtuelle Umgebung schließen
Bash:
deactivate10. 9070/9060 (XT) mit Rust tch benutzen
AI mit Rust statt Python.libtorch laden und unzippen
Bash:
cd /opt
sudo wget https://download.pytorch.org/libtorch/nightly/rocm6.4/libtorch-shared-with-deps-latest.zip
sudo unzip libtorch-shared-with-deps-latest.zipNäheres:
- https://docs.pytorch.org/get-started/locally/
- https://discuss.pytorch.org/t/libtorch-nightly-versions/219838
Bash:
curl --proto '=https' --tlsv1.3 -sSf https://sh.rustup.rs | sh
. ~/.cargo/envNeues Rust prokjekt erstellen
Bash:
cargo new ~/meinrustprojekt && cd ~/meinrustprojektDateien erstellen
Cargo.toml
Code:
[package]
name = "meinrustprojekt"
version = "0.1.0"
edition = "2024"
[dependencies]
tch = "*"build.rs
Code:
fn main() {
let os = std::env::var("CARGO_CFG_TARGET_OS").expect("Unable to get TARGET_OS");
match os.as_str() {
"linux" | "windows" => {
if let Some(lib_path) = std::env::var_os("DEP_TCH_LIBTORCH_LIB") {
println!("cargo:rustc-link-arg=-Wl,-rpath={}", lib_path.to_string_lossy());
}
println!("cargo:rustc-link-arg=-Wl,--no-as-needed");
println!("cargo:rustc-link-arg=-ltorch");
}
_ => {}
}
}src/main.rs
Code:
use tch;
fn main() {
if tch::Cuda::is_available() {
println!("CUDA ist verfügbar.");
} else {
println!("CUDA ist nicht verfügbar.");
}
}Dann laufen lassen
Bash:
LIBTORCH_BYPASS_VERSION_CHECK=1 LIBTORCH=/opt/libtorch LD_LIBRARY_PATH=$LIBTORCH/lib:$LD_LIBRARY_PATH cargo run11. ROCm updaten
Um ROCm zu updaten, die ROCm Seite mit der neune Version besuchen, das neue deb Paket mit den neuen Repo laden, installieren und ein Updat durchführen. Zum Beipiel:
Bash:
wget https://repo.radeon.com/amdgpu-install/6.4.2/ubuntu/noble/amdgpu-install_6.4.60402-1_all.deb
sudo apt install ./amdgpu-install_6.4.60402-1_all.deb
sudo apt update
sudo apt upgrade
Zuletzt bearbeitet:
.gif "sm_B-) :-)")
