Нейросетевая шпаргалка

Сборка llama.cpp

cd devel git clone https://github.com/ggml-org/llama.cpp cd llama.cpp git pull git fetch cmake -S . -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1102 -DCMAKE_BUILD_TYPE=Release cmake –build build -j 24 –config Release sudo cp build/bin/* /usr/local/bin/

Сервер с моделью text-to-text

~/devel/llama.cpp/build/bin/llama-server –seed 91 –port 8080 –host 127.0.0.1 -b 2048 -ub 512 –prio 3 -ngl 8 –temp 0.6 -t 24 -tb 24 -mg 0 -m ggufs/Llama-4-Scout-17B-16E-Instruct-Q5_K_M.gguf

Консоль с моделью image/text-to-text

~/devel/llama.cpp/build/bin/llama-mtmd-cli -ngl 30 -m ~/ggufs/VL/Qwen2.5-VL-32B-Instruct-Q6_K.gguf –mmproj ~/ggufs/VL/Qwen2.5-VL-32B-Instruct-BF16-mmproj.gguf –image /home/fox/photos/IMG_20250715_092909_907.jpg -p «На изображении рабочий стол человека. Перечисли все предметы на нём. Составь примерный психологический портрет этого человека, опиши его жизнь, стремления, страхи, ожидания и так далее.»