Program

Dokumentation för Parrot Libre AI IDE-programmet.

Observera

Parroten är under tidig utveckling och redo för slutanvändare.

Krav

Parrot kräver en aktuell GNU/Linux-system, t.ex. Debian Stable.

Ladda ner

The current version of Parrot can be downloaded here:

Alternativt finns släpper också tillgängliga på den här servern:

Kör

Det är en AppImage, så det måste göras körbar och sedan köras:

chmod +x Parrot.AppImage
./Parrot.AppImage

Status

För närvarande är inte alla delar av Parrot redo.

Huvudkomponenter:

  • Integrerad utvecklingsmiljö (kodredigerare).

  • IDE-AI-tillägg.

  • AI-förlängningens server.

  • Inferensmotor för AI-server.

  • AI-modell.

  • Sökserver.

Vad som i princip fungerar:

  • Integrerad utvecklingsmiljö (kodredigerare).

  • IDE-AI-tillägg.

  • AI-förlängningens server.

Vad saknas:

  • Inferensmotor för AI-server.

  • AI-modell.

  • Sökserver.

AI-server

Parroten saknar den inbyggda AI-härledningsservern. Det kan fungera genom att köra din egen AI-server och modell. Detta kräver, som helhet:

  • Hitta en modell.

  • git clone https://github.com/ggerganov/llama.cpp

  • Skapa llama.cpp.

  • Kör llama.cpp-servern.

Kör servern så här med GGUF-modellen (se: TheBloke).

cd llama.cpp/build
./bin/server -c 4096 --host 127.0.0.1 -t 16 mymodel.gguf

Ett annat exempel, med hjälp av den första GPU:

export CUDA_VISIBLE_DEVICES=0

cd ~/devel/ggerganov/llama.cpp/build
./bin/server \
    --n-gpu-layers 1024 \
    -c 8192 \
    --host 0.0.0.0 \
    --port 8080 \
    -t 16 \
    -m /srv/ml/huggingface/TheBloke/Phind-CodeLlama-34B-v2-GGUF/phind-codellama-34b-v2.Q8_0.gguf

Observera

Parrotdokumentationen skrivs på engelska och använder AI-maskinöversättning för andra språk.