Toepassing

Documentatie voor de Parrot Libre AI IDE-toepassing.

Notitie

Parrot is in vroege ontwikkeling en nog niet klaar voor eindgebruikers.

Eisen

Parrot vereist een actuele GNU/Linux-systeem, zoals Debian Stable.

Downloaden

De huidige versie van Parrot kan hier gedownload worden:

Ofwel zijn er ook releases beschikbaar op deze server:

Loop

Het is een AppImage, dus moet u het uitvoerbaar maken en vervolgens uitvoeren:

chmod +x Parrot.AppImage
./Parrot.AppImage

Status

Op dit moment zijn niet alle onderdelen van Parrot klaar.

Hoofdonderdelen:

  • IDE (tekst/code-editor).

  • IDE-AI-uitbreiding.

  • AI-uitbreiding server.

  • AI-inferentie-server.

  • Kunstmatige intelligentie model.

  • Zoekserver.

Wat nominaal werkt:

  • IDE (tekst/code-editor).

  • IDE-AI-uitbreiding.

  • AI-uitbreiding server.

Wat ontbreekt er:

  • AI-inferentie-server.

  • Kunstmatige intelligentie model.

  • Zoekserver.

AI-server

Parrot mist de ingebouwde AI-inferentieserver. Het kan worden uitgevoerd door uw eigen AI-server en model te draaien. Dat vereist, in totaal:

  • Zoek een model.

  • git clone https://github.com/ggerganov/llama.cpp

  • Bouw llama.cpp.

  • Draai llama.cpp-server.

Het server uitvoeren zoals dit, met GGUF model (zie: TheBloke).

cd llama.cpp/build
./bin/server -c 4096 --host 127.0.0.1 -t 16 mymodel.gguf

Een ander voorbeeld, met behulp van de eerste GPU:

export CUDA_VISIBLE_DEVICES=0

cd ~/devel/ggerganov/llama.cpp/build
./bin/server \
    --n-gpu-layers 1024 \
    -c 8192 \
    --host 0.0.0.0 \
    --port 8080 \
    -t 16 \
    -m /srv/ml/huggingface/TheBloke/Phind-CodeLlama-34B-v2-GGUF/phind-codellama-34b-v2.Q8_0.gguf

Notitie

De documentatie van de Parrot wordt opgesteld in het Engels en maakt gebruik van kunstmatige intelligentie voor vertalingen naar andere talen.