Applicazione

Documentazione per l’applicazione Parrot Libre AI IDE.

Nota

Il Parrot è in fase di sviluppo precoce e non è pronto per gli utenti finali.

Richieste

Parrot richiede un sistema GNU/Linux corrente, come Debian Stabile.

Scarica

The current version of Parrot can be downloaded here:

In alternativa, le versioni sono anche disponibili su questo server:

Esegui

È un’AppImage, quindi deve essere resa eseguibile e poi eseguita:

chmod +x Parrot.AppImage
./Parrot.AppImage

Stato

Al momento, non tutti i componenti di Parrot sono pronti.

Main components:

  • Ambiente di sviluppo integrato (editor di testo e codice).

  • Estensione Intelligenza Artificiale per l’IDE.

  • Estensione del server AI.

  • Server AI per l’inferenza.

  • Modello di intelligenza artificiale.

  • Search server.

Quello che normalmente funziona:

  • Ambiente di sviluppo integrato (editor di testo e codice).

  • Estensione Intelligenza Artificiale per l’IDE.

  • Estensione del server AI.

Cosa manca:

  • Server AI per l’inferenza.

  • Modello di intelligenza artificiale.

  • Search server.

Server AI

Il tuo uccello domestico manca del server di intelligenza artificiale integrato. Può essere adattato per funzionare eseguendo il tuo server e il tuo modello AI. Questo richiederebbe, in sintesi:

  • Trova un modello.

  • git clone https://github.com/ggerganov/llama.cpp

  • Compila il file llama.cpp.

  • Esegui il server llama.cpp.

Esecuzione del server in questo modo, con il modello GGUF (vedi: TheBloke).

cd llama.cpp/build
./bin/server -c 4096 --host 127.0.0.1 -t 16 mymodel.gguf

Un altro esempio, utilizzando la prima GPU:

export CUDA_VISIBLE_DEVICES=0

cd ~/devel/ggerganov/llama.cpp/build
./bin/server \
    --n-gpu-layers 1024 \
    -c 8192 \
    --host 0.0.0.0 \
    --port 8080 \
    -t 16 \
    -m /srv/ml/huggingface/TheBloke/Phind-CodeLlama-34B-v2-GGUF/phind-codellama-34b-v2.Q8_0.gguf

Nota

La documentazione di Parrot è scritta in inglese e utilizza il traduzione automatica del macchinario per altre lingue.