Aplikacja

Dokumentacja dla aplikacji Parrot Libre AI IDE.

Informacja

Parrot jest w wczesnym etapie rozwoju i jeszcze nie jest gotowy dla użytkowników końcowych.

Wymagania

Parrot wymaga aktualnego systemu GNU/Linux, takiego jak Debian Stable.

Pobierz

Bieżąca wersja Parrot może zostać pobrana tutaj:

Alternatywnie, wydania są również dostępne na tym serwerze:

Uruchom

Jest to AppImage, więc musi zostać ustawiony jako wykonywalny, a następnie uruchomiony:

chmod +x Parrot.AppImage
./Parrot.AppImage

Stan

Obecnie nie wszystkie części Parrot są gotowe.

Main components:

  • Edytor kodu/IDE.

  • Rozszerzenie AI do IDE.

  • Serwer rozszerzeń sztucznej inteligencji.

  • Serwer silnika inferencji AI.

  • Model AI.

  • Serwer wyszukiwania.

Co nominalnie działa:

  • Edytor kodu/IDE.

  • Rozszerzenie AI do IDE.

  • Serwer rozszerzeń sztucznej inteligencji.

Co brakuje:

  • Serwer silnika inferencji AI.

  • Model AI.

  • Serwer wyszukiwania.

Serwer AI

Parrot brakuje wbudowanego serwera AI inferencyjnego. Może być przystosowany do pracy, uruchamiając własny serwer AI i model. Wymaga to w sumie:

  • Znajdź model.

  • git clone https://github.com/ggerganov/llama.cpp

  • Zbuduj llama.cpp.

  • Uruchom serwer llama.cpp.

Działa to serwera w taki sposób, z modelem GGUF (patrz: TheBloke).

cd llama.cpp/build
./bin/server -c 4096 --host 127.0.0.1 -t 16 mymodel.gguf

Inny przykład, używając pierwszego GPU:

export CUDA_VISIBLE_DEVICES=0

cd ~/devel/ggerganov/llama.cpp/build
./bin/server \
    --n-gpu-layers 1024 \
    -c 8192 \
    --host 0.0.0.0 \
    --port 8080 \
    -t 16 \
    -m /srv/ml/huggingface/TheBloke/Phind-CodeLlama-34B-v2-GGUF/phind-codellama-34b-v2.Q8_0.gguf

Informacja

Dokumentacja Parrot jest napisana po angielsku i używa tłumaczenia maszynowego opartego na sztucznej inteligencji dla innych języków.