Skip to content

Commit 294f702

Browse files
mudlermudler
authored
feat: do not bundle llama-cpp anymore (#5790)
* Build llama.cpp separately Signed-off-by: Ettore Di Giacinto <[email protected]> * WIP Signed-off-by: Ettore Di Giacinto <[email protected]> * WIP Signed-off-by: Ettore Di Giacinto <[email protected]> * WIP Signed-off-by: Ettore Di Giacinto <[email protected]> * Start to try to attach some tests Signed-off-by: Ettore Di Giacinto <[email protected]> * Add git and small fixups Signed-off-by: Ettore Di Giacinto <[email protected]> * fix: correctly autoload external backends Signed-off-by: Ettore Di Giacinto <[email protected]> * Try to run AIO tests Signed-off-by: Ettore Di Giacinto <[email protected]> * Slightly update the Makefile helps Signed-off-by: Ettore Di Giacinto <[email protected]> * Adapt auto-bumper Signed-off-by: Ettore Di Giacinto <[email protected]> * Try to run linux test Signed-off-by: Ettore Di Giacinto <[email protected]> * Add llama-cpp into build pipelines Signed-off-by: Ettore Di Giacinto <[email protected]> * Add default capability (for cpu) Signed-off-by: Ettore Di Giacinto <[email protected]> * Drop llama-cpp specific logic from the backend loader Signed-off-by: Ettore Di Giacinto <[email protected]> * drop grpc install in ci for tests Signed-off-by: Ettore Di Giacinto <[email protected]> * fixups Signed-off-by: Ettore Di Giacinto <[email protected]> * Pass by backends path for tests Signed-off-by: Ettore Di Giacinto <[email protected]> * Build protogen at start Signed-off-by: Ettore Di Giacinto <[email protected]> * fix(tests): set backends path consistently Signed-off-by: Ettore Di Giacinto <[email protected]> * Correctly configure the backends path Signed-off-by: Ettore Di Giacinto <[email protected]> * Try to build for darwin Signed-off-by: Ettore Di Giacinto <[email protected]> * WIP Signed-off-by: Ettore Di Giacinto <[email protected]> * Compile for metal on arm64/darwin Signed-off-by: Ettore Di Giacinto <[email protected]> * Try to run build off from cross-arch Signed-off-by: Ettore Di Giacinto <[email protected]> * Add to the backend index nvidia-l4t and cpu's llama-cpp backends Signed-off-by: Ettore Di Giacinto <[email protected]> * Build also darwin-x86 for llama-cpp Signed-off-by: Ettore Di Giacinto <[email protected]> * Disable arm64 builds temporary Signed-off-by: Ettore Di Giacinto <[email protected]> * Test backend build on PR Signed-off-by: Ettore Di Giacinto <[email protected]> * Fixup build backend reusable workflow Signed-off-by: Ettore Di Giacinto <[email protected]> * pass by skip drivers Signed-off-by: Ettore Di Giacinto <[email protected]> * Use crane Signed-off-by: Ettore Di Giacinto <[email protected]> * Skip drivers Signed-off-by: Ettore Di Giacinto <[email protected]> * Fixups Signed-off-by: Ettore Di Giacinto <[email protected]> * x86 darwin Signed-off-by: Ettore Di Giacinto <[email protected]> * Add packaging step for llama.cpp Signed-off-by: Ettore Di Giacinto <[email protected]> * fixups Signed-off-by: Ettore Di Giacinto <[email protected]> * Fix leftover from bark-cpp extraction Signed-off-by: Ettore Di Giacinto <[email protected]> * Try to fix hipblas build Signed-off-by: Ettore Di Giacinto <[email protected]> --------- Signed-off-by: Ettore Di Giacinto <[email protected]>
1 parent 932f6b0 commit 294f702

35 files changed

+1615
-837
lines changed

‎.dockerignore

Lines changed: 3 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -3,7 +3,9 @@
33
.vscode
44
.devcontainer
55
models
6+
backends
67
examples/chatbot-ui/models
8+
backend/go/image/stablediffusion-ggml/build/
79
examples/rwkv/models
810
examples/**/models
911
Dockerfile*
@@ -14,4 +16,4 @@ __pycache__
1416

1517
# backend virtual environments
1618
**/venv
17-
backend/python/**/source
19+
backend/python/**/source

‎.github/bump_deps.sh

Lines changed: 7 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -3,15 +3,20 @@ set -xe
33
REPO=$1
44
BRANCH=$2
55
VAR=$3
6+
FILE=$4
7+
8+
if [ -z "$FILE" ]; then
9+
FILE="Makefile"
10+
fi
611

712
LAST_COMMIT=$(curl -s -H "Accept: application/vnd.github.VERSION.sha" "https://api.github.com/repos/$REPO/commits/$BRANCH")
813

914
# Read $VAR from Makefile (only first match)
1015
set +e
11-
CURRENT_COMMIT="$(grep -m1 "^$VAR?=" Makefile | cut -d'=' -f2)"
16+
CURRENT_COMMIT="$(grep -m1 "^$VAR?=" $FILE | cut -d'=' -f2)"
1217
set -e
1318

14-
sed -i Makefile -e "s/$VAR?=.*/$VAR?=$LAST_COMMIT/"
19+
sed -i $FILE -e "s/$VAR?=.*/$VAR?=$LAST_COMMIT/"
1520

1621
if [ -z "$CURRENT_COMMIT" ]; then
1722
echo "Could not find $VAR in Makefile."

0 commit comments

Comments
 (0)