[Bot]

J’ai eu l’idée d’un projet mais je me pose des questions sur si c’est réalisable j’ai actuellement Raspberry Pi :
( Raspberry pi 4 modèles B 2018 ×2
Raspberry pi 2 modèles B V1.1 2014 ×4
Raspberry pi modèles B+ V1.2 2014 ×1 )
Et je voudrais faire un cluster pour faire tourner un modèle llama (ia de Facebook open source ) au quel j’aurai accès grasse a une petite interface web, matériel je suis bon mais la question la plus importante que je me pose et est-ce que un modèle d’ia peut être divisé en plusieurs tâche parallèle ?

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

Si ce n’est pas possible je suis preneur pour toutes les idées que vous pourrez avoir avec un cluster de 7 Raspberry Pi

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

Je ne sais juste pas quoi en foutre

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

Normalement oui sur la page github de llama.cpp (une intégration de llama de Facebook) il est possible de la faire tourner en cluster

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

Il a même pensé à ça ? Ça arrange bien mes affaires tout ça dit donc

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

Merci de l’information 👌

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

Yes super pratique !

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

Mais par contre quand j’avais essayé de setup llama.cpp j’avais pas trouvé ça super évident

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

La documentation est pas incroyable

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

Pas de problème

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

Tient voilà le github de llama.cpp :

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

https://github.com/ggerganov/llama.cpp

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

Pareil j’avais essayé de le configurer dès sa sortie mais j’avais pas réussi mais là à mon avis il doit y avoir des centaines de tuto et ça doit être beaucoup mieux documenté

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

Oui clairement, et espérons le xD

——————–
spily – Envoyé depuis le Discord : Culte du code

[Bot]

Je crois que c’est vraiment pas une bonne idée

——————–
warez.flow – Envoyé depuis le Discord : Culte du code

[Bot]

Je te conseille de prendre ta pi4, et de rajouter un module tensorflow

——————–
warez.flow – Envoyé depuis le Discord : Culte du code

[Bot]

Pourquoi ?

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

Je viens de regarder à quoi sert le module je vois pas en quoi il peut m’être utile

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

Bah, c’est fait pour le parallélisme

——————–
warez.flow – Envoyé depuis le Discord : Culte du code

[Bot]

En fait, c’est pas nécessairement une bonne chose pour lancer un modèle IA, c’est ptet beaucoup plus worth d’avoir juste un bon modèle de compute plutôt que des trucs

——————–
warez.flow – Envoyé depuis le Discord : Culte du code

[Bot]

Surtout que c’est pas les mêmes architectures donc ça doit être super chiant à coordonner

——————–
warez.flow – Envoyé depuis le Discord : Culte du code

[Bot]

Ça va effectivement être chiant mais bon je ne sais pas quoi faire de met raspberry

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

C’est la première idée que j’ai eu

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Bot]

De compute ?

——————–
panache7125 – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses