ChatGPT d'OpenAI, Gemini de Google, Llama de Meta et Claude d'Anthropic, les grands modèles de langage (LLM) sont actuellement un sujet très discuté.
Les nouveaux services offerts par ces modèles sont impressionnants.
Si vous vous êtes déjà demandé pourquoi ChatGPT 3 communique avec vous de manière si polie et courtoise, c'est parce que des experts de diverses disciplines ont répondu à des centaines de milliers de questions réelles au cours de la deuxième étape de formation et que le modèle de langage étendu a été formé à partir de ces questions.
Les LLM sont toujours basés sur deux étapes de formation. Lors de la première étape, ChatGPT 3 a traité 320 téraoctets de documents accessibles au public. Les textes ont été divisés en "tokens", qui correspondent essentiellement à un mot. Chaque jeton se voit ensuite attribuer environ 20 000 attributs. Le calcul de ces attributs est la principale tâche informatique à effectuer dans un premier temps. Pour ce faire, les plus grands ordinateurs du monde passent plusieurs semaines à calculer les 320 téraoctets de données. Le modèle est ainsi capable d'enchaîner les mots comme un être humain et de formuler la réponse en fonction des mots qui lui sont donnés. Le système utilise ensuite de grandes tables pour calculer le mot qui a le plus de chances de venir ensuite.
Au cours de la deuxième étape de la formation, les MFR sont formés à des connaissances spécialisées qui couvrent des domaines spécifiques ou répondent à toutes sortes de questions, comme un assistant amical.
OpenAI (ChatGPT) est confrontée à un déficit d'environ 7 milliards de dollars cette année, mais tous ceux qui ont assisté à la conférence de Microsoft de cette année savent que Microsoft veut introduire l'IA dans tous les domaines de la vie des gens et gagner des sommes d'argent gigantesques grâce à elle.
Pour ceux qui utiliseront l'IA, qu'il s'agisse de personnes ordinaires ou de grandes organisations ou universités, quelques problèmes essentiels se posent :
1. nous n'avons aucun contrôle sur ce sur quoi le système est formé et sur l'importance qui lui est accordée. L'accent régional ou culturel est déterminé par les entreprises qui établissent le système. (Par exemple, dans ChatGPT 3, le contenu de la plateforme Reddit a été surévalué 23 fois parce que le contenu a été classé comme particulièrement pertinent).
2. à l'avenir, on s'attend à une augmentation gigantesque des données de base utilisées pour le premier niveau de formation et à une augmentation du nombre d'attributs. (De la dernière version publique ("OpenAI") à ChatGPT 3, on est passé d'environ 760 attributs à plus de 19 000). En conséquence, cela signifie une augmentation gigantesque de la puissance de calcul nécessaire, que personne, à l'exception de quelques géants du numérique, ne peut se permettre.
Si nous ne voulons pas devenir les esclaves payants d'énormes entreprises, nous devons construire nos propres systèmes. En tant que pays, en tant qu'unités économiques (par exemple l'UE ou l'Union africaine), en tant qu'association d'universités ou en tant qu'association mondiale de scientifiques ou d'organisations à but non lucratif.
Ainsi, l'idée de source ouverte pour les systèmes numériques, c'est-à-dire le partage ouvert de logiciels et d'outils numériques, où chacun peut voir exactement à quoi ressemble chaque ligne de programme individuelle, est essentielle pour l'avenir.
Le 6 juillet, un événement en ligne sera organisé sur le site DIGI-FACE et portera précisément sur ce sujet.
Inscrivez-vous et participez !
Cela prendra 2 à 3 heures et c'est GRATUIT !
Vous devez être connecté pour évaluer les messages.
