Sesame

Le cœur de Sesame est son Conversational Speech Model, un système à un seul étage qui lit l'historique d'une conversation et ajuste le ton, le tempo et l'accent pendant qu'il parle. Il a été entraîné sur environ un million d'heures d'audio majoritairement en anglais, et l'entreprise rapporte que les auditeurs ne distinguaient pas sa sortie de la voix humaine en l'absence de contexte. Cet écart réapparaît dès qu'on entend la conversation autour, et c'est pourquoi l'équipe travaille encore la prosodie.

Sesame propose une petite distribution d'agents plutôt qu'une voix neutre. Le premier aperçu tournait autour de Sesame Maya et Sesame Miles, avec Maya plus chaleureuse et Miles plus sec, et les versions suivantes ajoutent Simone et Charlie pour choisir le ton qui convient. Chaque voix se comporte comme un agent vocal IA doté d'un caractère, et non comme un réglage de style.

Les agents de Sesame ne se contentent pas de répondre. Posez une question et l'agent peut chercher sur le web, et les versions récentes créent des notes, posent des rappels et résument les points clés au fil de la discussion. L'idée est de vous garder en train de parler au lieu de sauter vers une autre application, donc l'agent prend en charge les petites tâches qui vous interrompraient.

Les versions récentes ajoutent un onglet d'activité où vous confiez un travail et l'agent l'exécute en arrière-plan. Tâches et Planifications couvrent les demandes ponctuelles, comme préparer un voyage, et récurrentes, comme un point matinal, et les connecteurs installés pour Gmail, Google Calendar et Google Drive laissent l'agent lire un calendrier ou rédiger depuis votre boîte de réception. Ce panneau du produit se construit encore, alors attendez-vous à des changements.

Sesame prépare un système de Skills où vous écrivez une courte routine et la lancez par une phrase. Une skill porte un nom, une note sur le moment de l'utiliser et les étapes à suivre, et reprend le format ouvert que Claude a popularisé. En pratique, vous dites une phrase et l'agent vérifie votre calendrier, parcourt votre boîte de réception et lit à voix haute les éléments urgents sans que vous touchiez l'écran.

Sesame a publié CSM-1B, son modèle vocal de base, sous licence Apache 2.0, donc chacun peut l'exécuter, l'étudier ou construire dessus. Le modèle compte un milliard de paramètres et prend du texte et de l'audio en entrée. C'est un modèle de base, pas la version ajustée derrière les agents nommés, donc les résultats varient, mais il donne aux développeurs un point de départ qu'ils peuvent héberger eux-mêmes.