Apple Intelligence breidt AI-mogelijkheden uit op Apple Devices

Een belangrijke aankondiging is de toegang voor ontwikkelaars tot het on-device basismodel van Apple Intelligence. Dit stelt hen in staat om AI-mogelijkheden te integreren in hun apps, waarbij de nadruk ligt op snelheid, privacy en offline beschikbaarheid zonder kosten voor AI-inferentie. Deze nieuwe functies zijn vanaf vandaag beschikbaar voor testdoeleinden en zullen dit najaar uitrollen naar ondersteunde apparaten.

Craig Federighi, Senior Vice President Software Engineering bij Apple, benadrukte de voortdurende missie van Apple om relevante en gebruiksvriendelijke AI-mogelijkheden te bieden die de privacy van gebruikers beschermen. Hij uitte zijn enthousiasme over de toegang die ontwikkelaars nu krijgen tot het basismodel, wat een "hele nieuwe wereld aan mogelijkheden" voor apps moet openen.

Tegen het einde van dit jaar worden acht nieuwe talen toegevoegd voor Apple Intelligence-functies, waaronder Nederlands.

Communicatie zonder taalbarrières en Creatieve AI-tools

Live vertaling is een van de nieuwe communicatiefuncties die taalbarrières moet wegnemen. Deze functie is geïntegreerd in Berichten, FaceTime en Telefoon, en maakt automatische vertaling mogelijk tijdens het typen of spreken. De verwerking gebeurt lokaal op het apparaat om privacy te waarborgen.

Op het gebied van creativiteit bieden Genmoji en Image Playground nieuwe mogelijkheden. Gebruikers kunnen Genmoji nu maken door tekst en emoji te combineren en expressies of uiterlijke kenmerken van personen aan te passen. Image Playground biedt toegang tot nieuwe stijlen via ChatGPT, zoals olieverf- of vectorstijl, en stuurt beschrijvingen of foto's naar ChatGPT om unieke afbeeldingen te genereren, waarbij de gebruiker controle houdt over het delen van gegevens met ChatGPT.

Visuele AI en Apple Watch integratie

Visuele AI is nu beschikbaar voor het iPhone-scherm, waardoor gebruikers direct informatie kunnen opvragen of acties kunnen uitvoeren op basis van de scherminhoud. Met de iPhone-camera kan visuele AI ook informatie over objecten en de omgeving ophalen, waaronder het zoeken naar vergelijkbare afbeeldingen en producten op platforms zoals Google of Etsy. De functie herkent afspraken en activiteiten op het scherm en stelt voor deze aan de agenda toe te voegen.

Voor de Apple Watch introduceert Workout Buddy, een unieke functie die gebruikmaakt van Apple Intelligence. Op basis van trainingsgegevens en fitnessgeschiedenis worden persoonlijke inzichten in real-time aangeboden tijdens workouts. Deze functie genereert stemfeedback, gebaseerd op stemmen van Fitness+-trainers, en verwerkt gegevens veilig en privé via Apple Intelligence. De functie is initiëf beschikbaar in het Engels voor populaire workouts.

Toegang voor ontwikkelaars en slimmere opdrachten

Ontwikkelaars krijgen nu rechtstreekse toegang tot het on-device basismodel van Apple Intelligence via het Foundation Models-framework. Dit maakt het mogelijk om intelligente, offline beschikbare en privacygerichte AI-functies in apps te integreren zonder cloud-API-kosten. Het framework is native geschikt voor Swift en vereenvoudigt de integratie van generatieve mogelijkheden in apps.

De Opdrachten-app wordt veelzijdiger en slimmer dankzij Apple Intelligence. Nieuwe intelligente acties zijn beschikbaar, zoals het samenvatten van tekst met Schrijfhulp of het maken van afbeeldingen met Image Playground. Gebruikers kunnen ook direct Apple Intelligence-modellen (lokaal of via Private Cloud Compute) gebruiken om reacties te genereren die in opdrachten kunnen worden toegepast.

Overige nieuwe functies en privacybenadering

Apple Intelligence wordt dieper geïntegreerd in diverse apps en functies, waaronder:

• Herinneringen: automatische categorisatie van relevante acties uit e-mails, websites en notities.
• Apple Wallet: ophalen en overzicht bieden van verzendgegevens uit e-mails.
• Berichten: mogelijkheid om polls te maken en achtergronden aan te passen met Image Playground.
• Schrijfhulp: ondersteuning bij herschrijven, proeflezen en samenvatten van tekst, met de optie om specifieke wijzigingen te beschrijven.
• Ruim op (Foto's): storende elementen verwijderen uit foto's.
• Beeldpenseel: ruwe schetsen omzetten in passende afbeeldingen in Notities.
• Samenvattingen in Mail: snelle samenvattingen van e-mails of lange berichtenreeksen.
• Slim antwoord: suggesties voor reacties in Mail en Berichten.
• Siri: wordt behulpzamer, werkt natuurlijker, biedt een typ-optie en onthoudt context.
• ChatGPT-integratie: toegang tot kennis en begrip van afbeeldingen/documenten van ChatGPT via Schrijfhulp en Siri.
• Foto's-app: zoeken met eigen woorden en maken van terugblikvideo's op basis van beschrijvingen.
• Audio-transcripties: automatische samenvattingen van audiotranscripties in Notities en telefoongesprekken.
• Prioriteitsberichten en -meldingen: urgente items bovenaan inbox en toegangsscherm.
• Voorvertoningen in Mail en Berichten: korte samenvattingen zonder bericht te openen.
• Focus 'Beperk onderbrekingen': toont alleen essentiële meldingen.

Apple benadrukt de privacybescherming binnen Apple Intelligence. Gegevens worden primair op het apparaat verwerkt. Voor taken die grotere modellen vereisen, wordt Private Cloud Compute ingezet met dezelfde beveiligingsprincipes. Gegevens worden niet opgeslagen of toegankelijk voor Apple, en onafhankelijke experts kunnen de programmacode controleren, wat een nieuwe stap in AI-privacy moet zijn.

Beschikbaarheid

De nieuwe functies zijn vanaf vandaag beschikbaar voor testdoeleinden via het Apple Developer Program. Een openbare bètaversie volgt volgende maand via het Apple Beta Software Program. De volledige release staat gepland voor het najaar als gratis software-update op ondersteunde apparaten (alle iPhone 16-modellen, iPhone 15 Pro, iPhone 15 Pro Max, iPad mini (A17 Pro), en iPad- en Mac-modellen met M1-chip of nieuwer). Ondersteuning voor extra talen, waaronder Nederlands, wordt later dit jaar verwacht.