Den här veckan i AI: låt oss inte glömma den ödmjuka datakommentaren

Att hänga med i en bransch som utvecklas lika snabbt som AI är en svår uppgift. Så tills en AI kan göra det åt dig, här är en användbar sammanfattning av de senaste berättelserna i världen av maskininlärning, tillsammans med anmärkningsvärd forskning och experiment som vi inte täckte på egen hand.

Den här veckan i AI skulle jag vilja lyfta fram märknings- och anteckningsstartups: nystartade företag som Scale AI, som enligt uppgift är i samtal om att skaffa ny finansiering till en värdering av 13 miljarder dollar. Märkning och anteckningsplattformar kanske inte drar uppmärksamheten till flashiga nya generativa AI-modeller som OpenAI:s Sora gör. Men de är viktiga. Utan dem skulle moderna AI-modeller utan tvekan inte existera.

De data som många modeller är utbildade på måste märkas. Därför att? Etiketter hjälper modeller att förstå och tolka data under utbildningsprocessen. Till exempel kan etiketter för att träna en bildigenkänningsmodell ha formen av märken runt objekt, “avgränsningsrutor” eller bildtexter som refererar till varje person, plats eller objekt som avbildas i en bild.

Etiketternas noggrannhet och kvalitet påverkar avsevärt prestandan (och tillförlitligheten) hos utbildade modeller. Och annotering är en enorm uppgift, som kräver tusentals till miljontals etiketter för de största och mest sofistikerade datamängderna som används.

Därför skulle man kunna tro att dataannotatorer skulle behandlas väl, få anständiga löner och ges samma förmåner som ingenjörerna som bygger modellerna åtnjuter. Men motsatsen är ofta sant: en produkt av de brutala arbetsförhållandena som främjas av många nystartade anteckningar och etiketter.

Företag med miljarder på banken, som OpenAI, har förlitat sig på målskyttar i tredje världens länder som bara får några få dollar i timmen. En del av dessa kommentatorer utsätts för mycket störande innehåll, som grafiska bilder, men får inte ledigt (eftersom de vanligtvis är entreprenörer) eller tillgång till mentalvårdsresurser.

En utmärkt artikel i NY Mag drar tillbaka gardinerna för i synnerhet Scale AI, som rekryterar annotatorer i länder så långt borta som Nairobi och Kenya. Vissa av uppgifterna på Scale AI kräver att taggare arbetar flera åtta timmar långa dagar, utan pauser, och betalar så lite som $10. Och dessa arbetare är beroende av plattformens nycker. Målskyttar går ibland under långa perioder utan att få arbete, eller sparkas utan ceremonier ut från Scale AI, som nyligen hände för entreprenörer i Thailand, Vietnam, Polen och Pakistan.

Vissa annoterings- och märkningsplattformar hävdar att de erbjuder “rättvis handel”-arbete. Faktum är att de har gjort det till en central del av sitt varumärke. Men som MIT Tech Reviews Kate Kaye påpekar finns det inga regler, bara svaga industristandarder för vad etiskt märkningsarbete innebär, och företagens egna definitioner varierar stort.

Så vad ska man göra? Med undantag för ett massivt tekniskt genombrott kommer behovet av att kommentera och märka data för AI-träning inte försvinna. Vi kan hoppas att plattformar kommer att reglera sig själv, men den mest realistiska lösningen verkar vara policyskapande. Det här är ett komplicerat perspektiv i sig, men jag skulle säga att det är den bästa chansen vi har att förändra saker till det bättre. Eller åtminstone börja göra det.

Här är några andra anmärkningsvärda AI-historier från de senaste dagarna:

    • OpenAI skapar en röstkloner: OpenAI introducerar ett nytt AI-drivet verktyg som det utvecklat, Voice Engine, som låter användare klona en röst från en 15-sekunders inspelning av någon som talar. Men företaget har beslutat att inte publicera det i stor omfattning (ännu), med hänvisning till risker för missbruk och missbruk.
    • Amazon fördubblar Anthropic: Amazon har investerat ytterligare 2,75 miljarder dollar i Anthropics växande AI-kraft, och fortsätter med alternativet som det lämnade öppet i september förra året.
    • Google.org lanserar en accelerator: Google.org, Googles välgörenhetsorganisation, lanserar ett nytt sexmånadersprogram på 20 miljoner USD för att hjälpa ideella organisationer att utveckla teknik som utnyttjar generativ AI.
    • En ny modellarkitektur: AI-startföretaget AI21 Labs har lanserat en generativ AI-modell, Jamba, som använder en ny och ny modellarkitektur (statliga rymdmodeller eller SSM) för att förbättra effektiviteten.
    • Databricks lanserar DBRX: I andra modellnyheter lanserade Databricks denna vecka DBRX, en generativ AI-modell som liknar OpenAI:s GPT-serie och Googles Gemini. Företaget hävdar att de uppnår toppmoderna resultat på ett antal populära AI-riktmärken, inklusive flera mätresonemang.
    • Uber Eats och AI-reglering i Storbritannien: Natasha skriver om hur en Uber Eats-kurirs kamp mot AI-bias visar att rättvisa enligt Storbritanniens AI-regler är svårvunnen.
    • Säkerhetsguide för EU:s val: Europeiska unionen publicerade utkast till riktlinjer för valsäkerhet för alla på tisdagen. två dussin plattformar som regleras under Digital Services Act, som inkluderar riktlinjer för att förhindra innehållsrekommendationer från att sprida AI-baserad generativ desinformation (även känd som politiska deepfakes).
    • Grok uppdateringar: X:s Grok chatbot kommer snart att få en uppdaterad underliggande modell, Grok-1.5; samtidigt kommer alla X Premium-prenumeranter att få tillgång till Grok. (Grok var tidigare exklusivt för X Premium+-kunder.)
    • Adobe utökar Firefly: Den här veckan introducerade Adobe Firefly-tjänster, en uppsättning av mer än 20 nya generativa och kreativa API:er, verktyg och tjänster. Det lanserade också Custom Models, som gör det möjligt för företag att justera Firefly-modeller baserat på deras tillgångar, en del av Adobes nya GenStudio-svit.

Mer maskininlärning

Hur är vädret? AI är allt mer kapabel att berätta detta. För några månader sedan märkte jag några ansträngningar med att prognostisera på tim-, vecko- och hundraårsskala, men precis som allt relaterat till AI går området snabbt framåt. Teamen bakom MetNet-3 och GraphCast har publicerat en artikel som beskriver ett nytt system kallat SEEDS, för Scalable Ensemble About Diffusion Sampler.

Animation som visar hur fler förutsägelser skapar en jämnare fördelning av väderförutsägelser.

SEEDS använder diffusion för att generera “ensembler” av rimliga väderresultat för ett område baserat på indata (kanske radaravläsningar eller orbitalbilder) mycket snabbare än fysikbaserade modeller. Med ett större antal uppsättningar kan de täcka fler kantfall (som en händelse som bara inträffar i 1 av 100 möjliga scenarier) och ha mer förtroende i mer troliga situationer.

Fujitsu hoppas också att bättre förstå den naturliga världen genom att tillämpa AI-bildhanteringstekniker på undervattensbilder och lidardata som samlats in av autonoma undervattensfordon. Förbättrad bildkvalitet gör att andra mindre sofistikerade processer (som 3D-konvertering) kan fungera bättre med måldata.

Bildkrediter: fujitsu

Tanken är att bygga en “digital tvilling” av vatten som kan hjälpa till att simulera och förutsäga ny utveckling. Det är vi långt ifrån, men någonstans måste vi börja.

Bland LLM:er har forskare funnit att de härmar intelligens med en ännu enklare metod än förväntat: linjära funktioner. Ärligt talat är matematiken bortom mig (vektorgrejer i många dimensioner), men den här MIT-artikeln gör det ganska tydligt att återställningsmekanismen för dessa modeller är ganska… grundläggande.

Även om dessa modeller är riktigt komplicerade olinjära funktioner som tränas med mycket data och är mycket svåra att förstå, finns det ibland riktigt enkla mekanismer som fungerar inom dem. Det här är ett exempel på det, säger medförfattaren Evan Hernandez. Om du är mer tekniskt sinnad, kolla in dokumentet här.

Ett sätt som dessa modeller kan misslyckas är genom att inte förstå sammanhang eller feedback. Även en riktigt kapabel LLM kanske inte “fattar det” om du säger till dem att deras namn uttalas på ett visst sätt, eftersom de faktiskt inte vet eller förstår någonting. I fall där det kan vara viktigt, som interaktioner mellan människa och robot, kan det avskräcka människor om roboten agerar på det sättet.

Disney Research har under lång tid forskat på automatiserade karaktärsinteraktioner, och den här artikeln om uttal och namnåteranvändning dök upp för ett tag sedan. Det verkar självklart, men att extrahera fonemen när någon presenterar sig och koda dem istället för bara det skrivna namnet är ett smart tillvägagångssätt.

Bildkrediter: Disney utredning

Slutligen, eftersom AI och sökning alltmer överlappar varandra, är det värt att omvärdera hur dessa verktyg används och om denna oheliga förening innebär nya risker. Safiya Umoja Noble har varit en viktig röst inom AI och söketik i flera år, och hennes åsikt är alltid upplysande. Han gjorde en trevlig intervju med UCLAs nyhetsteam om hur hans arbete har utvecklats och varför vi bör hålla huvudet kallt när det kommer till partiskhet och dåliga sökvanor.

Leave a Reply

Your email address will not be published. Required fields are marked *