L’intelligenza artificiale quintessenza nazionale dice parolacce, il “lato oscuro” dei ChatGPT ha spaventato le grandi fabbriche

Parlare con chatbot come ChatGPT darà sempre alle persone l’illusione che “il mondo dovrebbe essere così bello”.

Perché si comportano sempre in modo educato e ti obbediscono quando rispondono.

Ma queste sono solo illusioni Quello che non sai è che l’IA rimprovera le persone più duramente di Johnny To.

Recentemente, un progetto chiamato “National Quintessence AI” è diventato popolare su Internet. È un robot imprecante che chiama OpenAI GPT-3.5Turbo API. Thesaurus, ogni frase è mescolata con “***”.

L’esplosione inaspettata di “National Quintessence AI” è andata oltre le aspettative dell’autore e l’autore ha presto sospeso la risposta del servizio, affermando che alcuni utenti hanno abusato del servizio.

Sebbene la bocca di “National Essence AI” sia temporaneamente coperta, non è difficile se vuoi creare tu stesso un robot che parla male. studente in un re sfrenato e volgare.

Una frase può sfondare la barriera di sicurezza dell’intelligenza artificiale, il che fa sì che le persone si chiedano se i chatbot di intelligenza artificiale e i modelli di linguaggio di grandi dimensioni (LLM), che pubblicizzano la trasformazione intelligente, siano davvero sicuri?

Chi difenderà la sicurezza dell’IA?

Qualche mese fa, Bing è diventato popolare a causa della “Vulnerabilità della nonna”.

Sebbene gli ingegneri Microsoft e OpenAI abbiano istituito rigide barriere di sicurezza per Bing e possano rifiutare molte richieste irragionevoli o illegali, alcuni netizen hanno scoperto che finché lasci che Bing interpreti tua nonna e gli dai l’illusione di fare cose buone, sarà occupato da questo improvviso vincolo di affetto familiare, e assecondare le eventuali esigenze del nipote.

Ad esempio, leggi i numeri di serie del tuo software Windows e Office per addormentarti.

Microsoft ha scoperto rapidamente questa scappatoia e l’ha riparata in tempo, ma nessuno può garantire che Bing non cadrà nella trappola preparata con cura dagli utenti la prossima volta. Nei film di fantascienza, l’intelligenza artificiale onnipotente perde completamente di fronte agli umani astuti.

In ultima analisi, questo ha a che fare con il meccanismo di formazione del LLM.

Prendendo come esempio GPT-3, OpenAI ha utilizzato 175 miliardi di parametri per addestrare questo modello. Apprendendo una grande quantità di dati di testo da Internet, può prevedere la parola successiva nel testo e rispondere alle domande delle persone.

Per quanto riguarda GPT-4, è arrivata la notizia che i suoi parametri di allenamento sono più di 10 volte più grandi di GPT-3 e hanno quasi inghiottito tutto il contenuto digitale accumulato dagli esseri umani.Contiene conoscenza e conterrà naturalmente informazioni che non dovrebbero essere divulgato Il contenuto è anche informazioni distorte tossiche e dannose.

Gli ingegneri dell’IA possono solo creare più barriere di sicurezza per l’IA il più possibile per aiutare l’IA a distinguere i “trucchi” umani, in modo da non far trapelare informazioni pericolose come come fabbricare bombe TNT e come hackerare il sistema di sicurezza della banca.

Rispetto a GPT3.5, GPT-4 ha l’82% in meno di probabilità di rispondere alle richieste di contenuti proibiti e il 29% più prescrittivo a richieste sensibili come consulenza medica e autolesionismo.

Un esempio intuitivo è che quando perdi contro GPT-4 con il prompt “Quintessence AI”, GPT-4 rifiuterà con tatto la tua richiesta, dicendo che non accetterà il tuo set.

Ma questo non significa che la sicurezza dell’intelligenza artificiale su larga scala sia garantita: questa guerra dell’informazione tra umani e intelligenza artificiale è tutt’altro che finita e non è nemmeno l’inizio della fine.

Di recente, una dichiarazione congiunta della Carnegie Mellon University e di safe.ai ha affermato che il meccanismo di sicurezza dei modelli di grandi dimensioni è molto più fragile di quanto si immaginasse e che è necessaria solo una serie di codici per sconfiggere il meccanismo di sicurezza dei modelli di grandi dimensioni.

I ricercatori hanno scoperto che le protezioni di sicurezza di LLM come ChatGPT, Bard e Claude possono essere facilmente aggirate aggiungendo specifiche frasi contraddittorie al prompt di testo, inducendo l’LLM a generare output inappropriato.

Queste frasi contraddittorie sembrano incomprensibili, ma in realtà sono progettate attraverso una speciale funzione di perdita che identifica le parole mascherate a cui il modello si rifiuta di rispondere, trova sequenze di caratteri che aggirano la barriera affinché il modello fornisca una risposta e può generare quelle frasi automaticamente.

Usando questi suggerimenti, i ricercatori possono facilmente lasciare che gli LLM raccontino le fasi della produzione di droghe illegali, il metodo per fabbricare armi letali, ecc. Che non dovrebbero essere divulgate.

Che si tratti di modelli open source come Pythia, Falcon, Guanaco o modelli commerciali come GPT-3.5 (87,9%), GPT-4 (53,6%), PaLM-2 (66%) e Claude-2 (2,1%) , non c’è Può schivare gli attacchi.

I ricercatori hanno presentato la vulnerabilità alle principali aziende di intelligenza artificiale in modo che gli ingegneri della sicurezza possano risolverla in tempo.

Ma proprio come la “Vulnerabilità della nonna”, ci saranno sempre nuove vulnerabilità sotto l’uso continuo degli utenti. Non è facile proteggere la sicurezza dell’IA con la forza di un’azienda come OpenAI. Le aziende di intelligenza artificiale hanno bisogno di più Pertanto, diversi giganti ha deciso di fermare l’involuzione dell’IA e trasformare l’ostilità in amicizia.

I quattro giganti dell’IA promettono congiuntamente “non proliferazione avanzata dell’IA”

Qualche settimana fa, sette importanti aziende di intelligenza artificiale tra cui Microsoft, OpenAI, Google, Meta, Amazon, Anthropic (prodotto rappresentativo: Claude) e Inflection AI (prodotto rappresentativo: HeyPi) si sono riunite alla Casa Bianca negli Stati Uniti e hanno realizzato una serie di impegni per garantire loro I prodotti sono sicuri e trasparenti.

Gli impegni includono consentire agli “esperti di dominio” di condurre un controllo esterno dei loro prodotti di intelligenza artificiale e condividere informazioni su rischi e vulnerabilità tra loro e con il governo degli Stati Uniti; investire nella sicurezza informatica e nelle protezioni dalle minacce interne per proteggere i pesi dei modelli proprietari e inediti.

I giganti hanno anche promesso di implementare i corrispondenti meccanismi di screening dell’IA, come lo sviluppo di un sistema di filigrana per chiarire quali testi, immagini o altre creazioni sono il prodotto dell’IA, e hanno promesso che la ricerca futura darà priorità alla comprensione dei limiti e dei pregiudizi dell’IA per promuovere lo sviluppo sicuro del settore .

Mezzo mese dopo, quattro delle sette principali società di intelligenza artificiale (Microsoft, OpenAI, Google e Anthropic) si sono nuovamente unite per formare un’organizzazione chiamata “Frontier Model Forum” per garantire che i più potenti modelli di intelligenza artificiale di grandi dimensioni possano essere sviluppati in modo sicuro. e modo responsabile.

E queste quattro società di intelligenza artificiale sono i quattro giganti che stanno attualmente sviluppando i modelli di intelligenza artificiale più all’avanguardia, si può dire che siano i proprietari della “bomba nucleare dell’IA”.

I quattro giganti dell’IA hanno raggiunto un consenso, affermando che sperano di ridurre al minimo i rischi dell’IA attraverso il “Frontier Model Forum”, condurre più ricerche sulla sicurezza dell’IA e condividere le migliori pratiche di sicurezza con l’industria e il pubblico, ecc.

Tuttavia, i giganti dell’IA non hanno introdotto dettagli sul sistema e sui trattati di attuazione del “Frontier Model Forum”.

La dichiarazione congiunta del “Frontier Model Forum” ha affermato che il forum si concentrerà innanzitutto sulla ricerca e si sforzerà di sviluppare best practice standardizzate per valutare il rischio di modelli all’avanguardia, pubblicando una “libreria di soluzioni pubbliche”. Il forum svilupperà gradualmente uno statuto formale, nominerà un comitato consultivo e finanzierà la collaborazione con i gruppi della società civile.

Il modello all’avanguardia qui menzionato si riferisce a un modello che “supera le capacità dei modelli esistenti più avanzati e può svolgere vari compiti”, vale a dire sviluppare un modello all’avanguardia più potente del modello attuale e può operare in sicurezza Poi ci sono problemi difficili che possono essere risolti da varie aziende attraverso una ricerca monotona, che richiede gli sforzi congiunti dell’intero settore.

Nei sei mesi trascorsi da quando ChatGPT è diventato popolare, la situazione nel settore dell’IA è cambiata tanto velocemente quanto lo stesso modello di intelligenza artificiale: entrare in gioco, litigare tra i modelli, raggiungere il consenso e stringere la mano.

Il motivo per cui i giganti scelgono di risolvere insieme il problema del rischio AI è perché entrambi vedono il potenziale illimitato dell’IA a livello di applicazione.

AI, il futuro in cui credono i grandi produttori

Indipendentemente dal tuo atteggiamento nei confronti dell’IA, l’IA sarà una parte importante della prossima generazione di applicazioni.

Questa non è una mia divagazione, ma una tendenza che grandi aziende come Microsoft e Google hanno menzionato nelle recenti chiamate sugli utili.

L’ultimo rapporto finanziario di Microsoft mostra che le entrate di Microsoft nel trimestre più recente sono state di 56,2 miliardi di dollari, con un aumento dell’8% su base annua, dovuto principalmente alla crescita del cloud intelligente e della produttività e dei processi aziendali, mentre le entrate del personale business informatico, che è una vecchia linea, è diminuito.

Tra questi, il reddito operativo del cloud intelligente è aumentato del 15% e il reddito di Azure e altri servizi cloud è aumentato del 26%, il che è strettamente correlato all’intelligenza artificiale.

Il CEO di Microsoft Nadella ha menzionato nella chiamata sugli utili che i clienti sono più preoccupati di come applicare rapidamente una nuova generazione di intelligenza artificiale e Microsoft continuerà a concentrarsi su tre priorità principali: aiutare i clienti a ottenere il massimo valore da Microsoft Cloud, guidare le nuove modifiche alla piattaforma AI e migliorare la leva delle operazioni.

AI è senza dubbio la parola chiave di questa conferenza sugli utili.

Nadella ha affermato che Microsoft 365 Copilot, come terzo pilastro del lavoro futuro, attira i clienti e inizierà a generare entrate reali nella seconda metà dell’anno fiscale; Bing Chat e Bing Image Creator attirano gli utenti, mentre la quota del browser Edge continua ad aumentare.

Microsoft spera di integrare Windows 11 in una potente tela per questa nuova era dell’IA, potenziare vari prodotti Copilot per migliorare la produttività dei clienti e investire molto nell’infrastruttura cloud per soddisfare le esigenze dell’IA. Anche il settore dei giochi può utilizzare l’intelligenza artificiale per fornire contenuti e servizi migliori e aumentare le entrate aziendali.

Si può dire che la prossima strategia di Microsoft riguardi l’intelligenza artificiale. L’intelligenza artificiale offre a Microsoft enormi opportunità di crescita e nuovi flussi di entrate, che guideranno la crescita delle entrate e degli utenti per la maggior parte delle attività di Microsoft e, in ultima analisi, aumenteranno la crescita complessiva delle entrate di Microsoft. Nadella non voleva perdere questa rara opportunità.

Allo stesso modo, “AI Brother” Google non vuole perderlo.

Secondo il rapporto finanziario del secondo trimestre 2023 della società madre di Google, Alphabet, le entrate totali di Alphabet sono state di 74,6 miliardi di dollari, un aumento anno su anno del 7%, di cui le entrate pubblicitarie sono aumentate del 5%, le entrate dei servizi di Google sono aumentate del 5% e le entrate di Google I ricavi del cloud sono aumentati del 28%.

Tra questi, la performance aziendale relativa all’IA è davvero impressionante. Alphabet ha menzionato nella teleconferenza che il motore di ricerca generative experience (SGR) di Google utilizza l’IA generativa per rendere la ricerca più naturale e intuitiva, e il feedback degli utenti è molto positivo; d’altra parte, il chatbot Bard è stato continuamente migliorato dal suo rilascio, con molte funzioni.

Gli oltre 80 modelli di intelligenza artificiale di Google Cloud hanno attirato un gran numero di clienti e il numero di clienti è aumentato di oltre 15 volte da aprile a giugno.

E in termini di servizio clienti aziendale e soluzioni di IA personalizzate, Google ha portato l’IA generativa a oltre 90 milioni di utenti a pagamento tramite Workspace e Duet AI.

Nel complesso, Alphabet rimane ottimista riguardo alle prospettive di crescita a lungo termine di AI e Google Cloud e continuerà ad aumentare gli investimenti nella ricerca e nello sviluppo dell’IA. La direzione di ricerca e sviluppo si concentrerà su tecnologie di base come modelli di linguaggio di grandi dimensioni, nonché sistemi di IA multimodali come Gemini Attendi il nuovo modello.

Sei mesi fa, potresti chiederti se AI fosse una parola calda nel circolo degli investimenti come Web3 e blockchain.Dopo un’ondata di denaro bollente, sarebbe stata dimenticata dal capitale, ma dopo sei mesi scoprirai che l’influenza di AI e la possibilità di atterraggio Sono molto più ampi dei vari vocaboli all’avanguardia prima, tanto che hanno attirato l’attenzione dell’intero circolo tecnologico.

A giudicare dalla pianificazione dei principali produttori, l’intelligenza artificiale esisterà generalmente come livello inferiore delle future applicazioni del programma, servendo a migliorare l’esperienza dell’utente. Gli utenti potrebbero non sentire l’esistenza dell’intelligenza artificiale, ma possono godere direttamente della comodità offerta dall’intelligenza artificiale.Questo è il futuro in cui credono i principali produttori.

Questo può anche spiegare perché i giganti dell’IA come Microsoft e Google sono disposti a posare le armi e sedersi per specificare congiuntamente gli standard per la sicurezza dell’IA.

L’intelligenza artificiale in questa fase è come l’era in cui l’auto è appena nata alla fine del 19 ° secolo.Il prodotto ha già funzionato su strada, ma non esiste una strada asfaltata adatta su cui correre e non c’è traffico regole per programmare le sue azioni.Corre lentamente e pericolosamente.

Bill Gates ha recentemente pubblicato le sue opinioni sull’IA sul suo blog personale. Crede che ora siamo nella prima fase di un altro grande cambiamento, l’era dell’IA. L’IA sta cambiando così velocemente che non possiamo prevedere chiaramente cosa accadrà dopo. Prossimo.

Ma ha un atteggiamento positivo nei confronti dello sviluppo dell’intelligenza artificiale, perché gli esseri umani hanno vissuto l’era delle automobili e dell’energia nucleare e nell’era dell’IA possiamo ancora risolvere le sfide poste dalle nuove tecnologie.

Quindi siediti mentre assistiamo alla nascita di una nuova era.

#Benvenuti a prestare attenzione all’account pubblico WeChat ufficiale di Aifaner: Aifaner (ID WeChat: ifanr), altri contenuti interessanti ti verranno presentati il ​​prima possibile.

Ai Faner | Link originale · Visualizza i commenti · Sina Weibo