Dessa нэртэй энэхүү загвар нь бүрэн дуплекс горимоор ажиллаж, хүний ярианы хэмнэл, сэтгэл хөдлөл болон түр зогсолтыг бодитоор илэрхийлдэг байна.
Жэк Дорсигийн үүсгэн байгуулсан Block компани өөрийн судалгааны лабораторид бүтээсэн Dessa хэмээх шинэ дуу хоолойны загварыг танилцууллаа. Энэхүү загвар нь зөвхөн хүний ярианы өгөгдөл дээр суурилан сургагдсан бөгөөд NVIDIA-ийн ганц GPU ашиглан орон нутгийн төхөөрөмж дээр ажиллах боломжтой юм. OpenAI компанийн GPT-Live загварын нэгэн адил хоёр талт яриаг нэгэн зэрэг хүлээн авч, хариулах чадвартай гэдгээрээ онцлогтой.
Block компанийн мэдэгдэж буйгаар, одоогийн дуу хоолойны AI загварууд нь текстийг яриа болгон хувиргах явцад хүний ярианы мөн чанар болох сэтгэл хөдлөл, хэмнэлийг алдагдуулдаг байна. Dessa нь ямар нэгэн тусгай тэмдэглэгээгүйгээр ярианы явцад ядарсан, баярласан эсвэл гунигтай зэрэг сэтгэл хөдлөлийг өөрөө илэрхийлэх чадвартай ажээ. Энэ нь хиймэл оюун ухаантай харилцах харилцааг илүү бодитой бөгөөд хүнлэг болгох зорилготой юм.
Уг загвар нь MacBook M4 Max зэрэг хэрэглээний түвшний компьютер дээр ажиллах хүчин чадалтай боловч одоогоор олон нийтэд нээлттэй биш байна. Block компани аюулгүй байдлын эрсдэлийг судлах зорилгоор зөвхөн мэргэжилтнүүдийн дунд туршилтыг эхлүүлээд байгаа бөгөөд цаашид санхүүгийн болон бизнесийн үйлчилгээндээ энэхүү технологийг нэвтрүүлэхээр төлөвлөж байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Jack Dorsey’s Block released a new voice model out of the company’s research lab that runs locally and sounds strangely human with its expressions like laughs, pauses, and cries. The company said the model, called Dessa, is trained fully on human speech and a single NVIDIA GPU.
Dessa is a full-duplex model, which means it can talk and listen at the same time, just like the GPT-Live model OpenAI released earlier this year. Typically, speech models are paired with a large language model for knowledge retrieval. Block said that Dessa’s knowledge stems from the conversational data it has.
Block said that the current models can sound unnatural and annoying because they have text in the pipeline that drives speech generation. A lot of models like ElevenLabs v4 or Fish Audio Drama 3 use voice tags to drive emotion in speech generation. Dorsey’s company claims that emotion is built into its model. It’s not clear if that emotion is being steered by some kind of tags.
“Interacting with current voice AI can just plain suck. It turns your voice into text and throws away an incredible amount of information text alone can’t carry. The most powerful AIs in the world can’t hear how you feel. We think that’s ridiculous, leads to a worse experience, and is potentially dangerous,” the company said in a blog post.
The company’s researchers posted multiple examples of conversations with Dessa where the agent had different voices, cadences, and emotions. For instance, in the conversation, the bot said it was tired from work, and at that point it sounded tired.
In the example below, the bot was talking about the person making it comfortable while sounding emotional and almost breaking down.
Another one shows a Block team member playing a game with the voice assistant.
The company said that the model can run locally on a consumer-grade computer such as a MacBook M4 Max or better. However, there is no public access to Dessa at the moment, and Block has put out a call for safety researchers to test the model. This is likely to test out cases where a voice agent could trick people on the other end.
Block is in the business of finance and selling its solutions to small businesses. Square already uses voice AI to handle ordering. But with its own voice model that can run on-device, it can power a lot more business and consumer experiences at a lower cost.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
