Edgee AI Gateway

Yksi gateway yli 200 mallille

Edgee AI Gateway tarjoaa OpenAI-yhteensopivan rajapinnan, jonka kautta sovellus voi käyttää yli 200 kielimallia. Palvelun keskeinen lupaus on kustannusten pienentäminen reunalla tehtävällä token-kompressiolla: Edgee pakkaa kehotteita ennen kuin ne lähetetään LLM-palveluntarjoajille, ja Edgee arvioi säästöksi jopa 50 %.

Gateway sisältää mallireitityksen, varajärjestelyt, uudelleenyritykset, kehotteiden välimuistin, lokit, mittarit, vientiominaisuudet, budjetit, kustannusten kohdistustagit, omien avainten tuen (BYOK), palveluntarjoajareitityksen ja alueellisen reitityksen. Se sopii tiimeille, jotka käyttävät useita LLM-palveluntarjoajia ja tarvitsevat paremman näkyvyyden käyttöön, virheisiin, latenssiin ja kustannuksiin.

Hinnoittelu

Core Gateway -ominaisuudet ovat ilmaisia, eikä Edgee lisää mallien palveluntarjoajahintoihin omaa katetta. Käytön mukaan laskutettavassa mallissa käyttäjä maksaa mallien käytöstä palveluntarjoajien hintojen mukaan. Token Compression -ominaisuus on toistaiseksi ilmainen, mutta myöhemmin siitä veloitetaan säästettyjen tokenien perusteella. Edge Tools veloitetaan kutsukohtaisesti, ja Edgeen isännöimät yksityiset mallit minuuttikohtaisesti. Enterprise-taso on mukautettu ratkaisu korkean mittakaavan, tietoturvan, SSO/SAML:n ja sopimuspohjaisen SLA:n tarpeisiin.