로컬 AI 어시스턴트 트래픽을 자체 호스팅 게이트웨이를 통해 라우팅합니다.
중앙 집중식, 자체 호스팅 게이트웨이를 통해 로컬 AI 어시스턴트 트래픽을 라우팅하여 실시간 통화 압축 및 컨텍스트 최적화를 적용하여 추론 비용을 줄입니다. Othentic Labs Ltd의 Anyray Connect는 엔지니어링 팀과 DevOps를 위한 서명된 Windows 실행 파일로 제공됩니다. OpenAI 호환 API를 노출하고 팀 및 프로젝트별 지출 귀속을 제공하며 개발자 워크플로우가 계속 실행될 수 있도록 실패-오픈 타임아웃을 포함합니다. 이 도구는 대규모로 LLM을 운영하고 온프레미스 거버넌스가 필요한 팀에 적합합니다.
Anyray Connect는 개발자 LLM 트래픽에 대해 실제로 무엇을 하나요?
Anyray Connect는 로컬 AI 도구에서 요청을 내부 게이트웨이를 통해 라우팅합니다, 엔드포인트를 재작성하여 어시스턴트와 SDK가 코드 변경 없이 최적화를 사용할 수 있도록 합니다. 클라이언트 측 실행 파일은 호환 가능한 도구가 게이트웨이를 가리키도록 자동으로 구성하며, 게이트웨이는 압축 및 컨텍스트 트리밍을 위해 결정론적 규칙 기반 변환을 적용합니다. 이 설정은 프롬프트 콘텐츠가 회사 인프라 내에 유지되어야 하는 환경을 목표로 하며, 기존 통합이 계속 작동할 수 있도록 OpenAI 호환 API를 노출합니다.
작업 흐름에 영향을 미치거나 엔지니어링 변경이 필요한가요?
이 도구는 기존 LLM 엔드포인트의 드롭인 교체로 작동합니다, 따라서 팀은 어시스턴트 코드나 SDK 호출을 변경할 필요가 없습니다. 게다가 클라이언트는 최적화기가 느릴 경우 요청을 변경하지 않고 전달하는 800–1200 밀리초 타임아웃을 가진 실패 개방 메커니즘을 사용하여 개발자 생산성을 유지합니다. 구성은 클라이언트와 게이트웨이 계층에서 이루어지며, 설치 프로그램은 단일 서명된 Windows 실행 파일 또는 Windows 패키지 관리자를 통해 배포됩니다.
기업 환경 내에서 운영하는 것이 안전한가요?
안전성은 자체 호스팅 아키텍처에 설계되어 있습니다; 게이트웨이와 최적화기는 귀하의 인프라 내에서 실행됩니다(예: Docker 또는 Kubernetes), 그리고 프롬프트/응답 콘텐츠는 현장에 유지됩니다. 또한, 최적화기는 출력을 안정적으로 유지하기 위해 결정론적 변환을 사용하며, 측정은 지출 귀속을 위해 콘텐츠가 없는 메타데이터만 전송합니다. 이러한 설계 선택은 외부 노출을 제한하면서 팀별 및 프로젝트별 사용 보고를 제공합니다.
자체 호스팅 인프라를 이미 운영하는 엔지니어링 팀을 위한 맞춤형 도구
Anyray Connect는 LLM 트래픽에 대한 세분화된 거버넌스가 필요하고 이미 컨테이너화된 또는 온프레미스 서비스를 운영하는 엔지니어링 및 DevOps 팀에 적합합니다. 표준 API를 노출하여 기존 통합을 유지하고 민감한 프롬프트를 네트워크 내에 보관합니다. 주요 트레이드오프는 운영 요구 사항입니다: 팀은 최적화 및 귀속 기능의 이점을 누리기 위해 게이트웨이 인프라를 호스팅하고 유지 관리해야 합니다.
