PC Refresh | Autonome AI server
Met de toegenomen spanningen tussen EU-landen en de VS, gaan steeds meer bedrijven nadenken over de veiligheid en privacy van hun AI. Met elke vraag die u stelt aan de AI, wordt ook uw informatie gedeeld met de AI.
Voor bedrijven die waarde hechten aan privacy en soevereiniteit van hun informatie, kan het inrichten van een autonome AI server een interessante oplossing zijn.
Wat is een autonome AI server?
Een autonome AI server is een computer die u in eigen beheer inricht, waarop de AI software wordt geïnstalleerd. Als u een vraag stelt aan de AI, wordt deze op uw eigen computer verwerkt. Er wordt in principe geen informatie van of naar een externe partij verstuurd (zoals OpenAI voor ChatGPT of Google voor Gemini).
Wat zijn de voor- en nadelen?
Het voordeel van een eigen AI server is dat er geen informatie wordt gedeeld met een externe (Amerikaanse) partij. U houdt dus in principe volledig beheer over de informatiestroom en de privacy van uw gegevens.
Het nadeel is dat een centraal AI systeem sneller leert, doordat vele mensen er gebruik van maken. Ook beschikken de grote bedrijven over grote hoeveelheden computercapaciteit, waardoor de berekeningen sneller kunnen worden gemaakt. Afhankelijk van de investeringen die u in uw eigen AI-systeem doet, kunnen de prestaties dus trager of sneller zijn.
Hoe wordt een autonome AI server ingericht?
Het inrichten van een AI-server bestaat uit twee belangrijke onderdelen: software en hardware. Beide worden afgestemd op de behoeften van uw organisatie.
Software
Voor de AI-software worden vaak open-source modellen gebruikt zoals Llama van Meta, Mistral of DeepSeek. Deze modellen zijn gratis. U hoeft geen verbinding te maken met externe servers. U beheert ze lokaal, wat betekent dat u volledige controle hebt over hoe uw gegevens worden verwerkt.
U hebt ook een interface nodig zodat medewerkers vragen kunnen stellen aan de AI. Er zijn open-sourceoplossingen beschikbaar, zoals Ollama of Open WebUI. Deze zijn eenvoudig in te stellen en lijken op bekende AI-tools zoals ChatGPT.
Afhankelijk van wat uw organisatie nodig heeft, kunt u de AI configureren met kennis uit uw documenten en systemen. Dit wordt een RAG-systeem (Retrieval-Augmented Generation) genoemd. Voor elke vraag doorzoekt de AI uw gegevensbronnen voordat een antwoord gegenereerd wordt.
Hardware
De hardware bepaalt hoe snel en nauwkeurig de AI is. Complexe en nauwkeurige modellen hebben meer rekenkracht nodig. Het belangrijkste onderdeel is de grafische kaart (GPU) die de berekeningen uitvoert. NVIDIA GPU’s zoals de RTX 4090 of de RTX 5090 zijn geschikt voor eenvoudige toepassingen. Voor veeleisendere taken is de NVIDIA A100 series het meest geschikt.
De server heeft ook RAM nodig, meestal minimaal 64 GB, en snelle opslag om de modellen te laden. U kunt de server als een machine in uw eigen offline netwerk opzetten. Dit betekent dat er geen online internetverbinding nodig is om zoekopdrachten te verwerken.
Wat kan PC Refresh voor u betekenen?
PC Refresh heeft ruim 15 jaar ervaring in alle soorten IT-oplossingen, zowel hardware als software. Onze specialisten kunnen voor u een op maat gemaakte autonome AI server inrichten, waarbij we zorgdragen voor zowel de hardware, software (open source indien gewenst) en procesbegeleiding voor uw organisatie en medewerkers.
Neem contact met ons op voor meer informatie.