Databronnen
Een databron is een website die Aivie inleest en als achtergrond gebruikt als het ideeën genereert en chatvragen beantwoordt, bijvoorbeeld de site van een concurrent of van een vakblad. Je voegt de sites toe op het scherm Databronnen. Hoe de crawl zich gedraagt, stel je in op het tabblad Instellingen bij Installatie.
Databronnen toevoegen
- Open de Aivie-sectie, Aivie - Content.
- Kies in de zijbalk, onder Configuratie, Databronnen.
- Druk onder de tabel op + Nog 1 toevoegen en typ het adres van de site, bijvoorbeeld
https://www.example.com. Een adres zonderhttps://krijgt dat erbij als je opslaat. - Druk op Opslaan.
De tabel toont het adres (Url), hoe vaak de site is gecrawld (Aantal keren gecrawld) en wanneer dat voor het laatst gebeurde (Laatst gecrawld). Wil je een site verwijderen, druk dan op de verwijderknop op zijn rij en bevestig Weet je zeker dat je deze databron wil verwijderen?. Iedereen met toegang tot de Aivie-sectie kan databronnen toevoegen, wijzigen en verwijderen.
Bronnenlimiet
Je pakket bevat een aantal extra bronnen en een proefperiode heeft een eigen tegoed. Heeft je site een pakket, dan toont een teller boven de tabel hoeveel bronnen je gebruikt van het aantal dat je pakket bevat, bijvoorbeeld 2 van 3 bronnen. Bereik je de limiet, dan verdwijnt de knop + Nog 1 toevoegen, en een keer opslaan die over de limiet zou gaan, wordt met een melding geweigerd. Sites zonder pakket, zoals een partnersite waaraan nog geen pakket is toegekend, hebben geen limiet.
Het aantal bronnen per pakket staat op de pagina Pakketoverzicht. Wil je meer, pas dan je pakket aan. Zie Abonnement en verbruik.
Een site crawlen
Een crawl leest de pagina's van een site en bewaart hun tekst. Je kunt er met de hand een starten, en Aivie crawlt al je databronnen ook volgens een schema.
Een site nu crawlen:
- Sla de databron eerst op. Een rij die nog niet is opgeslagen, kan niet worden gecrawld: Aivie antwoordt Sla de databron eerst op voordat je kunt crawlen.
- Druk op Crawl op zijn rij. De melding Crawl gestart verschijnt.
- Wacht op Crawl klaar. De crawl draait op de achtergrond, dus je kunt het scherm verlaten. Een site met veel pagina's kan een paar minuten duren.
Aantal keren gecrawld en Laatst gecrawld worden bijgewerkt als een crawl klaar is. Een crawl die mislukt, telt niet mee.
De geplande crawl loopt al je databronnen één voor één langs. Je stelt de frequentie ervan in op dezelfde plek als de andere crawlinstellingen, zoals hieronder beschreven. Blokkeert de licentie de productie, bijvoorbeeld op een publiek domein zonder licentiesleutel, dan doet de geplande crawl niets. Zie Licentie en proefperiode.
Hoe een crawl zich gedraagt
Aivie begint bij het adres dat je hebt ingevuld en voegt de adressen toe die het in de sitemap.xml van de site vindt, als die er is. Vanaf daar volgt het links, maar alleen naar pagina's op dezelfde site, en alleen HTML-pagina's. Het houdt zich aan de robots.txt van de site, tenzij je dat uitzet, en wacht tussen aanvragen om de belasting van de andere server laag te houden.
Een crawl stopt als het maximale aantal pagina's is opgehaald, of als de maximale diepte is bereikt, die het aantal klikken vanaf de startpagina telt. Beide limieten, het aantal aanvragen dat tegelijk loopt en de wachttijd tussen aanvragen zijn instellingen. Een pagina waarvan de tekst sinds de vorige crawl niet is veranderd, houdt haar oude wijzigingsdatum. Als Aivie de gecrawlde tekst aan de agents geeft, gaat de voorkeur uit naar de pagina's die het laatst zijn gewijzigd.
Crawlinstellingen
De crawlinstellingen staan op het tabblad Instellingen bij Installatie, dat alleen leden van Aivie-admin kunnen openen. Ze staan in de groep Databronnen:
- Open Configuratie → Installatie en kies het tabblad Instellingen.
- Zoek de groep Databronnen en wijzig de waarden die je nodig hebt.
- Druk op Opslaan.
| Instelling | Wat het doet |
|---|---|
| Pagina's per crawl | Het maximale aantal pagina's dat één crawl ophaalt, ook als er nog meer links openstaan. |
| Gelijktijdige aanvragen | Hoeveel pagina's tegelijk worden opgehaald. Hoger is sneller, maar belast je site en de bezochte server zwaarder. |
| Wachttijd tussen aanvragen (ms) | Een pauze in milliseconden voor elke aanvraag, uit beleefdheid richting de andere site. |
| Maximale diepte | Hoeveel klikken vanaf de startpagina de crawl volgt. |
| robots.txt respecteren | Of de crawl zich aan de regels in de robots.txt van de site houdt. Zet dit alleen uit als je zeker weet dat het mag. |
Bij elke waarde staat waar hij vandaan komt: standaard, uit appsettings of hier ingesteld. De sleutels en standaardwaarden staan in de configuratiesleutels.
Schema
Dezelfde groep bevat het schema van de geplande crawl. Het wordt als één zin getoond, met ernaast een knop Wijzigen. Het venster werkt zoals beschreven onder Schema op de pagina Ideeëngenerator. Alle tijden zijn UTC. Alle taken en hun schema's staan in Geplande taken.
De gecrawlde tekst aan de agents geven
Een crawl bewaart de tekst van de pagina's in Aivie. De agents zien hem pas als je Gecrawlde inhoud in een agentcontext zetten aanzet in dezelfde groep. In een nieuwe installatie staat die instelling uit, omdat hij inhoud voor de agents zet waar niemand om heeft gevraagd.
Met de instelling aan schrijft elke crawl per databron één tekstresource, genoemd naar het domein, in de context die onder Context-alias staat. Het installatiescherm maakt de standaardcontext, Aivie Datasources. Kies je een andere, maak die context dan eerst aan onder AI → Contexts, want Aivie maakt hem niet aan. Je kunt de resources lezen, bewerken of verwijderen onder AI → Contexts.
Drie instellingen in dezelfde groep beperken de omvang: Pagina's per databron, Tekens per pagina en Tekens per databron in totaal. Staat Injectiemodus op Always, dan gaat de tekst mee met elk verzoek van een agent die de context gebruikt, dus houd deze waarden laag. De injectiemodus geldt alleen voor resources die worden aangemaakt nadat je hem hebt gewijzigd. De standaardwaarden staan in de configuratiesleutels.
Wil je dat een generator naar een databron kijkt, kies hem dan in het veld Databronnen als je een ideeëngroep maakt. Zie Je eerste ideeën. De briefing voor die groep noemt dan die domeinen en vraagt de agent naar hun blokken te kijken voor de onderwerpen die ze behandelen en de gaten die ze laten. Bestaat er voor een gekozen domein geen blok, dan gaat de agent zonder dat blok verder.
De tekst van databronnen gaat mee in de prompt van elk verzoek dat de context gebruikt, ook in de chat, dus het telt mee in je AI-verbruik. De tekst die Aivie in de context schrijft, zegt tegen de agents dat ze geen formuleringen of beweringen uit de databron mogen overnemen.