# Анализ данных * [Поверхностный анализ документов](#poverkhnostnyi-analiz-dokumentov) * [Получение фото и площади земельного участка из Росреестра по кадастровому номеру](#poluchenie-foto-i-ploshadi-zemelnogo-uchastka-iz-rosreestra-po-kadastrovomu-nomeru) * [Прикрепить файл к задаче в Bitrix24](#prikrepit-fail-k-zadache-v-bitrix24) * [Распознавание текста на фото через Gemini-Pro-Vision](#raspoznavanie-teksta-na-foto-cherez-gemini-pro-vision) * [Распознавание рукописного текста](#raspoznavanie-rukopisnogo-teksta) * [Обработка больших документов](#obrabotka-bolshikh-dokumentov) * [Получение скриншота сайта](#poluchenie-skrinshota-saita) * [Распознавание MP3](#raspoznavanie-mp3) * [Омниканальный запрос (текст+фото)](#omnikanalnyi-zapros-tekstfoto) * [Распознавание текста на фото и документах используя EasyOSR, GigaChat, YandexOSR, Gemini](#raspoznavanie-teksta-na-foto-i-dokumentakh-ispolzuya-easyosr-gigachat-yandexosr-gemini) * [Чтение офисных файлов](#chtenie-ofisnykh-failov) * [Распознавание изображения OpenAI GPT-4-omni](#raspoznavanie-izobrazheniya-openai-gpt-4-omni) * [Анализ PDF с помощью ChatGPT 4-omni](#analiz-pdf-s-pomoshyu-chatgpt-4-omni) * [Детальный анализ PDF с помощью ChatGPT 4-omni](#detalnyi-analiz-pdf-s-pomoshyu-chatgpt-4-omni) * [Распознавание текста (gemini-pro-vision + gemini-flash)](#raspoznavanie-teksta-gemini-pro-vision--gemini-flash) * [Распознавание текста на фото и документах через API YandexOSR (JPG, PNG, PDF)](#raspoznavanie-teksta-na-foto-i-dokumentakh-cherez-api-yandexosr-jpg-png-pdf) ## Поверхностный анализ документов Функция проводит анализ документа по URL ссылке методом суммаризации. Допустимые форматы: PDF, DOC, DOCX, XLS, XLSX, PPTX и ссылка на документ Google. ``` { "name": "ai_doc_summarize", "description": "Анализ документа по URL с использованием OpenAI API", "parameters": { "type": "object", "properties": { "url": { "type": "string", "description": "URL документа", }, "limit": { "type": "integer", "description": "Максимальная длина текста в символах в итоговом результате. По умолчанию 2000 символов.", }, "user_question": { "type": "string", "description": "Дословный вопрос пользователя к документу", } }, "required": ["url", "limit", "user_question"], }, }, ``` ## Получение фото и площади земельного участка из Росреестра по кадастровому номеру Пример текста в роли бота: ``` После получения ответа от функции по кадастровому номеру покажи ссылку на фото участка в формате: `##IMG:тут_ссылка_на_фото_## Площадь участка: X` где X - это его площадь. ``` ``` { "name": "get_area_from_rosreestr", "description": "Получить фото земельного участка и его площади по кадастровому номеру", "parameters": { "type": "object", "properties": { "pkk_id": { "type": "string", "description": "Кадастровый номер земельного участка", }, }, "required": ["pkk_id"], }, }, ``` ## Прикрепить файл к задаче в Bitrix24 Пример инструкции в боте: ``` Прикрепи файл к задаче в Битрикс24: https://minio.nplus1.ru/app-images/152754/30c1c568a1e8e538911c6f8d02ca69f2.jpg Номер задачи: 122 ID папки: 1 Webhook Битрикс24: "https://COMPANY.bitrix24.ru/rest/1/b7zwgdXXXXXXXX" ``` ``` { "name": "bitrix24_attach_file_to_task", "description": "Прикрепить файл к задаче в Bitrix24", "parameters": { "type": "object", "properties": { "bitrix24_webhook": { "type": "string", "description": "Вебхук для доступа к API Bitrix24", }, "task_id": { "type": "string", "description": "ID задачи, к которой нужно прикрепить файл", }, "folder_id": { "type": "string", "description": "ID папки, в которой находится задача", }, "file_url": { "type": "string", "description": "URL файла, который нужно прикрепить", }, }, "required": ["bitrix24_webhook", "task_id", "folder_id", "file_url"], }, }, ``` ## Распознавание текста на фото через Gemini-Pro-Vision Функции нужно отправить ссылку на фото в формате JPG. ``` { "name": "gemini_vision", "description": "Извлечение текста из изображения по URL", "parameters": { "type": "object", "properties": { "image_url": { "type": "string", "description": "URL изображения", }, }, "required": ["image_url"], }, }, ``` ## Распознавание рукописного текста Распознавание рукописного текста ``` { "name": "handwriting_recognition", "description": "Распознавание рукописного текста", "parameters": { "type": "object", "properties": { "file_url": { "type": "string", "description": "Ссылка файл (URL файла) или изображение (URL фото) с рукописным текстом. Формат файла в ссылке не важен.", }, }, "required": ["file_url"], }, }, ``` ## Обработка больших документов Данная функция позволит построчно пройти большой документ блоками и обработать каждый блок вашим запросом. Затем этот вопрос будет задан всему документу целиком. ``` { "name": "ai_doc_analyze", "description": "Анализ документа по URL с использованием OpenAI API", "parameters": { "type": "object", "properties": { "url": { "type": "string", "description": "URL документа", }, "role": { "type": "string", "description": "Роль ИИ для оптимального выполнения поставленной пользователем задачи. Например для перевода это будет роль: `Ты - переводчик текстов`.", }, "user_question": { "type": "string", "description": "Дословная формулировка задачи от пользователем относительно данного документа. Если задача не понятна, требуется уточнить её у пользователя.", }, "answer_in_dialog": { "type": "boolean", "description": "Вернуть ответ в диалог. По умолчанию False", }, }, "required": ["url", "role", "user_question", "answer_in_dialog"], }, }, ``` ## Получение скриншота сайта Получение скриншота сайта ``` { "name": "url_screenshot", "description": "Take a screenshot of a given URL", "parameters": { "type": "object", "properties": { "url": { "type": "string", "description": "The URL of the website to take a screenshot of", }, "token": { "type": "string", "description": "API token for authentication", }, }, "required": ["url", "token"], }, }, ``` ## Распознавание MP3 Функция получает ссылку на MP3 файл и с помощью методов асинхронного распознавания Яндекса возвращает текстовый файл с результатом. ``` Если ты получишь ссылку на файл .mp3, то сразу вызови функцию распознования с параметрами: { 'languageCode' : '', 'model' : 'general', 'profanityFilter' : False, 'literature_text' : False, 'audioEncoding' : 'MP3', 'audioChannelCount' : 1, 'rawResults' : False, } bucket_name = 'protalkstt' ``` ``` { "name": "yandex_transcribe_audio", "description": "Отправить аудиофайл на распознавание речи", "parameters": { "type": "object", "properties": { "audioURL": { "type": "string", "description": "URL аудиофайла", }, "languageCode": { "type": "string", "description": "Код языка, по умолчанию `ru-RU`", }, "audio_model": { "type": "string", "description": "Модель распознавания, по умолчанию `general`", "enum": ["general"], }, "profanityFilter": { "type": "boolean", "description": "Фильтр ненормативной лексики, по умолчанию `False`", }, "literature_text": { "type": "boolean", "description": "Включает режим нормализации, по умолчанию `False`", }, "audioEncoding": { "type": "string", "description": "Формат аудиофайла, по умолчанию `MP3`", "enum": ["LINEAR16_PCM", "OGG_OPUS", "MP3"], }, "sampleRateHertz": { "type": "integer", "enum": [48000, 16000, 8000], "description": "Частота дискретизации аудио. Этот параметр обязателен, если значение format равно LINEAR16_PCM.", }, "audioChannelCount": { "type": "integer", "description": "Количество аудиоканалов, по умолчанию равно 1", }, }, "required": ["audioURL", "languageCode", "audio_model", "profanityFilter", "literature_text", "audioEncoding", "audioChannelCount"], }, }, ``` ## Омниканальный запрос (текст+фото) Омниканальный запрос (текст+фото). Задает вопрос к OpenAI API передав одновременно текст и изображения ``` { "name": "openai_question_omni", "description": "Задает вопрос к OpenAI API передав одновременно текст и изображения", "parameters": { "type": "object", "properties": { "ai_model": { "type": "string", "enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"], "description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`" }, "text": { "type": "string", "description": "Текстовая информация" }, "images_urls": { "type": "string", "description": "URLs изображений в формате: `URL1;URL2;URL3`" }, "question": { "type": "string", "description": "Вопрос, который нужно задать на основе текста и изображений" } }, "required": ["ai_model", "text", "images_urls", "question"] }, }, ``` ## Распознавание текста на фото и документах используя EasyOSR, GigaChat, YandexOSR, Gemini Функция `osr_combine` предназначена для распознавания текста и шаблонных документов с использованием различных моделей. Модели для распознавания текста: page (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку. page-column-sort — для распознавания многоколоночного текста. handwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках. table — для распознавания таблиц на русском и английском языках. Модели для распознавания шаблонных документов: passport — основной разворот паспорта. driver-license-front — водительское удостоверение, лицевая сторона. driver-license-back — водительское удостоверение, обратная сторона. vehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона. vehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона. license-plates — все регистрационные номера автомобилей на изображении. ```` { "name": "osr_combine", "description": "Распознавание текста по фото или PDF", "parameters": { "type": "object", "properties": { "osr_model": { "type": "string", "description": "Модель для распознавания. ```\nМодели для распознавания текста:\npage (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку.\npage-column-sort — для распознавания многоколоночного текста.\nhandwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках.\ntable — для распознавания таблиц на русском и английском языках.\n \nМодели для распознавания шаблонных документов:\npassport — основной разворот паспорта.\ndriver-license-front — водительское удостоверение, лицевая сторона.\ndriver-license-back — водительское удостоверение, обратная сторона.\nvehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона.\nvehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона.\nlicense-plates — все регистрационные номера автомобилей на изображении.\n```", "enum": ["page", "page-column-sort", "handwritten", "table", "passport", "driver-license-front", "driver-license-back", "vehicle-registration-front", "vehicle-registration-back", "license-plates"], }, "file_url": { "type": "string", "description": "URL изображения или PDF файла для распознавания", }, }, "required": ["osr_model", "file_url"], }, }, ```` ## Чтение офисных файлов Функция переводит файлы форматов PDF, DOC, XLS, PPT в текст ``` { "name": "read_file_from_url", "description": "Read a file from a URL and extract text with Cyrillic support", "parameters": { "type": "object", "properties": { "url": { "type": "string", "description": "URL of the file", }, "file_type": { "type": "string", "description": "Type of the file to read", "enum": ["PDF", "DOC", "DOCX", "XLS", "XLSX", "PPT", "PPTX"], } }, "required": ["url", "file_type"], }, }, ``` ## Распознавание изображения OpenAI GPT-4-omni Распознавание изображения OpenAI GPT-4-omni ``` { "name": "image_recognition", "description": "Распознавание изображения", "parameters": { "type": "object", "properties": { "file_url": { "type": "string", "description": "Ссылка файл (URL файла) или изображение (URL фото). Формат файла в ссылке не важен.", }, "question": { "type": "string", "description": "Формулировка задачи по распознованию изображения", }, }, "required": ["file_url", "question"], }, }, ``` ## Анализ PDF с помощью ChatGPT 4-omni Анализ PDF с помощью ChatGPT 4-omni ``` { "name": "omni_question_pdf", "description": "Задает вопрос к PDF-документу, используя API OpenAI и извлекая текст и изображения из PDF.", "parameters": { "type": "object", "properties": { "ai_model": { "type": "string", "enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"], "description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`" }, "pdf_url": { "type": "string", "description": "URL PDF-документа для извлечения текста и изображений" }, "question": { "type": "string", "description": "Вопрос, который нужно задать на основе содержимого PDF" } }, "required": ["ai_model", "pdf_url", "question"] }, }, ``` ## Детальный анализ PDF с помощью ChatGPT 4-omni Детальный анализ PDF с помощью ChatGPT 4-omni ``` { "name": "omni_question_pdf_detalied", "description": "Составление подробной оценки каждой страницы PDF-документа", "parameters": { "type": "object", "properties": { "ai_model": { "type": "string", "enum": ["gpt-4o-mini", "gpt-4o-2024-08-06"], "description": "Модель OpenAI для обработки запроса, по умолчанию `gpt-4o-mini`" }, "pdf_url": { "type": "string", "description": "URL PDF-документа для извлечения текста и изображений" }, "role": { "type": "string", "description": "Формулировка роли ИИ, которая будет проводить анализ PDF" } }, "required": ["ai_model", "pdf_url", "role"] }, }, ``` ## Распознавание текста (gemini-pro-vision + gemini-flash) Функции нужно отправить ссылку на фото в формате JPG ``` { "name": "osr_combine_ai", "description": "Распознавание текста по фото", "parameters": { "type": "object", "properties": { "image_url": { "type": "string", "description": "URL изображения для распознавания", }, }, "required": ["image_url"], }, }, ``` ## Распознавание текста на фото и документах через API YandexOSR (JPG, PNG, PDF) Функция `yandex_osr` предназначена для распознавания текста и шаблонных документов с использованием различных моделей. Модели для распознавания текста: page (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку. page-column-sort — для распознавания многоколоночного текста. handwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках. table — для распознавания таблиц на русском и английском языках. Модели для распознавания шаблонных документов: passport — основной разворот паспорта. driver-license-front — водительское удостоверение, лицевая сторона. driver-license-back — водительское удостоверение, обратная сторона. vehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона. vehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона. license-plates — все регистрационные номера автомобилей на изображении. ```` { "name": "yandex_osr", "description": "Распознавание текста по фото от сервиса Yandex OSR", "parameters": { "type": "object", "properties": { "osr_model": { "type": "string", "description": "Модель для распознавания. ```\nМодели для распознавания текста:\npage (по умолчанию) — подходит для изображений с любым количеством строк текста, сверстанного в одну колонку.\npage-column-sort — для распознавания многоколоночного текста.\nhandwritten — для распознавания произвольного сочетания печатного и рукописного текста на русском и английском языках.\ntable — для распознавания таблиц на русском и английском языках.\n \nМодели для распознавания шаблонных документов:\npassport — основной разворот паспорта.\ndriver-license-front — водительское удостоверение, лицевая сторона.\ndriver-license-back — водительское удостоверение, обратная сторона.\nvehicle-registration-front — свидетельство о регистрации транспортного средства, лицевая сторона.\nvehicle-registration-back — свидетельство о регистрации транспортного средства, обратная сторона.\nlicense-plates — все регистрационные номера автомобилей на изображении.\n```", "enum": ["page", "page-column-sort", "handwritten", "table", "passport", "driver-license-front", "driver-license-back", "vehicle-registration-front", "vehicle-registration-back", "license-plates"], }, "file_url": { "type": "string", "description": "URL изображения или PDF файла для распознавания", }, }, "required": ["osr_model", "file_url"], }, }, ```` --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.iiagent.pro/funkcii/analiz-dannykh.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.