Фото и видео
Поиск в Яндекс.Картинки
Поиск в Яндекс.Картинки
{
"name": "yandex_images",
"description": "Поиск на Яндекс.Картинки",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "Поисковый запрос",
},
},
"required": ["query"],
},
}, Поиск картинки в Google
Поиск картинки в Google
{
"name": "get_google_image",
"description": "Получить URL изображения по запросу в Google",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "Поисковый запрос для Google"
}
},
"required": ["query"]
},
},Генерация изображений DALL-E v3
Функция даёт возможность попросить бота создать изображение или показать то, о чем он вам написал через генерацию изображений DALL-E v3
{
"name": "generate_image_dalle",
"description": "Генерация изображений",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "Описание изображения",
},
"resolution": {
"type": "string",
"enum" : ["1024x1024", "1792x1024", "1024x1792"],
"description": "Разрешение изображения, по умолчанию 1024x1024",
},
},
"required": ["query", "resolution"],
},
},Генерация SVG
Генерация SVG файлов. Используется модель OpenAI O1-mini.
{
"name": "svg_generate",
"description": "Генерация SVG файлов",
"parameters": {
"type": "object",
"properties": {
"question": {
"type": "string",
"description": "Дословное описание задачи пользователя для генерации SVG файла"
}
},
"required": ["question"]
},
},
Генерация фото (Midjourney)
Для работы функции нужно указать токен от https://apiframe.pro/
Пример вызова функции:
"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне голубоглазую девушку в стиле фотореализм в формате 4:7"
"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне голубоглазую девушку в стиле фотореализм в формате 4:7"💡Токен можно прописать внутри инструкций вашего бота и тогда будет достаточно только запроса на генерацию картинки. https://documenter.getpostman.com/view/33976547/2sA35HXgaH
https://documenter.getpostman.com/view/33976547/2sA35HXgaH{
"name": "generate_image_midjourney",
"description": "Generate image with Midjourney",
"parameters": {
"type": "object",
"properties": {
"api_key": {
"type": "string",
"description": "API KEY",
},
"prompt": {
"type": "string",
"description": "Detailed prompt for generate image in Midjourney",
},
"aspect_ratio": {
"type": "string",
"enum": ["1:1", "2:3", "3:2", "4:5", "5:4", "4:7", "7:4"],
"description": "image proportions, by default 1:1",
},
},
"required": ["prompt", "api_key", "aspect_ratio"],
},
},Генерация изображений Kandinsky
Функция даёт возможность попросить бота создать изображение или показать то, о чем он вам написал через генерацию изображений Kandinsky (Fusion Brain)
{
"name": "generate_image_sber",
"description": "Генерация изображений",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "Описание изображения",
},
},
"required": ["query"],
},
},Генерация фото StabilityAI v3
Для работы функции нужно указать токен от https://stability.ai/
https://stability.ai/Пример вызова функции:
"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне снежного барса в снегопаде"
"api: XXXXXXXXXXXXXXXXXXXXXX нарисуй мне снежного барса в снегопаде"{
"name": "generate_image_stabilityai",
"description": "Генерация изображений",
"parameters": {
"type": "object",
"properties": {
"api_key": {
"type": "string",
"description": "API KEY",
},
"query": {
"type": "string",
"description": "Описание изображения. Минимум в 10 слов и только на английском языке.",
},
"resolution": {
"type": "string",
"enum" : ["1024x1024", "1792x1024", "1024x1792"],
"description": "Разрешение изображения, по умолчанию 1024x1024",
},
},
"required": ["query", "resolution"],
},
},Замена лиц на фото (Midjourney)
Замена лиц на фото (Midjourney)
Для работы функции нужно указать токен от https://apiframe.pro/
https://apiframe.pro/💡Токен можно прописать внутри инструкций вашего бота и тогда будет достаточно только запроса на генерацию картинки.
https://documenter.getpostman.com/view/33976547/2sA35HXgaH{
"name": "faceswap_midjourney",
"description": "Face swap with Midjourney",
"parameters": {
"type": "object",
"properties": {
"api_key": {
"type": "string",
"description": "API KEY",
},
"target_image_url": {
"type": "string",
"description": "Target image URL",
},
"swap_image_url": {
"type": "string",
"description": "Swap image URL",
},
},
"required": ["api_key", "target_image_url", "swap_image_url"],
},
},Распознавание рукописного текста
Распознавание рукописного текста
{
"name": "handwriting_recognition",
"description": "Распознавание рукописного текста",
"parameters": {
"type": "object",
"properties": {
"file_url": {
"type": "string",
"description": "Ссылка файл (URL файла) или изображение (URL фото) с рукописным текстом. Формат файла в ссылке не важен.",
},
},
"required": ["file_url"],
},
},Распознавание MP3
Функция получает ссылку на MP3 файл и с помощью методов асинхронного распознавания Яндекса возвращает текстовый файл с результатом.
Если ты получишь ссылку на файл .mp3, то сразу вызови функцию распознования с параметрами:
{
'languageCode' : '',
'model' : 'general',
'profanityFilter' : False,
'literature_text' : False,
'audioEncoding' : 'MP3',
'audioChannelCount' : 1,
'rawResults' : False,
}
bucket_name = 'protalkstt'{
"name": "yandex_transcribe_audio",
"description": "Отправить аудиофайл на распознавание речи",
"parameters": {
"type": "object",
"properties": {
"audioURL": {
"type": "string",
"description": "URL аудиофайла",
},
"languageCode": {
"type": "string",
"description": "Код языка, по умолчанию `ru-RU`",
},
"audio_model": {
"type": "string",
"description": "Модель распознавания, по умолчанию `general`",
"enum": ["general"],
},
"profanityFilter": {
"type": "boolean",
"description": "Фильтр ненормативной лексики, по умолчанию `False`",
},
"literature_text": {
"type": "boolean",
"description": "Включает режим нормализации, по умолчанию `False`",
},
"audioEncoding": {
"type": "string",
"description": "Формат аудиофайла, по умолчанию `MP3`",
"enum": ["LINEAR16_PCM", "OGG_OPUS", "MP3"],
},
"sampleRateHertz": {
"type": "integer",
"enum": [48000, 16000, 8000],
"description": "Частота дискретизации аудио. Этот параметр обязателен, если значение format равно LINEAR16_PCM.",
},
"audioChannelCount": {
"type": "integer",
"description": "Количество аудиоканалов, по умолчанию равно 1",
},
},
"required": ["audioURL", "languageCode", "audio_model", "profanityFilter", "literature_text", "audioEncoding", "audioChannelCount"],
},
},Распознавание изображения OpenAI GPT-4-omni
Распознавание изображения OpenAI GPT-4-omni
{
"name": "image_recognition",
"description": "Распознавание изображения",
"parameters": {
"type": "object",
"properties": {
"file_url": {
"type": "string",
"description": "Ссылка файл (URL файла) или изображение (URL фото). Формат файла в ссылке не важен.",
},
"question": {
"type": "string",
"description": "Формулировка задачи по распознованию изображения",
},
},
"required": ["file_url", "question"],
},
},Задать вопрос к видео на YouTube
Задать вопрос к видео на YouTube
{
"name": "question_youtube_video",
"description": "Отправляет вопрос к видео на YouTube и получает ответ",
"parameters": {
"type": "object",
"properties": {
"openai_api_key": {
"type": "string",
"description": "API ключ OpenAI",
},
"model": {
"type": "string",
"description": "Модель OpenAI для обработки запроса",
"enum": ["gpt-4o-2024-08-06", "gpt-4o-mini"],
},
"video_url": {
"type": "string",
"description": "URL видео на YouTube",
},
"question": {
"type": "string",
"description": "Вопрос к видео",
},
},
"required": ["openai_api_key", "model", "video_url", "question"],
},
},Создание стикеров для Telegram
Принцип работы:
Изображение конвертируется в формат RGBA.
Цвет фона определяется по первому пикселю (0,0).
Все пиксели, которые совпадают с цветом фона (с учетом заданного коэффициента допуска), становятся прозрачными.
{
"name": "convert_image_to_sticker",
"description": "Создание стикера из картинки JPG или PNG",
"parameters": {
"type": "object",
"properties": {
"image_url": {
"type": "string",
"description": "URL изображения",
},
"tolerance": {
"type": "integer",
"description": "Коэффициент допуска для определения прозрачности пикселей. По умолчанию равен 30.",
},
},
"required": ["image_url", "tolerance"],
},
},Создания 3D аватара от HedraAI
Функция generate_talking_character предназначена для создания говорящего персонажа на основе изображения и текста.
{
"name": "hedra_generate_talking_character",
"description": "Generate a talking character from an image and text",
"parameters": {
"type": "object",
"properties": {
"image_url": {
"type": "string",
"description": "URL of the image for the character",
},
"text": {
"type": "string",
"description": "Text for the character to speak",
},
"api_key": {
"type": "string",
"description": "API key for authentication",
},
"voice_id": {
"type": "string",
"description": "Voice ID for the character. Male default: `Mg1264PmwVoIedxsF9nu`. Female default: `LcfcDJNUP1GQjkzn1xUU`",
},
},
"required": ["image_url", "text", "api_key", "voice_id"],
},
},Last updated