feat: add video multimodal functionality
This commit is contained in:
@@ -103,15 +103,17 @@ export default {
|
||||
noValidFilesSelected: 'All selected files are unsupported',
|
||||
hiddenFilesFiltered: 'Filtered {count} hidden files',
|
||||
imagesFilteredNoVLM: 'Filtered {count} image files (VLM not enabled)',
|
||||
videosFilteredNoVLM: 'Filtered {count} video files (VLM not enabled)',
|
||||
audiosFilteredNoASR: 'Filtered {count} audio files (ASR not enabled)',
|
||||
invalidFilesFiltered: 'Filtered {count} unsupported files',
|
||||
unsupportedFileType: 'Unsupported file type',
|
||||
unsupportedTypesHint: 'Some document types ({types}) have no available parser engine and cannot be processed',
|
||||
goToParserSettings: 'Configure',
|
||||
failedFilesList: 'Failed files:',
|
||||
failedFilesList: 'Failed files:',
|
||||
andMoreFiles: '...and {count} more files',
|
||||
duplicateFilesSkipped: '{count} duplicate files skipped',
|
||||
uploadFile: 'Upload File',
|
||||
uploadFileDesc: 'Supports PDF, Word, TXT, etc.',
|
||||
uploadFileDesc: 'Supports PDF, Word, TXT, images, videos, audio, etc.',
|
||||
importURL: 'Import from URL',
|
||||
addDocument: 'Add Document',
|
||||
importURLDesc: 'Import via URL link',
|
||||
|
||||
@@ -102,6 +102,8 @@ export default {
|
||||
noValidFilesSelected: "선택한 파일 모두 지원되지 않음",
|
||||
hiddenFilesFiltered: "{count}개 숨김 파일 필터링됨",
|
||||
imagesFilteredNoVLM: "{count}개 이미지 파일 필터링됨(VLM 미활성화)",
|
||||
videosFilteredNoVLM: "{count}개 동영상 파일 필터링됨(VLM 미활성화)",
|
||||
audiosFilteredNoASR: "{count}개 오디오 파일 필터링됨(ASR 미활성화)",
|
||||
invalidFilesFiltered: "{count}개 지원되지 않는 파일 필터링됨",
|
||||
unsupportedFileType: "지원되지 않는 파일 형식",
|
||||
unsupportedTypesHint: "일부 문서 유형({types})에 사용 가능한 파서 엔진이 없어 처리할 수 없습니다",
|
||||
@@ -110,7 +112,7 @@ export default {
|
||||
andMoreFiles: "...외 {count}개 파일",
|
||||
duplicateFilesSkipped: "{count}개 중복 파일 무시됨",
|
||||
uploadFile: "파일 업로드",
|
||||
uploadFileDesc: "PDF, Word, TXT 등 지원",
|
||||
uploadFileDesc: "PDF, Word, TXT, 이미지, 동영상, 오디오 등 지원",
|
||||
importURL: "웹페이지 가져오기",
|
||||
addDocument: "문서 추가",
|
||||
importURLDesc: "URL 링크로 가져오기",
|
||||
|
||||
@@ -85,6 +85,8 @@ export default {
|
||||
noValidFilesSelected: 'Все выбранные файлы не поддерживаются',
|
||||
hiddenFilesFiltered: 'Отфильтровано {count} скрытых файлов',
|
||||
imagesFilteredNoVLM: 'Отфильтровано {count} изображений (VLM не включен)',
|
||||
videosFilteredNoVLM: 'Отфильтровано {count} видеофайлов (VLM не включен)',
|
||||
audiosFilteredNoASR: 'Отфильтровано {count} аудиофайлов (ASR не включен)',
|
||||
invalidFilesFiltered: 'Отфильтровано {count} неподдерживаемых файлов',
|
||||
unsupportedFileType: 'Неподдерживаемый тип файла',
|
||||
unsupportedTypesHint: 'Некоторые типы документов ({types}) не имеют доступного парсера и не могут быть обработаны',
|
||||
@@ -93,7 +95,7 @@ export default {
|
||||
andMoreFiles: '...и ещё {count} файлов',
|
||||
duplicateFilesSkipped: 'Пропущено {count} повторяющихся файлов',
|
||||
uploadFile: 'Загрузить файл',
|
||||
uploadFileDesc: 'Поддерживает PDF, Word, TXT и т.д.',
|
||||
uploadFileDesc: 'Поддерживает PDF, Word, TXT, изображения, видео, аудио и т.д.',
|
||||
importURL: 'Импорт из URL',
|
||||
importURLDesc: 'Импорт по ссылке URL',
|
||||
importURLTitle: 'Импорт из URL',
|
||||
|
||||
@@ -102,6 +102,8 @@ export default {
|
||||
noValidFilesSelected: "选中的文件均不支持",
|
||||
hiddenFilesFiltered: "已过滤 {count} 个隐藏文件",
|
||||
imagesFilteredNoVLM: "已过滤 {count} 个图片文件(未启用VLM)",
|
||||
videosFilteredNoVLM: "已过滤 {count} 个视频文件(未启用VLM)",
|
||||
audiosFilteredNoASR: "已过滤 {count} 个音频文件(未启用ASR)",
|
||||
invalidFilesFiltered: "已过滤 {count} 个不支持的文件",
|
||||
unsupportedFileType: "不支持的文件格式",
|
||||
unsupportedTypesHint: "部分文档类型({types})暂无可用解析引擎,上传后将无法解析",
|
||||
@@ -110,7 +112,7 @@ export default {
|
||||
andMoreFiles: "...及其他 {count} 个文件",
|
||||
duplicateFilesSkipped: "已忽略 {count} 个重复文件",
|
||||
uploadFile: "上传文件",
|
||||
uploadFileDesc: "支持 PDF、Word、TXT 等",
|
||||
uploadFileDesc: "支持 PDF、Word、TXT、图片、视频、音频等",
|
||||
importURL: "导入网页",
|
||||
addDocument: "添加文档",
|
||||
importURLDesc: "通过URL链接导入",
|
||||
|
||||
@@ -40,7 +40,7 @@ export function formatStringDate(date: any) {
|
||||
year + "-" + month + "-" + day + " " + hour + ":" + minute + ":" + second
|
||||
);
|
||||
}
|
||||
const DEFAULT_VALID_TYPES = new Set(["pdf", "txt", "md", "docx", "doc", "pptx", "ppt", "jpg", "jpeg", "png", "csv", "xlsx", "xls"]);
|
||||
const DEFAULT_VALID_TYPES = new Set(["pdf", "txt", "md", "docx", "doc", "pptx", "ppt", "jpg", "jpeg", "png", "csv", "xlsx", "xls", "mp4", "mov", "avi", "mkv", "webm", "wmv", "flv", "mp3", "wav", "m4a", "flac", "ogg"]);
|
||||
|
||||
/**
|
||||
* Returns true when the file should be **rejected**.
|
||||
|
||||
@@ -210,6 +210,18 @@ const fileTypeOptions = computed(() => [
|
||||
{ content: 'MD', value: 'md' },
|
||||
{ content: 'URL', value: 'url' },
|
||||
{ content: t('knowledgeBase.typeManual'), value: 'manual' },
|
||||
{ content: 'MP4', value: 'mp4' },
|
||||
{ content: 'MOV', value: 'mov' },
|
||||
{ content: 'AVI', value: 'avi' },
|
||||
{ content: 'MKV', value: 'mkv' },
|
||||
{ content: 'WEBM', value: 'webm' },
|
||||
{ content: 'WMV', value: 'wmv' },
|
||||
{ content: 'FLV', value: 'flv' },
|
||||
{ content: 'MP3', value: 'mp3' },
|
||||
{ content: 'WAV', value: 'wav' },
|
||||
{ content: 'M4A', value: 'm4a' },
|
||||
{ content: 'FLAC', value: 'flac' },
|
||||
{ content: 'OGG', value: 'ogg' },
|
||||
]);
|
||||
type TagInputInstance = ComponentPublicInstance<{ focus: () => void; select: () => void }>;
|
||||
const tagDropdownOptions = computed(() =>
|
||||
@@ -1115,11 +1127,14 @@ const handleFolderUpload = async (event: Event) => {
|
||||
}
|
||||
|
||||
const vlmEnabled = kbInfo.value?.vlm_config?.enabled || false;
|
||||
const asrEnabled = kbInfo.value?.asr_config?.enabled || false;
|
||||
const dynamicTypes = supportedFileTypes.value.size > 0 ? supportedFileTypes.value : undefined
|
||||
|
||||
const validFiles: File[] = [];
|
||||
let hiddenFileCount = 0;
|
||||
let imageFilteredCount = 0;
|
||||
let videoFilteredCount = 0;
|
||||
let audioFilteredCount = 0;
|
||||
|
||||
for (let i = 0; i < files.length; i++) {
|
||||
const file = files[i];
|
||||
@@ -1132,13 +1147,25 @@ const handleFolderUpload = async (event: Event) => {
|
||||
continue;
|
||||
}
|
||||
|
||||
const fileExt = file.name.substring(file.name.lastIndexOf('.') + 1).toLowerCase();
|
||||
const imageTypes = ['jpg', 'jpeg', 'png', 'gif', 'bmp', 'webp'];
|
||||
const videoTypes = ['mp4', 'mov', 'avi', 'mkv', 'webm', 'wmv', 'flv'];
|
||||
const audioTypes = ['mp3', 'wav', 'm4a', 'flac', 'ogg'];
|
||||
|
||||
if (!vlmEnabled) {
|
||||
const fileExt = file.name.substring(file.name.lastIndexOf('.') + 1).toLowerCase();
|
||||
const imageTypes = ['jpg', 'jpeg', 'png', 'gif', 'bmp', 'webp'];
|
||||
if (imageTypes.includes(fileExt)) {
|
||||
imageFilteredCount++;
|
||||
continue;
|
||||
}
|
||||
if (videoTypes.includes(fileExt)) {
|
||||
videoFilteredCount++;
|
||||
continue;
|
||||
}
|
||||
}
|
||||
|
||||
if (!asrEnabled && audioTypes.includes(fileExt)) {
|
||||
audioFilteredCount++;
|
||||
continue;
|
||||
}
|
||||
|
||||
if (!kbFileTypeVerification(file, true, dynamicTypes)) {
|
||||
@@ -1151,7 +1178,6 @@ const handleFolderUpload = async (event: Event) => {
|
||||
if (input) input.value = '';
|
||||
return;
|
||||
}
|
||||
|
||||
MessagePlugin.info(t('knowledgeBase.uploadingFolder', { total: validFiles.length }));
|
||||
|
||||
// 批量上传
|
||||
@@ -1514,7 +1540,7 @@ async function createNewSession(value: string): Promise<void> {
|
||||
ref="uploadInputRef"
|
||||
type="file"
|
||||
class="document-upload-input"
|
||||
:accept="acceptFileTypes || '.pdf,.docx,.doc,.txt,.md,.json,.jpg,.jpeg,.png,.csv,.xlsx,.xls,.pptx,.ppt,.mp3,.wav,.m4a,.flac,.ogg'"
|
||||
:accept="acceptFileTypes || '.pdf,.docx,.doc,.txt,.md,.json,.jpg,.jpeg,.png,.csv,.xlsx,.xls,.pptx,.ppt,.mp3,.wav,.m4a,.flac,.ogg,.mp4,.mov,.avi,.mkv,.webm,.wmv,.flv'"
|
||||
multiple
|
||||
@change="handleDocumentUpload"
|
||||
/>
|
||||
|
||||
Reference in New Issue
Block a user