24 lines
2.5 KiB
Plaintext
24 lines
2.5 KiB
Plaintext
|
§
|
|||
|
|
Š0¿fµ ã ó> — d dl Z d dlZe j ej ej ej e¦ « d¦ « ¦ « ¦ « d dlm Z m
|
|||
|
|
Z
|
|||
|
|
m Z m Z d dl
|
|||
|
|
mZ d dlZdZdefd„Zedk r
|
|||
|
|
ee¦ « dS dS ) é Nz..)Úcreate_vector_storeÚsave_embedded_dataÚ load_documents_from_directoryÚprocess_directory)Úloggerz./dataÚ data_pathc óò — t j d| › �¦ « t j ¦ « }t j d|› �¦ « t | ¦ « \ }}}t j d¦ « t j d¦ « t |||¦ « }t j d¦ « t j d¦ « t |¦ « t j d¦ « t j ¦ « }t j d|› �¦ « ||z
|
|||
|
|
}t j d |› �¦ « t
|
|||
|
|
d
|
|||
|
|
¦ « t j d ¦ « t | ¦ « }t
|
|||
|
|
|› d �¦ « t j d
|
|||
|
|
¦ « |S )NzLoading data from z Start time: z Data loadedzCreating vector storezVector store createdzSaving the vector storezVector store savedz
|
|||
|
|
End time: z Time taken: z Vector store created and savedzCreating thumbnailsz: Thumbnails created.zThumbnails created)r ÚinfoÚtimer r r Úprintr ) r Ú
|
|||
|
|
start_timeÚ documentsÚdocs_idÚ num_pagesÚembed_dbÚend_timeÚ
|
|||
|
|
time_takenÚstatuss úNc:\Users\timmy_3aupohg\Downloads\Manaknight Projects\ds_aiindex\data_ingest.pyÚ load_datar sg € Ý
|
|||
|
|
„KÐ0 YÐ0Ð0Ñ1Ô1Ð1Ý”‘”€Jå
|
|||
|
|
„KÐ+˜zÐ+Ð+Ñ,Ô,Ð,Ý$AÀ)Ñ$LÔ$LÑ!€Iˆw˜ Ý
|
|||
|
|
„K�Ñ Ô Ð Ý
|
|||
|
|
„KÐ(Ñ)Ô)Ð)Ý" 9¨g°yÑAÔA€HÝ
|
|||
|
|
„KÐ'Ñ(Ô(Ð(Ý
|
|||
|
|
„KÐ*Ñ+Ô+Ð+å�xÑ Ô Ð Ý
|
|||
|
|
„KÐ%Ñ&Ô&Ð&ÝŒy‰{Œ{€HÝ
|
|||
|
|
„KÐ'˜XÐ'Ð'Ñ(Ô(Ð(ؘJÑ&€JÝ
|
|||
|
|
„KÐ+˜zÐ+Ð+Ñ,Ô,Ð,å Ð
|
|||
|
|
*Ñ+Ô+Ð+å
|