ds_fire_fighter/data_ingestion/__pycache__/utils.cpython-311.pyc

§
0µf¾)ãó€
—dd
lm
Z

ddlmZ
ddlZddlmZ
ddlmZ
ddl	m
Z

ddl	mZ
ddl	mZ
dd	l
mZ
dd
lmZ
ddlmZ
ddlZddlZddlZddlZddlmZ
e¦«
ejd
¦
«
ad„Ze¦«Zd„Zd„Zd„Zd„Z d„Z!d„Z"d„Z#d„Z$d#d„
Z%edfd„
Z&de'fd„Z(de)de)de)fd„Z*de)de)de)fd „Z+d$d"„
Z,dS)%é©
ÚHuggingFaceBgeEmbeddings)
ÚRecursiveCharacterTextSplitterN)
ÚInMemoryDocstore)
ÚFAISS)
ÚPyPDFLoader)
Ú
TextLoader)
ÚDocx2txtLoader)
Úuuid4)
ÚDocument)
Ú
TextExtractor)
Úload_dotenvÚOPENAI_API_KEYcó>—d
}ddi
}
ddi
}t
||
|¬¦«}|S)NzBAAI/bge-small-enÚdeviceÚcudaÚnormalize_embeddingsT)Ú
model_nameÚmodel_kwargsÚ
encode_kwargsr)rrrÚ
embeddingss    úWc:\Users\timmy_3aupohg\Downloads\Manaknight Projects\ds_aiindex\data_ingestion\utils.pyÚload_embedding_modelrs?€Ø$€JؘfÐ%€LØ+¨TÐ2€MÝ)Ø%°LÐP]ðñô€JðÐóc
óL
—|d
j}
|d
j
}tddtd¬¦«}| |
g
¦
«
}g}t|¦
«
D]I\}}| ¦«}||d<t|j|¬¦«}	| |	¦
«

ŒJ|S)Nrièé
F)Ú
chunk_sizeÚ
chunk_overlapÚlength_functionÚis_separator_regexÚpage©Úpage_contentÚmetadata)	r#r$rÚlenÚcreate_documentsÚ	enumerateÚcopyrÚappend)
ÚdocÚtextr$Ú
text_splitterÚdocsÚ	documentsÚ
iÚchunkÚdoc_metadataÚdocuments
          rr&r&%s·€ØˆqŒ6Ô€DØ�1ŒvŒ€HÝ2ØØÝØ ð	ñô€Mð×)Ò)¨4¨&Ñ1Ô1€Dà€Iݘd‘O”Oð#ð#‰ˆ
ˆ5à—}’}‘”ˆØ ˆ�VÑݨÔ);ÀlÐSÑSÔSˆØ×Ò˜Ñ"Ô"Ð"Ð"ØÐrc
óš—	t
|¦
«
}
|
 
¦«}t|¦
«
}|S#
td
|›�¦
«
‚
xYw
©NzError loading -- )r	Úloadr&Ú
ValueError)Ú
document_pathÚtxt_docr+r-s    rÚload_txt_documentr9:sS€ð>ݘ]Ñ+Ô+ˆØ�|Š|‰~Œ~ˆå Ñ%Ô%ˆØˆøð
>ÝÐ<¨]Ð<Ð<Ñ=Ô=Ð=øøøó	‚36¶A
c
óš—	t
|¦
«
}
|
 
¦«}t|¦
«
}|S#
td
|›�¦
«
‚
xYw
r4)r
r5r&r6)r7Údocx_docr+r-s    rÚload_docx_documentr=EsS€ð>Ý! -Ñ0Ô0ˆØ�}Š}‰Œˆå Ñ%Ô%ˆØˆøð
>ÝÐ<¨]Ð<Ð<Ñ=Ô=Ð=øøør:c
ó|—	t
|¦
«
}
|
 
¦«}|S#
td
|›�¦
«
‚
xYw
r4)rÚload_and_splitr6)r7Úpdf_docÚpagess   rÚload_pdf_documentrBQsJ€ð>ݘmÑ,Ô,ˆØ×&Ò&Ñ(Ô(ˆØˆøð
>ÝÐ<¨]Ð<Ð<Ñ=Ô=Ð=øøøs‚$'§;c
óþ—| d
¦
«
rt|¦
«
S| d¦
«
rt|¦
«
S| d¦
«
rt|¦
«
St	d|›�¦
«
‚
)Nz.pdfz.txtz.docxzUnsupported document type for )ÚendswithrBr9r=r6)
r7s
 rÚ
load_documentrE[sˆ€Ø×Ò˜fÑ%Ô%ðK
Ý  Ñ/Ô/Ð/Ø	×	Ò	 Ñ	'Ô	'ðK
Ý  Ñ/Ô/Ð/Ø	×	Ò	 Ñ	(Ô	(ðK
Ý! -Ñ0Ô0Ð0åÐI¸-ÐIÐIÑJÔJÐJrc
óÈ—t
|d
¦«5}
tj|
 ¦«¦
«
 d¦
«
cddd¦«
S#1swxYw

Y

dS)NÚrbzutf-8)ÚopenÚbase64Ú	b64encodeÚreadÚdecode)Ú
image_pathÚ
image_files  rÚencode_imagerOfs™€ÝˆJ˜ÑÔð
? ÝÔ˜JŸOšOÑ-Ô-Ñ.Ô.×5Ò5°gÑ>Ô>ð
?ð
?ð
?ð
?ñ
?ô
?ð
?ð
?ð
?ð
?ð
?ð
?øøøð
?ð
?ð
?ð
?ð
?ð
?s‘9AÁAÁ
Ac
ó(
—t
|¦
«
}
d
dt›�dœ}	dddddœd	d
d|
›�i
dœgd
œg
ddœ}tjd||¬¦«}| ¦«dddd}n#t
$r}d}Yd}~nd}~w
wxYw
|S)Nzapplication/jsonzBearer )zContent-TypeÚ
Authorizationzgpt-4o-miniÚuserr+uWhat’s in this image?)Útyper+Ú	image_urlÚurlzdata:image/jpeg;base64,)rSrT)ÚroleÚcontenti,
)ÚmodelÚmessagesÚ
max_tokensz*https://api.openai.com/v1/chat/completions)ÚheadersÚjsonÚchoicesrÚmessagerWú$Image not good enough for processing)rOÚapi_keyÚrequestsÚpostr\Ú	Exception)rMÚbase64_imager[ÚpayloadÚresponseÚ
es      rÚ
process_imagerhks
€õ  
Ñ+Ô+€Lð+Ø,¥7Ð,Ð,ðð€Gð
:à"ð#ð%+Ø$=ððð
%0à %Ð'OÀÐ'OÐ'Oð*ððð ðððð"ð'
ð
ˆõ,”=Ð!MÐW^ÐelÐmÑmÔmˆà—=’=‘?”? 9Ô-¨aÔ0°Ô;¸IÔFˆˆøÝð
:ð
:ð
:Ø9ˆˆˆˆˆˆøøøøð
:øøøð€OsžAA9Á9
BÂB
Â
Bc
óX
—| d
¦
«
d d¦
«
d}
d|
i
}t¦«}| |¦
«
}d d„|D¦«¦
«
}|dkrt	|¦
«
}|dkrt||¬	¦«}|g
SdS)
Nú
/éÿÿÿÿú
.rÚfilenameÚc
3óvK
—|]4}
|
 ¦«s|
 
¦«s|
dk¯0|
V—

Œ5d
S)ú

N)ÚisalnumÚisspace)Ú.0rgs  rú	<genexpr>z(create_image_document.<locals>.<genexpr>Ÿs@èè€ÐNÐN˜ a§i¢i¡k¤kÐN°Q·Y²Y±[´[ÐNÀAÈÂIÀI�1ÀIÀIÀIÀIÐNÐNrr_r")Úsplitr
Úread_text_from_imageÚjoinrhr)rMÚ
image_namer$Útext_extractorr+r*s      rÚcreate_image_documentrz—s·€à×!Ò! #Ñ&Ô& rÔ*×0Ò0°Ñ5Ô5°aÔ8€Jà˜JÐ'€HÝ"‘_”_€NØ×.Ò.¨zÑ:Ô:€Dà
�7Š7ÐNÐN˜dÐNÑNÔNÑNÔN€Dðˆr‚z€zݘZÑ(Ô(ˆðÐ5Ò5Ð5å D°8Ð<Ñ<Ô<ˆàˆuˆàˆrÚdatacóT—| d
|
›�¦
«

td¦
«

dS)Núvec-db/index/faiss_index_zEmbeddings saved)Ú
save_localÚprint)rÚkeys  rÚsave_embedded_datar�¯s4€Ø×ÒÐ9°CÐ9Ð9Ñ:Ô:Ð:ÝÐÑÔÐÐÐrcó:—t
j
d
|
›�|d¬¦«}|S)Nr}T)
Úallow_dangerous_deserialization)rÚ
load_local)rr€Úembed_dbs   rÚload_embedded_datar†³s(€Ý
Ô
Ð?¸#Ð?Ð?ÀÐmqÐ
rÑ
rÔ
r€(Ø	€/rÚdirectory_pathc
ó:—gd
¢
}
gd¢
}gd¢
}gd¢
}t
j
|¦
«
}g}g}g}|D�
]S}	tj ||	¦«}
|	 d¦
«
d|	 d¦
«
d}}||
vrot|
¦
«
}
| |
¦
«

| t|