339 lines
74 KiB
Plaintext
339 lines
74 KiB
Plaintext
|
§
|
|||
|
|
–Éœh$ô ã
|
|||
|
|
ó^ — d dl Z d dlZd dlZd dlmZ d dlmZm Z m
|
|||
|
|
Z
|
|||
|
|
m Z m Z m
|
|||
|
|
Z
|
|||
|
|
d dlmZmZ d dlZd dlmZ d dlmZmZ d dlZd dlmZ d dlZd dlZd dl Z d dl Z ej e ¦ « Z e ! ej" ¦ « e G d„ d ¦ « ¦ « Z# G d
|
|||
|
|
„ d ¦ « Z$ G d „ d
|
|||
|
|
e¦ « Z% G d„ de%¦ « Z& G d„ de%¦ « Z' G d„ d¦ « Z(d*de)de)de)de)de#f
|
|||
|
|
d „Z*d+d e)d e)de)de)de)de#f d!„Z+d"e)de,fd#„Z-d$e)fd%„Z.d&e)dee)e f fd'„Z/d(„ Z0e d)k r e0¦ « dS dS ),é N)ÚPath)ÚDictÚListÚOptionalÚUnionÚAnyÚTuple)ÚDatasetÚ load_dataset)Ú dataclass)ÚABCÚabstractmethod)Útrain_test_splitc ó° — e Zd ZU dZdZeed< dZee ed< dZ ee ed< dZ
|
|||
|
|
eed< d Z eed
|
|||
|
|
< d Z eed < d
|
|||
|
|
Z
|
|||
|
|
eed< dZee ed< dZeed< dZeed< dZeed< dZeed< dZeed< dZeed< dZeed< d Zeed < d Zeed < d Zeed!< d"Z eed#< dZ ee ed$< d"Z eed%< d"Z eed&< d'Z eed(< d)Z!eed*< d+Z"eed,< d-Z#eed.< dS )/Ú
|
|||
|
|
StylingConfigz Configuration for styling tasksÚ huggingfaceÚ data_sourceNÚ dataset_nameÚ data_pathÚjsonlÚ data_formatÚtextÚ input_fieldÚ styled_textÚ output_fieldú,Rewrite the following text in a formal styleÚ instructionÚ max_samplesçš™™™™™é?Ú train_splitçš™™™™™¹?Úvalidation_splitÚ
|
|||
|
|
test_splitTÚ
|
|||
|
|
clean_textFÚremove_special_charsÚ lowercaseé
|
|||
|
|
Ú
|
|||
|
|
min_lengthéè Ú
|
|||
|
|
max_lengthÚstylingÚ
|
|||
|
|
output_formatú./dataÚ
|
|||
|
|
output_dirÚtrainÚhf_splitÚ hf_cache_dirÚtest_split_fromÚval_split_fromúutf-8Úencodingú,Ú delimiterzÆBelow is an instruction that describes a task, paired with an input that provides further context. Write a response that follows the instruction
|
|||
|
|
|
|||
|
|
### Instruction:
|
|||
|
|
{}
|
|||
|
|
|
|||
|
|
### Input:
|
|||
|
|
{}
|
|||
|
|
|
|||
|
|
### Response:
|
|||
|
|
{}Ú
|
|||
|
|
alpaca_promptz
|
|||
|
|
<|eot_id|>Ú eos_token)$Ú__name__Ú
|
|||
|
|
__module__Ú __qualname__Ú__doc__r ÚstrÚ__annotations__r r r r r r r r Úintr Úfloatr" r# r$ Úboolr% r& r( r* r, r. r0 r1 r2 r3 r5 r7 r8 r9 © ó úY/Users/macbook/Desktop/blessing_ai/mkd/fine-tune-task/pipelines/styling/data_processor.pyr r sâ € € € € € € à)Ð)à$€K�Ð$Ð$Ñ$Ø"&€L�(˜3”-Ð&Ð&Ñ&Ø #€Iˆx˜Œ}Ð#Ð#Ñ#Ø €K�Ð Ð Ñ ð €K�Ð Ð Ñ Ø%€L�#Ð%Ð%Ñ%ØE€K�ÐEÐEÑEð "&€K�˜#” Ð%Ð%Ñ%Ø €K�Ð Ð Ñ Ø !Ð�eÐ!Ð!Ñ!Ø€J�ÐÐÑð €J�ÐÐÑØ!&И$Ð&Ð&Ñ&Ø€IˆtÐÐÑØ€J�ÐÐÑØ€J�ÐÐÑð #€M�3Ð"Ð"Ñ"Ø €J�Ð Ð Ñ ð €HˆcÐÐÑØ"&€L�(˜3”-Ð&Ð&Ñ&ð #€O�SÐ"Ð"Ñ"Ø!€N�CÐ!Ð!Ñ!ð €HˆcÐÐÑØ€IˆsÐÐÑð €M�3ð ð ñ ð "€IˆsÐ!Ð!Ñ!Ð!Ð!rD r c
|
|||
|
|
óÊ — e Zd ZdZed
|
|||
|
|
deeee f dede de
|
|||
|
|
e ee f fd„¦ « Z ed
|
|||
|
|
deeee f dede deee f fd„¦ « Z
|
|||
|
|
d S ) Ú
|
|||
|
|
DataValidatorz)Validates styling data quality and formatFÚdataÚconfigÚ is_processedÚreturnc
|
|||
|
|
ó ‡‡— g }g d¢}|D ]C}|| vr| d|› d�¦ « Œ |dk r | | s| d¦ « ŒD|rd|fS t d„ | ¦ « D ¦ « ¦ « }t d|› d �¦ « |rd
|
|||
|
|
n|j Š|rd n|j Š| ¦ « D �]1\ }}|s t d |› d
|
|||
|
|
�¦ « Œ't d|› dt |¦ « › d�¦ « d} d}
|
|||
|
|
t |¦ « D ]S\ } } ‰| vr#| d‰› d|› d| › �¦ « | dz
|
|||
|
|
} ‰| vr#| d‰› d|› d| › �¦ « |
|
|||
|
|
dz
|
|||
|
|
}
|
|||
|
|
ŒTt |› d| › �¦ « t |› d|
|
|||
|
|
› �¦ « d}
|
|||
|
|
t |¦ « D ]�\ } } t | ‰d¦ « t ¦ « s#| d‰› d|› d| › �¦ « |
|
|||
|
|
dz
|
|||
|
|
}
|
|||
|
|
t | ‰d¦ « t ¦ « s#| d‰› d|› d| › �¦ « |
|
|||
|
|
dz
|
|||
|
|
}
|
|||
|
|
Œžt |› d |
|
|||
|
|
› �¦ « t ˆfd „|D ¦ « ¦ « }t ˆfd „|D ¦ « ¦ « }|dk r | d |› d |› d
|
|||
|
|
�¦ « |dk r | d |› d!|› d
|
|||
|
|
�¦ « t |› d"|› �¦ « t |› d#|› �¦ « |r¯t d$|› d%�¦ « t t d&t |¦ « ¦ « ¦ « D ]f} || } t d'| › d(| ‰d¦ « d)d*… › d+| ‰d¦ « d)d*… › d,�¦ « Œg�Œ3t |¦ « dk |fS )-z Validate styling dataset splits©r/ Ú
|
|||
|
|
validationÚtestz Missing 'z' splitr/ zTrain split cannot be emptyFc 3 ó4 K — | ]}t |¦ « V — Œd S ©N©Úlen)Ú.0Ú
|
|||
|
|
split_datas rE ú <genexpr>z6DataValidator.validate_styling_data.<locals>.<genexpr>a s( è è € ÐLÐL°
|
|||
|
|
�C
|
|||
|
|
™OœOÐLÐLÐLÐLÐLÐLrD z Validating z# total samples across all splits...ÚinputÚoutputz Skipping validation for empty z splitú split with ú samples...r zMissing input field 'z' in z
|
|||
|
|
split, item é zMissing output field 'ú - Items missing input field: ú - Items missing output field: Ú ú
|
|||
|
|
Input field 'z' must be string in úOutput field 'z - Type errors: c 3 ól •K — | ].}| ‰d ¦ « ¦ « °*dV — Œ/dS ©r^ r[ N©ÚgetÚstrip)rT Úitemr s €rE rV z6DataValidator.validate_styling_data.<locals>.<genexpr>Œ sC øè è € Ð aÐ a T¸t¿xºxÈ ÐUWÑ?XÔ?X×?^Ò?^Ñ?`Ô?`Ð a˜qÐ aÐ aÐ aÐ aÐ aÐ arD c 3 ól •K — | ].}| ‰d ¦ « ¦ « °*dV — Œ/dS rb rc )rT rf r s €rE rV z6DataValidator.validate_styling_data.<locals>.<genexpr>� sC øè è € Ð cÐ c dÀÇÂÈ ÐWYÑ@ZÔ@Z×@`Ò@`Ñ@bÔ@bÐ c Ð cÐ cÐ cÐ cÐ cÐ crD zFound z items with empty input text in z! items with empty output text in z - Empty inputs: z - Empty outputs: z Sample processed items from ú:é z Item z : input='Né2 z...', output='ú...')ÚappendÚsumÚvaluesÚloggerÚinfor r ÚitemsrS Ú enumerateÚ
|
|||
|
|
isinstancerd r> ÚrangeÚmin)rH rI rJ ÚerrorsÚexpected_splitsÚsplitÚ
|
|||
|
|
total_samplesÚ
|
|||
|
|
split_namerU Úmissing_input_countÚmissing_output_countÚirf Ú type_errorsÚ empty_inputsÚ
|
|||
|
|
empty_outputsr r s @@rE Úvalidate_styling_dataz#DataValidator.validate_styling_dataP sE øø€ ð ˆð :Ð9Ð9ˆØ$ð >ð >ˆEؘDÐ Ð Ø—
|
|||
|
|
’
|
|||
|
|
Ð 8¨%Ð 8Ð 8Ð 8Ñ9Ô9Ð9Ð9ؘ'Ò!Ð!¨$¨u¬+Ð!Ø—
|
|||
|
|
’
|
|||
|
|
Ð <Ñ=Ô=Ð=øð ð !ؘ&�=Ð åÐLÐL¸d¿kºk¹m¼mÐLÑLÔLÑLÔLˆ
|
|||
|
|
Ý� Š ÐT -ÐTÐTÐTÑUÔUÐUð ".ÐE�g�g°6Ô3Eˆ Ø#/ÐH�x�x°VÔ5Hˆ ð '+§j¢j¡l¤lð 3 Kñ 3 KÑ "ˆJ˜
|
|||
|
|
Ø ð
|
|||
|
|
Ý— ’ Ð O¸ZÐ OÐ OÐ OÑPÔPÐPØå �KŠKÐZ jÐZÐZ½cÀ*¹o¼oÐZÐZÐZÑ [Ô [Ð [ð #$Ð Ø#$Ð å$ ZÑ0Ô0ð
|
|||
|
|
.ð
|
|||
|
|
.‘��4Ø dÐ*Ð*Ø—M’MÐ"h¸+Ð"hÐ"hÈJÐ"hÐ"hÐefÐ"hÐ"hÑiÔiÐiØ'¨1Ñ,Ð'Ø tÐ+Ð+Ø—M’MÐ"j¸<Ð"jÐ"jÈjÐ"jÐ"jÐghÐ"jÐ"jÑkÔkÐkØ(¨AÑ-Ð(øå �KŠK˜:ÐZÐZÐEXÐZÐZÑ [Ô [Ð [Ý �KŠK˜:Ð\Ð\ÐFZÐ\Ð\Ñ ]Ô ]Ð ]ð ˆKÝ$ ZÑ0Ô0ð
|
|||
|
|
%ð
|
|||
|
|
%‘��4Ý! $§(¢(¨;¸Ñ";Ô";½SÑAÔAð %Ø—M’MÐ"o°+Ð"oÐ"oÐS]Ð"oÐ"oÐlmÐ"oÐ"oÑpÔpÐpØ 1Ñ$�KÝ! $§(¢(¨<¸Ñ"<Ô"<½cÑBÔBð %Ø—M’MÐ"q°<Ð"qÐ"qÐU_Ð"qÐ"qÐnoÐ"qÐ"qÑrÔrÐrØ 1Ñ$�Køå �KŠK˜:ÐDÐD°{ÐDÐDÑ EÔ EÐ Eõ Ð aÐ aÐ aÐ a¨ZÐ aÑ aÔ aÑaÔaˆLÝ Ð cÐ cÐ cÐ c¨jÐ cÑ cÔ cÑ cÔ cˆMà˜aÒ Ð Ø—
|
|||
|
|
’
|
|||
|
|
Ð g |Ð gÐ gÐU_Ð gÐ gÐ gÑhÔhÐhØ ˜qÒ Ð Ø—
|
|||
|
|
’
|
|||
|
|
Ð i }Ð iÐ iÐWaÐ iÐ iÐ iÑjÔjÐjå �KŠK˜:ÐFÐF¸ ÐFÐFÑ GÔ GÐ GÝ �KŠK˜:ÐHÐH¸ ÐHÐHÑ IÔ IÐ Ið ð
|
|||
|
|
KÝ— ’ Ð H¸:Ð HÐ HÐ HÑIÔIÐIÝ �s 1¥c¨*¡o¤oÑ 6Ô 6Ñ7Ô7ð Kð K�AØ% aœ=�DÝ—K’Kð !J¨!ð !Jð !J°d·h²h¸{ÈBÑ6OÔ6OÐPSÐQSÐPSÔ6Tð !Jð !JÐdh×dlÒdlÐmyÐ{}Ñd~Ôd~ð @Cð ACð @Cô eDð !Jð !Jð !Jñ Kô Kð Kð Kùå�6‰{Œ{˜aÒ Ð'Ð'rD c ó¶ ‡ — i di dœdœ}|rdn|j }|rdn|j }| ¦ « D �]#\ }}|s#di i dœ}||d |< d|d d |< Œ+t |¦ « i i dœ}d|fd|ffD ]c\ } Š ˆ fd
|
|||
|
|
„|D ¦ « }
|
|||
|
|
|
|
|||
|
|
rNt |
|
|||
|
|
¦ « t |
|
|||
|
|
¦ « t
|
|||
|
|
j |
|
|||
|
|
¦ « t
|
|||
|
|
j |
|
|||
|
|
¦ « d œ|d | < Œd||fD ](Š t ˆ fd
|
|||
|
|
„|D ¦ « ¦ « } | |d ‰ < Œ)||d |< |d dxx t |¦ « z
|
|||
|
|
cc< t |¦ « |d d |< �Œ%|S )z1Analyze dataset characteristics across all splitsr )ry Ú split_sizes)ÚsplitsÚoverallrW rX )ry Útext_length_statsÚmissing_valuesr„ r… rƒ c óV •— g | ]%}t | ‰d ¦ « ¦ « ‘Œ&S )r^ )rS rd ©rT rf Úfields €rE ú
|
|||
|
|
<listcomp>z1DataValidator.analyze_dataset.<locals>.<listcomp>Ä s/ ø€ Ð PÐ PÐ P¸T¥ D§H¢H¨U°BÑ$7Ô$7Ñ 8Ô 8Ð PÐ PÐ PrD )ru ÚmaxÚmeanÚmedianr† c 3 óF •K — | ]}| ‰¦ « °d V — Œ dS ©r[ N)rd r‰ s €rE rV z0DataValidator.analyze_dataset.<locals>.<genexpr>Ï s2 øè è € Ð#TÐ#T¨$ÀDÇHÂHÈUÁOÄOÐ#T AÐ#TÐ#TÐ#TÐ#TÐ#TÐ#TrD r‡ ry )
|
|||
|
|
r r rq rS ru rŒ Únpr� rŽ rm )
|
|||
|
|
rH rI rJ Úanalysisr r rz rU Úsplit_analysisÚ
|
|||
|
|
field_nameÚ text_lengthsÚ
|
|||
|
|
missing_countrŠ s
|
|||
|
|
@rE Úanalyze_datasetz DataValidator.analyze_dataset s ø€ ð à!"Ø !ðð ð
|
|||
|
|
ð
|
|||
|
|
ˆð ".ÐE�g�g°6Ô3Eˆ Ø#/ÐH�x�x°VÔ5Hˆ ð '+§j¢j¡l¤lð $ Mñ $ MÑ "ˆJ˜
|
|||
|
|
Ø ð
|
|||
|
|
ð &'Ø)+Ø&(ð"ð "�ð
|
|||
|
|
2@�˜Ô" :Ñ.ØAB�˜Ô# MÔ2°:Ñ>Øõ "% Z¡ ¤ Ø%'Ø"$ð ð ˆNð (/° Ð&<¸xÈ Ð>VÐ%Wð
|
|||
|
|
ð
|
|||
|
|
Ñ!�
|
|||
|
|
˜EØ PÐ PÐ PÐ PÀZÐ PÑ PÔ P� Ø ð å " <Ñ 0Ô 0Ý " <Ñ 0Ô 0Ý "¤¨ Ñ 5Ô 5Ý"$¤)¨LÑ"9Ô"9ð Gð G�NÐ#6Ô7¸
|
|||
|
|
ÑCøð & |Ð4ð
|
|||
|
|
Hð
|
|||
|
|
H�Ý #Ð#TÐ#TÐ#TÐ#T°*Ð#TÑ#TÔ#TÑ TÔ T�
|
|||
|
|
Ø:G�Ð /Ô0°Ñ7Ð7à-;ˆH�XÔ ˜zÑ *Ø �YÔ Ð 0Ð 0Ô 0µC¸
|
|||
|
|
±O´OÑ CÐ 0Ð 0Ñ 0Ý=@À¹_¼_ˆH�YÔ
|
|||
|
|
Ô .¨zÑ :Ñ :àˆrD N)F)r: r; r< r= Ú staticmethodr r> r r rB r r� r r— rC rD rE rG rG M sô € € € € € Ø3Ð3àðM(ð M( D¨¨d°4¬j¨ Ô$9ð M(À=ð M(Ð`dð M(ÐqvÐw{ð ~Bð CFô ~Gð xGô rHð M(ð M(ð M(ñ „\ðM(ð^ ð5ð 5˜d 3¨¨T¬
|
|||
|
|
?Ô 3ð 5¸]ð 5ÐZ^ð 5ÐkoÐpsÐuxÐpxÔkyð 5ð 5ð 5ñ „\ð5ð 5ð 5rD rG c
|
|||
|
|
óª — e Zd ZdZededeeee f fd„¦ « Z edeeee f dedeeee f fd„¦ « Z
|
|||
|
|
dS )ÚBaseDataLoaderz$Abstract base class for data loadersrI rK c ó — dS )z:Load data and return dictionary with train/val/test splitsNrC )ÚselfrI s rE ÚloadzBaseDataLoader.loadÛ ó € ð
|
|||
|
|
ˆrD rH c ó — dS )z'Apply preprocessing steps to all splitsNrC )rœ rH rI s rE Ú
|
|||
|
|
preprocesszBaseDataLoader.preprocessà rž rD N) r: r; r< r= r r r r> r r� r rC rD rE rš rš Ø s¨ € € € € € Ø.Ð.àð
|
|||
|
|
˜=ð
|
|||
|
|
¨T°#°t¸D´z°/Ô-Bð
|
|||
|
|
ð
|
|||
|
|
ð
|
|||
|
|
ñ „^ð
|
|||
|
|
ð ð
|
|||
|
|
˜t C¨¨d¬ OÔ 4ð
|
|||
|
|
¸mð
|
|||
|
|
ÐPTÐUXÐZ^Ð_cÔZdÐUdÔPeð
|
|||
|
|
ð
|
|||
|
|
ð
|
|||
|
|
ñ „^ð
|
|||
|
|
ð
|
|||
|
|
ð
|
|||
|
|
rD rš c ó¾ — e Zd ZdZdedeeee f fd„Zdeeee f dedeeee f fd„Z dedede
|
|||
|
|
e fd„Z d ededefd
|
|||
|
|
„Z d S ) ÚHuggingFaceDataLoaderz#Load datasets from Hugging Face HubrI rK c óú — |j st d¦ « ‚t d|j › �¦ « t |j |j ¬¦ « }t
|
|||
|
|
| ¦ « ¦ « }t d|› �¦ « g g g dœ}d|v rF|d }t dt |¦ « › d�¦ « t
|
|||
|
|
|¦ « |d< nOt d ¦ « t d
|
|||
|
|
|› �¦ « t d |j › d �¦ « ‚|j
|
|||
|
|
d
|
|||
|
|
k rJd|v rF|d }t dt |¦ « › d�¦ « t
|
|||
|
|
|¦ « |d< nä|j
|
|||
|
|
d
|
|||
|
|
k rJd|v rF|d }t dt |¦ « › d�¦ « t
|
|||
|
|
|¦ « |d< n�|j
|
|||
|
|
d
|
|||
|
|
k r^t d¦ « t d
|
|||
|
|
|› �¦ « t d|j dz › d�¦ « n&t d|j dz › d�¦ « |j
|
|||
|
|
dk rKd|v rG|d }t dt |¦ « › d�¦ « t
|
|||
|
|
|¦ « |d< �n9|j
|
|||
|
|
d
|
|||
|
|
k rJd|v rF|d }t dt |¦ « › d�¦ « t
|
|||
|
|
|¦ « |d< nä|j
|
|||
|
|
d
|
|||
|
|
k rJd|v rF|d }t d t |¦ « › d�¦ « t
|
|||
|
|
|¦ « |d< n�|j
|
|||
|
|
dk r^t d ¦ « t d
|
|||
|
|
|› �¦ « t d|j dz › d �¦ « n&t d |j dz › d�¦ « |d r |d �s‘|d }t |¦ « d k r<t d!t |¦ « › d"�¦ « ||d< g |d< g |d< �n:|j |j z |j z } | d#k rKt d$| › d%�¦ « |j | z |_ |j | z |_ |j | z |_ |d �s|d �s
|
|||
|
|
t! t |¦ « |j z ¦ « }
|
|||
|
|
t! t |¦ « |j z ¦ « } t |¦ « d&k rGd'|_ d(|_ d(|_ t d)|j › d*|j › d+|j › �¦ « t# d,t! t |¦ « d-z ¦ « ¦ « } t# d,t! t |¦ « d-z ¦ « ¦ « }
|
|||
|
|
t# | t! t |¦ « |j z ¦ « ¦ « } t# |
|
|||
|
|
t! t |¦ « |j z ¦ « ¦ « }t |¦ « | z
|
|||
|
|
|z
|
|||
|
|
}
|
|||
|
|
|
|
|||
|
|
d,k rD| d,k r | d,z } |
|
|||
|
|
d,z
|
|||
|
|
}
|
|||
|
|
n|d,k r
|
|||
|
|
|d,z }|
|
|||
|
|
d,z
|
|||
|
|
}
|
|||
|
|
t d.|
|
|||
|
|
› d*| › d+|› �¦ « t% || |z d/¬0¦ « \ }}t% || |z d1k r|| |z z nd1d/¬0¦ « \ }}||d< ||d< ||d< n³|d sRt# d,t! t |¦ « |j z ¦ « ¦ « } t% || d/¬0¦ « \ }}||d< ||d< nY|d sQt# d,t! t |¦ « |j z ¦ « ¦ « }t% ||d/¬0¦ « \ }}||d< ||d< t d2¦ « t d3t |d ¦ « › d�¦ « t d4t |d ¦ « › d�¦ « t d5t |d ¦ « › d�¦ « d|vrg |d< d|vrg |d< |j rq|D ]n}|| rdt || ¦ « }|| d6|j … ||< t d7|› d8|› d9t || ¦ « › d�¦ « Œo| ¦ « D �]¸\ }}|�r¯t d:|› d;|d1 › �¦ « t d<|› d=t
|
|||
|
|
|d1 ¦ « ¦ « › �¦ « |j |d1 vr“t d>|j › d?|› d@t
|
|||
|
|
|d1 ¦ « ¦ « › �¦ « dA„ |d1 ¦ « D ¦ « }|r t dB|› d;|› �¦ « |j |d1 vr“t dC|j › d?|› d@t
|
|||
|
|
|d1 ¦ « ¦ « › �¦ « dD„ |d1 ¦ « D ¦ « }|r t dE|› d;|› �¦ « �Œºt dF|j › �¦ « |S # t. $ r+}t dG|j › d;|› �¦ « ‚ d6}~ww xY w)Hz?Load dataset from Hugging Face Hub with flexible split handlingz2Dataset name is required for Hugging Face datasetsz Loading Hugging Face dataset: )Ú cache_dirz Available splits in dataset: rM r/ zUsing 'train' split with ú samplesz"No 'train' split found in dataset!zAvailable splits: zDataset z does not have a 'train' splitÚuse_val_if_availablerN z Using 'validation' split with ÚvalzUsing 'val' split with zCNo validation split found in dataset. Will create from train split.z Will use éd z % of train data for validationz.Will create validation split from train data (z%)Úuse_test_if_availablerO zUsing 'test' split with z&Using 'validation' split as test with z Using 'val' split as test with z=No test split found in dataset. Will create from train split.z% of train data for testz(Will create test split from train data (ri úDataset has only ú& samples. Using all data for training.g ð?z(Split percentages don't sum to 1.0 (got z). Normalizing...r' ç333333ã?çš™™™™™É?ú8Small dataset detected. Adjusted split ratios to: train=ú, val=ú, test=r[ r! z Adjusted split sizes: train=é* ©Ú test_sizeÚ random_stater zFinal split sizes:ú Train: ú Validation: ú Test: NzLimited z split from z to zSample data item from ú: úAvailable fields in z split: r_ ú' not found in ú. Available fields: c óJ ‡— g | ] Št ˆfd „dD ¦ « ¦ « ¯ ‰‘Œ S )c 3 óD •K — | ]}|‰ ¦ « v V — Œd S rQ ©Úlower©rT ÚkeywordÚfs €rE rV z8HuggingFaceDataLoader.load.<locals>.<listcomp>.<genexpr>© sV øè è € ð Nrð NrÐgnÈgÐYZ×Y`ÒY`ÑYbÔYbÐNbð Nrð Nrð Nrð Nrð Nrð NrrD )r ÚsentenceÚcontentrW ÚcommentÚmessage©Úany©
|
|||
|
|
ValueErrorro rp r r1 ÚlistÚkeysrS Úerrorr3 Úwarningr" r2 r# r r@ rŒ r r rq r r Ú Exception)rœ rI ÚdatasetÚavailable_splitsÚ splits_dataÚ
|
|||
|
|
train_datasetÚ val_datasetÚ test_datasetÚ
|
|||
|
|
train_dataÚtotal_train_percentageÚ
|
|||
|
|
train_sizeÚval_sizeÚ min_val_sizeÚ
|
|||
|
|
min_test_sizer³ Ú new_trainÚ temp_dataÚnew_valÚnew_testrz Ú
|
|||
|
|
original_sizerU Ú text_fieldsÚ
|
|||
|
|
output_fieldsÚes rE r� zHuggingFaceDataLoader.loadé s
|
|||
|
|
€ àÔ"ð SÝ Ð QÑRÔRÐ Rå� Š ÐJ°VÔ5HÐJÐJÑKÔKÐKðH å"ØÔ#Ø Ô-ðñ ô ˆGõ $ G§L¢L¡N¤NÑ 3Ô 3Ð Ý �KŠKÐJÐ8HÐJÐJÑ KÔ KÐ Kð Ø Øðð ˆKð Ð*Ð*Ð*Ø '¨Ô 0�
|
|||
|
|
Ý— ’ Ð T½¸MÑ8JÔ8JÐ TÐ TÐ TÑUÔUÐUÝ'+¨MÑ':Ô':� ˜GÑ$Ð$å— ’ Ð AÑBÔBÐBÝ— ’ Ð DÐ2BÐ DÐ DÑEÔEÐEÝ Ð!_¨FÔ,?Ð!_Ð!_Ð!_Ñ`Ô`Ð`ð Ô$Ð(>Ò>Ð>À<ÐScÐCcÐCcØ % lÔ 3� Ý— ’ Ð W½SÀÑ=MÔ=MÐ WÐ WÐ WÑXÔXÐXÝ,0°Ñ,=Ô,=� ˜LÑ)Ð)ØÔ&Ð*@Ò@Ð@ÀUÐN^ÐE^ÐE^Ø % eœn� Ý— ’ Ð Pµc¸+Ñ6FÔ6FÐ PÐ PÐ PÑQÔQÐQÝ,0°Ñ,=Ô,=� ˜LÑ)Ð)ØÔ&Ð*@Ò@Ð@Ý—’Ð dÑeÔeÐeÝ— ’ Ð CÐ1AÐ CÐ CÑDÔDÐDÝ— ’ Ð e¨Ô(?À#Ñ(EÐ eÐ eÐ eÑfÔfÐfÐfå— ’ Ð nÈVÔMdÐgjÑMjÐ nÐ nÐ nÑoÔoÐoð Ô%Ð)@Ò@Ð@ÀVÐO_ÐE_ÐE_Ø & vœ� Ý— ’ Ð Rµs¸<Ñ7HÔ7HÐ RÐ RÐ RÑSÔSÐSÝ&*¨<Ñ&8Ô&8� ˜FÑ#Ñ#ØÔ'Ð+AÒAÐAÀlÐVfÐFfÐFfØ & |Ô 4� Ý— ’ Ð `ÅSÈ ÑEVÔEVÐ `Ð `Ð `ÑaÔaÐaÝ&*¨<Ñ&8Ô&8� ˜FÑ#Ð#ØÔ'Ð+AÒAÐAÀeÐO_ÐF_ÐF_Ø & uœ~� Ý— ’ Ð Y½cÀ,Ñ>OÔ>OÐ YÐ YÐ YÑZÔZÐZÝ&*¨<Ñ&8Ô&8� ˜FÑ#Ð#ØÔ'Ð+BÒBÐBÝ—’Ð ^Ñ_Ô_Ð_Ý— ’ Ð CÐ1AÐ CÐ CÑDÔDÐDÝ— ’ Ð Y¨Ô(9¸CÑ(?Ð YÐ YÐ YÑZÔZÐZÐZå— ’ Ð bÀvÔGXÐ[^ÑG^Ð bÐ bÐ bÑcÔcÐcð ˜|Ô,ð Y
|
|||
|
|
7°KÀÔ4Gñ Y
|
|||
|
|
7Ø (¨Ô 1�
|
|||
|
|
õ �z‘?”? QÒ&Ð&Ý—N’NÐ#nµs¸:±´Ð#nÐ#nÐ#nÑoÔoÐoØ+5�K Ñ(Ø02�K Ñ-Ø*,�K Ñ'Ñ'ð .4Ô-?À&ÔBYÑ-YÐ\bÔ\mÑ-mÐ*Ø-°Ò4Ð4Ý ŸšÐ'{ÐRhÐ'{Ð'{Ð'{Ñ|Ô|Ð|à-3Ô-?ÐBXÑ-X˜Ô*Ø28Ô2IÐLbÑ2b˜Ô/Ø,2Ô,=Ð@VÑ,V˜Ô)ð ' |Ô4ñ E7¸[ÈÔ=Pñ E7å%(¨Z© ¬ ¸6Ô;MÑ)MÑ%NÔ%N˜
|
|||
|
|
Ý#&¥s¨:¡¤¸Ô9PÑ'PÑ#QÔ#Q˜õ ˜z™?œ?¨RÒ/Ð/à14˜FÔ .Ø69˜FÔ 3Ø03˜FÔ -Ý "ŸKšKð )qÐciÔcuð )qð )qð ~Dô ~Uð )qð )qð ^dô ^oð )qð )qñ rô rð rõ (+¨1cµ#°j±/´/ÀCÑ2GÑ.HÔ.HÑ'IÔ'I˜ Ý(+¨Asµ3°z±?´?ÀSÑ3HÑ/IÔ/IÑ(JÔ(J˜
|
|||
|
|
å#& |µS½¸Z¹ ¼ È6ÔKbÑ9bÑ5cÔ5cÑ#dÔ#d˜Ý$'¨
|
|||
|
|
µs½3¸z¹?¼?ÈVÔM^Ñ;^Ñ7_Ô7_Ñ$`Ô$`˜ Ý%(¨¡_¤_°xÑ%?À)Ñ%K˜
|
|||
|
|
ð &¨š>˜>Ø '¨!š|˜|Ø (¨A¡
|
|||
|
|
Ø *¨a¡
|
|||
|
|
|
|||
|
|
Ø!*¨Q¢ Ø )¨Q¡ Ø *¨a¡
|
|||
|
|
Ý "ŸKšKÐ(uÀzÐ(uÐ(uÐYaÐ(uÐ(uÐjsÐ(uÐ(uÑ vÔ vÐ võ 0@Ø &Ø&.°Ñ&:Ø)+ð0ñ 0ô 0Ñ,˜ 9õ -=Ø %ØMUÐXaÑMaÐefÒLfÐLf i°8¸iÑ3GÑ&HÐ&HÐlmØ)+ð-ñ -ô -Ñ)˜ ð 09˜ GÑ,Ø4;˜ LÑ1Ø.6˜ FÑ+Ð+à (¨ Ô 6ð 7å#& q#c°*©o¬oÀÔ@WÑ.WÑ*XÔ*XÑ#YÔ#Y˜Ý-=Ø &Ø&.Ø)+ð.ñ .ô .Ñ*˜ 7ð
|
|||
|
|
09˜ GÑ,Ø4;˜ LÑ1Ð1à (¨Ô 0ð 7å$'¨3s°:©¬ÀÔARÑ/RÑ+SÔ+SÑ$TÔ$T˜ Ý.>Ø &Ø&/Ø)+ð/ñ /ô /Ñ+˜ 8ð
|
|||
|
|
09˜ GÑ,Ø.6˜ FÑ+å �KŠKÐ-Ñ .Ô .Ð .Ý �KŠKÐG¥C¨ °GÔ(<Ñ$=Ô$=ÐGÐGÐGÑ HÔ HÐ HÝ �KŠKÐQ¨[¸ Ô-FÑ)GÔ)GÐQÐQÐQÑ RÔ RÐ RÝ �KŠKÐE¥3 {°6Ô':Ñ#;Ô#;ÐEÐEÐEÑ FÔ FÐ Fð ;Ð.Ð.Ø,.� ˜LÑ)ؘ[Ð(Ð(Ø&(� ˜FÑ#ð Ô!ð
|
|||
|
|
BØ"-ð Bð B�JØ" :Ô.ð BÝ(+¨K¸
|
|||
|
|
Ô,CÑ(DÔ(D˜
|
|||
|
|
Ø2=¸jÔ2IÐJ]È6ÔK]ÐJ]Ô2^˜ JÑ/Ý Ÿ š ð %A¨zð %Að %AÀ}ð %Að %AÕZ]Ð^iÐjtÔ^uÑZvÔZvð %Að %Að %Añ Bô Bð Bøð +6×*;Ò*;Ñ*=Ô*=ð
|
|||
|
|
fñ
|
|||
|
|
fÑ&�
|
|||
|
|
˜JØ ñ fÝ—K’KÐ V¸Ð VÐ VÀzÐRSÄ}Ð VÐ VÑWÔWÐWÝ—K’KÐ g°zÐ gÐ gÍ4ÐPZÐ[\ÔP]×PbÒPbÑPdÔPdÑKeÔKeÐ gÐ gÑhÔhÐhð Ô)°¸A´ Ð>Ð>Ý Ÿšð (W°vÔ7Ið (Wð (WÐZdð (Wð (WÕz~ð @Jð KLô @M÷ @Rò @Rñ @Tô @Tñ {Uô {Uð (Wð (Wñ Xô Xð Xð 'sð 's°*¸Q´-×2DÒ2DÑ2FÔ2Fð 'sñ 'sô 's˜ Ø&ð bÝ "ŸKšKÐ(`ÀZÐ(`Ð(`ÐS^Ð(`Ð(`Ñ aÔ aÐ aØ Ô*°*¸Q´-Ð?Ð?Ý Ÿšð (Y¸Ô8Kð (Yð (YÐ\fð (Yð (Yõ }Að BLð MNô BO÷ BTò BTñ BVô BVñ }Wô }Wð (Yð (Yñ Zô Zð Zð )kð )k°J¸q´M×4FÒ4FÑ4HÔ4Hð )kñ )kô )k˜
|
|||
|
|
Ø(ð fÝ "ŸKšKÐ(dÀzÐ(dÐ(dÐUbÐ(dÐ(dÑ eÔ eÐ eùå �KŠKÐL°vÔ7JÐLÐLÑ MÔ MÐ MØ Ð øåð ð ð Ý �LŠLÐL°&Ô2EÐLÐLÈÐLÐLÑ MÔ MÐ MØ øøøøð øøøs ºj
|
|||
|
|
k ë
|
|||
|
|
k:ë&k5ë5k:rH c óò ‡— i }t d¦ « | ¦ « D �]Ã\ }}t d|› dt |¦ « › d�¦ « |rÔt |d ¦ « ¦ « }t d|› d|› �¦ « t d‰j › d ‰j › d
|
|||
|
|
�¦ « ‰j |vr(t d ‰j › d |› d
|
|||
|
|
|› �¦ « ‰j |vr(t d‰j › d |› d
|
|||
|
|
|› �¦ « t ˆfd„|D ¦ « ¦ « }t ˆfd„|D ¦ « ¦ « }t |› d|› �¦ « t |› d|› �¦ « t d|
|
|||
|
|
¦ « › d�¦ « t t dt |¦ « ¦ « ¦ « D ]·} || }
|
|||
|
|
t d| › d|› d�¦ « |
|
|||
|
|
¦ « D ]w\ } } t | t ¦ « r=t | ¦ « dk r*t d| › d| d d… › d �¦ « ŒWt d| › d| › �¦ « ŒxŒ¸g }
|
|||
|
|
d}d}d| _ t! |¦ « D ]f\ } }
|
|||
|
|
| |
|
|||
|
|
‰¦ « }|�|
|
|||
|
|
|¦ « |d z
|
|||
|
|
}Œ8|d z
|
|||
|
|
}|dk r#t d | › d|› d|
|
|||
|
|
› �¦ « Œg|
|
|||
|
|
||< t |› d |› d!|› d"�¦ « |
|
|||
|
|
r†t d#|
|
|||
|
|
¦ « › d$�¦ « t t dt |
|
|||
|
|
¦ « ¦ « ¦ « D ]+} t d%| › d|› d|
|
|||
|
|
| › �¦ « Œ,�ŒÅ|S )&ú2Apply preprocessing steps to all splits separatelyz=== PREPROCESSING DATA ===ú Processing rY ú items...r r¹ r¸ zLooking for input field: 'z', output field: 'ú'r_ rº r» r` c 3 ób •K — | ])}‰j |vs| ‰j ¦ « °%d V — Œ*dS r� )r rd ©rT rf rI s €rE rV z3HuggingFaceDataLoader.preprocess.<locals>.<genexpr>Ï sI øè è € Ð Ð d¸FÔ<NÐVZÐ<ZÐ<ZÐbf×bjÒbjÐkqÔk}Ñb~Ôb~Ð<Z Ð<ZÐ<ZÐ<ZÐ<ZÐ Ð rD c 3 ób •K — | ])}‰j |vs| ‰j ¦ « °%d V — Œ*dS r� )r rd rð s €rE rV z3HuggingFaceDataLoader.preprocess.<locals>.<genexpr>Ð sa øè è € ð !Cð !C t¸VÔ=PÐX\Ð=\Ð=\Ðdh×dlÒdlÐmsô nAñ eBô eBÐ=\ Ð=\Ð=\Ð=\Ð=\ð !Cð !CrD r\ r] z=== SAMPLE RAW DATA FROM z BEFORE PREPROCESSING ===ri z Raw item ú from rh r¨ z z: 'Nrk r[ ú
|
|||
|
|
Skipped item ú - Preprocessed ú samples, skipped r¥ z === SAMPLE PROCESSED DATA FROM z ===zProcessed item )ro rp rq rS ÚsetrÒ r r rÓ rm Úupperrt ru rs r> Ú _debug_countrr Ú_preprocess_itemrl )rœ rH rI Úprocessed_splitsrz rU Úavailable_fieldsÚ
|
|||
|
|
missing_inputÚmissing_outputr} rf ÚkeyÚvalueÚprocessed_dataÚprocessed_countÚ
|
|||
|
|
skipped_countÚprocessed_items ` rE r z HuggingFaceDataLoader.preprocessº sä ø€ à Ðå� Š Ð1Ñ2Ô2Ð2à&*§j¢j¡l¤lð 9 ^ñ 9 ^Ñ "ˆJ˜
|
|||
|
|
Ý �KŠKÐX jÐXÐX½cÀ*¹o¼oÐXÐXÐXÑ YÔ YÐ Yð ð
|
|||
|
|
JÝ#& z°!¤}×'9Ò'9Ñ';Ô';Ñ#<Ô#<Ð Ý— ’ Ð S°:Ð SÐ SÐAQÐ SÐ SÑTÔTÐTÝ— ’ Ð u¸Ô9KÐ uÐ uÐ_eÔ_rÐ uÐ uÐ uÑvÔvÐvàÔ%Ð-=Ð=Ð=Ý—L’Lð "G°Ô1Cð "Gð "GÐT^ð "Gð "Gð uEð "Gð "Gñ Hô Hð HØÔ&Ð.>Ð>Ð>Ý—L’Lð "I°&Ô2Eð "Ið "IÐV`ð "Ið "Ið wGð "Ið "Iñ Jô Jð Jõ Ð Ð Ð Ð ¨jÐ Ñ Ô Ñ Ô ˆMÝ ð !Cð !Cð !Cð !C¨zð !Cñ !Cô !Cñ Cô CˆNå �KŠK˜:ÐTÐTÀ]ÐTÐTÑ UÔ UÐ UÝ �KŠK˜:ÐVÐVÀnÐVÐVÑ WÔ WÐ Wõ
|
|||
|
|
�KŠKÐa°J×4DÒ4DÑ4FÔ4FÐaÐaÐaÑ bÔ bÐ bÝ�3˜q¥# j¡/¤/Ñ2Ô2Ñ3Ô3ð
|
|||
|
|
9ð
|
|||
|
|
9�Ø! !”}�Ý— ’ Ð >¨Ð >Ð >°Ð >Ð >Ð >Ñ?Ô?Ð?Ø"&§*¢*¡,¤,ð 9ð 9‘J�C˜Ý! %Ñ-Ô-ð 9µ#°e±*´*¸sÒ2BÐ2BÝ Ÿ š Ð$B¨Ð$BÐ$B°°t¸°t´Ð$BÐ$BÐ$BÑCÔCÐCÐCå Ÿ š Ð$7¨Ð$7Ð$7°Ð$7Ð$7Ñ8Ô8Ð8Ð8ð 9ð ˆNØ ˆOØ ˆMð !"ˆDÔ å$ ZÑ0Ô0ð
|
|||
|
|
Sð
|
|||
|
|
S‘��4Ø!%×!6Ò!6°t¸VÑ!DÔ!D�Ø!Ð-Ø"×)Ò)¨.Ñ9Ô9Ð9Ø# qÑ(�O�Oà! QÑ&�MØ$¨Ò)Ð)Ý Ÿ š Ð$Q°AÐ$QÐ$Q¸ZÐ$QÐ$QÈ4Ð$QÐ$QÑRÔRÐRøà+9Ð ˜ZÑ (Ý �KŠK˜:ÐqÐq°ÐqÐqÐZgÐqÐqÐqÑ rÔ rÐ rð ð
|
|||
|
|
^Ý— ’ Ð V¸j×>NÒ>NÑ>PÔ>PÐ VÐ VÐ VÑWÔWÐWÝ �s 1¥c¨.Ñ&9Ô&9Ñ :Ô :Ñ;Ô;ð ^ð ^�AÝ—K’KÐ \°!Ð \Ð \¸:Ð \Ð \È ÐXYÔIZÐ \Ð \Ñ]Ô]Ð]Ð]ùà Ð rD rf c óø — | |j d¦ « }| |j d¦ « }t | d¦ « r| xj dz
|
|||
|
|
c_ nd| _ | j dk rmt
|
|||
|
|
d| j › d�¦ « t
|
|||
|
|
d|j › d|› �¦ « t
|
|||
|
|
d |j › d|› �¦ « |€d}|€d}t |¦ « }t |¦ « }| j dk r1t
|
|||
|
|
d |d
|
|||
|
|
d … › d
|
|||
|
|
|d
|
|||
|
|
d … › d�¦ « |j r�|}|}| ||¦ « }| ||¦ « }| j dk rbt
|
|||
|
|
d|d
|
|||
|
|
d … › d|d
|
|||
|
|
d … › d�¦ « t
|
|||
|
|
d|d
|
|||
|
|
d … › d|d
|
|||
|
|
d … › d�¦ « t |¦ « |j k st |¦ « |j k rH| j dk r;t
|
|||
|
|
dt |¦ « › d|j › d|j › d�¦ « d
|
|||
|
|
S t |¦ « |j k st |¦ « |j k rH| j dk r;t
|
|||
|
|
dt |¦ « › d|j › d|j › d�¦ « d
|
|||
|
|
S ||dœ}| j dk r t
|
|||
|
|
d|› �¦ « |S )úPreprocess a single itemr^ rø r[ ri zProcessing item rh z Looking for input field 'z': z Looking for output field 'Nz After conversion - input: 'rj z...', output: 'rk z After cleaning - input: 'z ...' -> 'z After cleaning - output: 'z Skipping - input length z not in range [z, ú]z Skipping - output length ©rW rX z Final processed item: )
|
|||
|
|
rd r r Úhasattrrø ro Údebugr> r$ Ú _clean_textrS r( r* )rœ rf rI Ú
|
|||
|
|
input_textÚ output_textÚoriginal_inputÚoriginal_outputr s rE rù z&HuggingFaceDataLoader._preprocess_itemý s¥ € ð —X’X˜fÔ 0°"Ñ5Ô5ˆ
|
|||
|
|
Ø—h’h˜vÔ 2°BÑ7Ô7ˆ õ �4˜ Ñ (Ô (ð "Ø Ð Ô Ñ "Ð Ô Ð à !ˆDÔ à Ô Ò !Ð !Ý �LŠLÐ@¨DÔ,=Ð@Ð@Ð@Ñ AÔ AÐ AÝ �LŠLÐZ°vÔ7IÐZÐZÈjÐZÐZÑ [Ô [Ð [Ý �LŠLÐ]¸Ô8KÐ]Ð]ÐP[Ð]Ð]Ñ ^Ô ^Ð ^ð Р؈JØ Ð Ø ˆKõ ˜‘_”_ˆ
|
|||
|
|
ݘ+Ñ&Ô&ˆ à Ô Ò !Ð !Ý �LŠLÐo¸ÀCÀRÀC¼ ÐoÐoÐYdÐehÐfhÐehÔYiÐoÐoÐoÑ pÔ pÐ pð Ô ð sØ 'ˆNØ )ˆOØ ×)Ò)¨*°fÑ=Ô=ˆJØ ×*Ò*¨;¸Ñ?Ô?ˆKØÔ AÒ%Ð%Ý— ’ Ð n¸>È#È2È#Ô;NÐ nÐ nÐYcÐdgÐegÐdgÔYhÐ nÐ nÐ nÑoÔoÐoÝ— ’ Ð q¸OÈCÈRÈCÔ<PÐ qÐ qÐ[fÐgjÐhjÐgjÔ[kÐ qÐ qÐ qÑrÔrÐrõ ˆz‰?Œ?˜VÔ .Ò .Ð .µ#°j±/´/ÀFÔDUÒ2UÐ2UØÔ AÒ%Ð%Ý— ’ ð D½#¸j¹/¼/ð Dð DÐZ`ÔZkð Dð DÐouô pAð Dð Dð Dñ Eô Eð EØ�4å ˆ{Ñ Ô ˜fÔ /Ò /Ð /µ3°{Ñ3CÔ3CÀfÔFWÒ3WÐ3WØÔ AÒ%Ð%Ý— ’ ð F½3¸{Ñ;KÔ;Kð Fð FÐ\bÔ\mð Fð FÐqwô rCð Fð Fð Fñ Gô Gð GØ�4ð Ø!ð
|
|||
|
|
ð
|
|||
|
|
ˆð
|
|||
|
|
Ô Ò !Ð !Ý �LŠLÐD°NÐDÐDÑ EÔ EÐ Eà Ð rD r c óô — t |t ¦ « sdS t j dd|¦ « ¦ « }|j r| ¦ « }|j rt j dd|¦ « }|S ©úClean and normalize textr^ z\s+ú z[^\w\s]©rs r> ÚreÚsubre r& r¿ r% ©rœ r rI s rE r
|
|||
|
|
z!HuggingFaceDataLoader._clean_text; óy € å˜$¥Ñ$Ô$ð Ø�2õ Œv�f˜c 4Ñ(Ô(×.Ò.Ñ0Ô0ˆð Ô ð Ø—:’:‘<”<ˆDð Ô &ð 0Ý”6˜* b¨$Ñ/Ô/ˆDàˆ rD N)
|
|||
|
|
r: r; r< r= r r r> r r� r r rù r
|
|||
|
|
rC rD rE r¢ r¢ æ sø € € € € € Ø-Ð-ðO˜=ð O¨T°#°t¸D´z°/Ô-Bð Oð Oð Oð OðbA ˜t C¨¨d¬ OÔ 4ð A ¸mð A ÐPTÐUXÐZ^Ð_cÔZdÐUdÔPeð A ð A ð A ð A ðF< Tð < °=ð < ÀXÈdÄ^ð < ð < ð < ð < ð| ð ¨]ð ¸sð ð ð ð ð ð rD r¢ c óZ — e Zd ZdZdedeeee f fd„Zdee dedeeee f fd„Z de
|
|||
|
|
dedee fd„Z de
|
|||
|
|
dedee fd „Z de
|
|||
|
|
dedee fd
|
|||
|
|
„Z
|
|||
|
|
deeee f dedeeee f fd „Zd ededee fd
|
|||
|
|
„Zdededefd„ZdS )ÚCustomDataLoaderz%Load custom datasets from local filesrI rK c óŒ — |j st d¦ « ‚t |j ¦ « }| ¦ « st d|› �¦ « ‚t
|
|||
|
|
d|› �¦ « |j dk r| ||¦ « }n[|j dk r| ||¦ « }n9|j dk r|
|
|||
|
|
||¦ « }nt d|j › �¦ « ‚|j r|d|j … }t
|
|||
|
|
d t |¦ « › d
|
|||
|
|
|› �¦ « |
|
|||
|
|
||¦ « }|S ) z5Load custom dataset from local file and create splitsz)Data path is required for custom datasetszData file not found: zLoading custom dataset: r ÚcsvÚjsonzUnsupported format: NzLoaded z samples from )r rÐ r ÚexistsÚFileNotFoundErrorro rp r Ú _load_jsonlÚ _load_csvÚ
|
|||
|
|
_load_jsonr rS Ú_create_splits)rœ rI Ú file_pathÚraw_datarØ s rE r� zCustomDataLoader.loadQ s] € àÔ ð JÝ Ð HÑIÔIÐ Iå˜Ô)Ñ*Ô*ˆ à× Ò Ñ!Ô!ð IÝ#Ð$G¸IÐ$GÐ$GÑHÔHÐ Hå� Š Ð:¨yÐ:Ð:Ñ;Ô;Ð;à Ô Ò (Ð (Ø×'Ò'¨ °6Ñ:Ô:ˆHˆHØ
|
|||
|
|
Ô
|
|||
|
|
5Ò
|
|||
|
|
(Ð
|
|||
|
|
(Ø—~’~ i°Ñ8Ô8ˆHˆHØ
|
|||
|
|
Ô
|
|||
|
|
6Ò
|
|||
|
|
)Ð
|
|||
|
|
)Ø—’ y°&Ñ9Ô9ˆHˆHå Ð H°FÔ4FÐ HÐ HÑIÔIÐ Ià Ô ð 5Ø Ð 3 Ô!3Ð 3Ô4ˆHå� Š ÐF�c (™mœmÐFÐF¸9ÐFÐFÑGÔGÐGð ×)Ò)¨(°FÑ;Ô;ˆ àÐrD rH c ó — t dt |¦ « › d�¦ « t |¦ « dk r1t dt |¦ « › d�¦ « |g g dœS t |¦ « }t dt |dz ¦ « ¦ « }t dt |dz ¦ « ¦ « }|d k rGd
|
|||
|
|
|_ d |_ d |_ t d |j › d
|
|||
|
|
|j › d|j › �¦ « t |t ||j z ¦ « ¦ « }t |t ||j z ¦ « ¦ « }||z
|
|||
|
|
|z
|
|||
|
|
}|dk rD|dk r |dz }|dz
|
|||
|
|
}n|dk r
|
|||
|
|
|dz }|dz
|
|||
|
|
}t d|› d
|
|||
|
|
|› d|› �¦ « t d|› d|› d|› �¦ « |dk r
|
|||
|
|
|dk r|g g dœ} nw|dk r t ||d¬¦ « \ }
|
|||
|
|
} |
|
|||
|
|
g | dœ} nU|dk r t ||d¬¦ « \ }
|
|||
|
|
} |
|
|||
|
|
| g dœ} n3t |||z d¬¦ « \ }
|
|||
|
|
}
|
|||
|
|
t |
|
|||
|
|
|d¬¦ « \ } } |
|
|||
|
|
| | dœ} t d¦ « t dt | d ¦ « › d�¦ « t dt | d ¦ « › d�¦ « t dt | d ¦ « › d�¦ « | S ) z1Create train/validation/test splits from raw datazCreating splits from rZ ri rª r« rM r[ r! r' r¬ r r® r¯ r° zBAdjusted split sizes to ensure train has at least 1 sample: train=zSplit sizes: train=z
|
|||
|
|
, validation=r r± r² zCreated splits:rµ r/ r¥ r¶ rN r· rO )
|
|||
|
|
ro rp rS rÔ rŒ r@ r r" r# r )rœ rH rI ry rà rá rß r³ rÞ rØ rÜ Ú test_dataÚval_datarã s rE r" z CustomDataLoader._create_splitsp sò € å� Š ÐBC°©I¬IÐBÐBÐBÑCÔCÐCõ ˆt‰9Œ9�qŠ=ˆ=Ý �NŠNÐ`s°4©y¬yÐ`Ð`Ð`Ñ aÔ aÐ aà Ø Øðð ð
|
|||
|
|
õ ˜D™ œ ˆ
|
|||
|
|
õ ˜1�c -°#Ñ"5Ñ 6Ô 6Ñ7Ô7ˆ ݘA�s =°3Ñ#6Ñ 7Ô 7Ñ8Ô8ˆ
|
|||
|
|
ð ˜2Ò Ð à!$ˆFÔ Ø&)ˆFÔ #Ø #ˆFÔ Ý �KŠKð aÐSYÔSeð að aÐmsô nEð að að NTô N_ð að añ
|
|||
|
|
bô
|
|||
|
|
bð
|
|||
|
|
bõ �|¥S¨ ¸Ô9PÑ)PÑ%QÔ%QÑRÔRˆÝ˜
|
|||
|
|
¥s¨=¸6Ô;LÑ+LÑ'MÔ'MÑNÔNˆ Ø" XÑ-° Ñ9ˆ
|
|||
|
|
𠘊>ˆ>à˜!Š|ˆ|ؘA‘
|
|||
|
|
�ؘa‘�
|
|||
|
|
�
|
|||
|
|
ؘQ’ � ؘQ‘� ؘa‘�
|
|||
|
|
Ý �KŠKð LÐ]gð Lð LÐowð Lð Lð AJð Lð Lñ
|
|||
|
|
Mô
|
|||
|
|
Mð
|
|||
|
|
Må� Š Ð_¨*Ð_Ð_À8Ð_Ð_ÐT]Ð_Ð_Ñ`Ô`Ð`ð �qŠ=ˆ=˜Y¨!š^˜^ð Ø Øðð ˆKˆKð
|
|||
|
|
˜Š]ˆ]å$4°TÀYÐ]_Ð$`Ñ$`Ô$`Ñ !ˆJ˜ à#Ø Ø!ðð ˆKˆKð
|
|||
|
|
˜!Š^ˆ^å#3°DÀHÐ[]Ð#^Ñ#^Ô#^Ñ ˆJ˜à#Ø &Øðð ˆKˆKõ %5ØØ" YÑ.Ø ð%ñ %ô %Ñ !ˆJ˜ õ #3ØØ#Ø ð#ñ #ô #Ñ ˆH�ið $Ø &Ø!ðð ˆKõ � Š Ð&Ñ'Ô'Ð'Ý� Š ÐC¥ K°Ô$8Ñ 9Ô 9ÐCÐCÐCÑDÔDÐDÝ� Š ÐM¥S¨°\Ô)BÑ%CÔ%CÐMÐMÐMÑNÔNÐNÝ� Š ÐA�s ;¨vÔ#6Ñ 7Ô 7ÐAÐAÐAÑBÔBÐBàÐrD r# c óˆ — g }t |d|j ¬¦ « 5 }t |d¦ « D ]~\ }}| ¦ « re | t j |¦ « ¦ « ŒB# t
|
|||
|
|
j $ r*}t d|› d|› �¦ « Y d}~Œvd}~ww xY wŒ ddd¦ « n # 1 swxY w Y |S )zLoad JSONL fileÚr©r5 r[ zInvalid JSON at line r¸ N)
|
|||
|
|
Úopenr5 rr re rl r ÚloadsÚJSONDecodeErrorro rÔ )rœ r# rI rH r Úline_numÚlineré s rE r z CustomDataLoader._load_jsonlÓ s> € àˆÝ
|
|||
|
|
�)˜S¨6¬?Ð
|
|||
|
|
;Ñ
|
|||
|
|
;Ô
|
|||
|
|
;ð P¸qÝ"+¨A¨q¡/¤/ð
|
|||
|
|
Pð
|
|||
|
|
P‘�˜$Ø—:’:‘<”<ð PðPØ Ÿ š ¥D¤J¨tÑ$4Ô$4Ñ5Ô5Ð5Ð5øÝ Ô/ð Pð Pð PÝ ŸšÐ'N¸xÐ'NÐ'NÈ1Ð'NÐ'NÑOÔOÐOÐOÐOÐOÐOÐOøøøøðPøøøðPð
|
|||
|
|
Pð Pð Pð Pñ Pô Pð Pð Pð Pð Pð Pð Pøøøð Pð Pð Pð Pð ˆ s; š*B7Á'A-Á,B7Á-B&Á< B! B7Â!B&Â&B7Â7B;Â>B;c ón — t j ||j |j ¬¦ « }| d¦ « S )z
|
|||
|
|
Load CSV file©r5 r7 Úrecords)ÚpdÚread_csvr5 r7 Úto_dict)rœ r# rI Údfs rE r zCustomDataLoader._load_csvß s/ € å
|
|||
|
|
Œ[˜¨V¬_ÈÔHXÐ
|
|||
|
|
YÑ
|
|||
|
|
YÔ
|
|||
|
|
YˆØ�zŠz˜)Ñ$Ô$Ð$rD c óþ — t |d|j ¬¦ « 5 }t j |¦ « }ddd¦ « n # 1 swxY w Y t |t
|
|||
|
|
¦ « r|S t |t ¦ « r d|v r|d S |gS )zLoad JSON filer) r* NrH )r+ r5 r r� rs rÑ Údict)rœ r# rI r rH s rE r! zCustomDataLoader._load_jsonä s¼ € å
|