Untitled

 avatar
unknown
python
2 years ago
19 kB
5
Indexable
ubuntu@fintech1-test6:/opt/ploomber_csm/ploomber_csm$ ploomber plot -i
Loading pipeline...
There's a new Ploomber version available (0.21.1), you're running 0.19. To upgrade: pip install ploomber --upgrade
Plot saved at: pipeline.png
ubuntu@fintech1-test6:/opt/ploomber_csm/ploomber_csm$ ploomber build
Loading pipeline...
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Executing:   0%|                                                                                                                                                                                                                                                                                     | 0/11 [00:00<?, ?cell/s]
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Executing:  50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 4/8 [00:40<00:31,  7.81s/cell]
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 12/12 [01:29<00:00,  7.44s/cell]
Executing: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:02<00:00,  3.12cell/s]
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [01:35<00:00,  8.65s/cell]
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing:  62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                     | 5/8 [01:39<01:05, 21.96s/cell]
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing:  62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                     | 5/8 [01:39<01:05, 21.96s/cell]
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                 | 7/8 [01:58<00:16, 16.51s/cell]Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [02:03<00:00, 15.49s/cell]
Executing:  46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                | 17/37 [00:06<00:04,  4.44cell/s]Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation', 'prepare_billing_and_payment'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'log_reg_train', 'log_reg_classify'}
Finished 4 out of 10 tasks
Executing:  49%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                         | 18/37 [00:07<00:07,  2.50cell/s]
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:11<00:00,  2.35cell/s]
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [01:44<00:00,  6.95s/cell]

====================================================================================================================================================== DAG build failed ======================================================================================================================================================
----------------------------------------------------------------------------------------- NotebookRunner: prepare_bad_debt_blacklist -> MetaProduct({'data': File('product...acklist.parq'), 'nb': File('product...cklist.ipynb')}) ------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------ /opt/ploomber_csm/ploomber_csm/src/prepare/bad_debt_blacklist.py ------------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------
Exception encountered at "In [12]":
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
/tmp/ipykernel_17336/1940288226.py in <cell line: 3>()
      1 bl_hist_df = plan_summary_df[['customer_id', 'is_blacklist']].copy()
      2
----> 3 bl_hist_df['is_blacklist'] = bl_hist_df.apply(
      4     lambda row: _blacklist_counter(row['is_blacklist']), axis=1
      5 )

~/.pyenv/versions/3.9.12/lib/python3.9/site-packages/pandas/core/frame.py in __setitem__(self, key, value)
   3643             self._setitem_array(key, value)   
   3644         elif isinstance(value, DataFrame):
-> 3645             self._set_item_frame_value(key, value)
   3646         elif (
   3647             is_list_like(value)

~/.pyenv/versions/3.9.12/lib/python3.9/site-packages/pandas/core/frame.py in _set_item_frame_value(self, key, value)
   3773             len_cols = 1 if is_scalar(cols) else len(cols)
   3774             if len_cols != len(value.columns):
-> 3775                 raise ValueError("Columns must be same length as key")
   3776
   3777             # align right-hand-side columns if self.columns

ValueError: Columns must be same length as key

ploomber.exceptions.TaskBuildError: Error when executing task 'prepare_bad_debt_blacklist'. Partially executed notebook available at /opt/ploomber_csm/ploomber_csm/product/dev/prepare/bad_debt_blacklist.ipynb
ploomber.exceptions.TaskBuildError: Error building task "prepare_bad_debt_blacklist"
====================================================================================================================================================== Summary (1 task) ======================================================================================================================================================
NotebookRunner: prepare_bad_debt_blacklist -> MetaProduct({'data': File('product...acklist.parq'), 'nb': File('product...cklist.ipynb')})
====================================================================================================================================================== DAG build failed ======================================================================================================================================================

Need help? https://ploomber.io/community