Ad
Untitled
unknown
python
a year ago
19 kB
3
Indexable
Never
ubuntu@fintech1-test6:/opt/ploomber_csm/ploomber_csm$ ploomber plot -i
Loading pipeline...
There's a new Ploomber version available (0.21.1), you're running 0.19. To upgrade: pip install ploomber --upgrade
Plot saved at: pipeline.png
ubuntu@fintech1-test6:/opt/ploomber_csm/ploomber_csm$ ploomber build
Loading pipeline...
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Executing: 0%| | 0/11 [00:00<?, ?cell/s]
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Executing: 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 4/8 [00:40<00:31, 7.81s/cell]
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Finished tasks so far:
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_bad_debt_blacklist', 'prepare_plan_summary', 'prepare_date_predictors', 'prepare_billing_and_payment', 'prepare_predictors_all', 'log_reg_train', 'prepare_data_usage', 'prepare_township_relation', 'log_reg_classify'}
Finished 0 out of 10 tasks
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 12/12 [01:29<00:00, 7.44s/cell]
Executing: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 9/9 [00:02<00:00, 3.12cell/s]
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [01:35<00:00, 8.65s/cell]
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing: 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 5/8 [01:39<01:05, 21.96s/cell]
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing: 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 5/8 [01:39<01:05, 21.96s/cell]
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing: 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 7/8 [01:58<00:16, 16.51s/cell]Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'prepare_billing_and_payment', 'log_reg_train', 'log_reg_classify'}
Finished 3 out of 10 tasks
Executing: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [02:03<00:00, 15.49s/cell]
Executing: 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/37 [00:06<00:04, 4.44cell/s]Finished tasks so far: {'prepare_data_usage', 'prepare_plan_summary', 'prepare_township_relation', 'prepare_billing_and_payment'}
Remaining tasks: {'prepare_monthly_recurring_charge', 'prepare_date_predictors', 'prepare_bad_debt_blacklist', 'prepare_predictors_all', 'log_reg_train', 'log_reg_classify'}
Finished 4 out of 10 tasks
Executing: 49%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 18/37 [00:07<00:07, 2.50cell/s]
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:11<00:00, 2.35cell/s]
Executing: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [01:44<00:00, 6.95s/cell]
====================================================================================================================================================== DAG build failed ======================================================================================================================================================
----------------------------------------------------------------------------------------- NotebookRunner: prepare_bad_debt_blacklist -> MetaProduct({'data': File('product...acklist.parq'), 'nb': File('product...cklist.ipynb')}) ------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------ /opt/ploomber_csm/ploomber_csm/src/prepare/bad_debt_blacklist.py ------------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------
Exception encountered at "In [12]":
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
/tmp/ipykernel_17336/1940288226.py in <cell line: 3>()
1 bl_hist_df = plan_summary_df[['customer_id', 'is_blacklist']].copy()
2
----> 3 bl_hist_df['is_blacklist'] = bl_hist_df.apply(
4 lambda row: _blacklist_counter(row['is_blacklist']), axis=1
5 )
~/.pyenv/versions/3.9.12/lib/python3.9/site-packages/pandas/core/frame.py in __setitem__(self, key, value)
3643 self._setitem_array(key, value)
3644 elif isinstance(value, DataFrame):
-> 3645 self._set_item_frame_value(key, value)
3646 elif (
3647 is_list_like(value)
~/.pyenv/versions/3.9.12/lib/python3.9/site-packages/pandas/core/frame.py in _set_item_frame_value(self, key, value)
3773 len_cols = 1 if is_scalar(cols) else len(cols)
3774 if len_cols != len(value.columns):
-> 3775 raise ValueError("Columns must be same length as key")
3776
3777 # align right-hand-side columns if self.columns
ValueError: Columns must be same length as key
ploomber.exceptions.TaskBuildError: Error when executing task 'prepare_bad_debt_blacklist'. Partially executed notebook available at /opt/ploomber_csm/ploomber_csm/product/dev/prepare/bad_debt_blacklist.ipynb
ploomber.exceptions.TaskBuildError: Error building task "prepare_bad_debt_blacklist"
====================================================================================================================================================== Summary (1 task) ======================================================================================================================================================
NotebookRunner: prepare_bad_debt_blacklist -> MetaProduct({'data': File('product...acklist.parq'), 'nb': File('product...cklist.ipynb')})
====================================================================================================================================================== DAG build failed ======================================================================================================================================================
Need help? https://ploomber.io/community
Ad