-
Notifications
You must be signed in to change notification settings - Fork 13
[Fix] colab_docs #1454
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
base: main
Are you sure you want to change the base?
[Fix] colab_docs #1454
Conversation
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@tricktx tem algumas correções para você fazer.
Outro ponto: tem os arquivos em espanhol e inglês
| >***Você pode navegar pelas etapas no menu à esquerda.*** | ||
| > | ||
| > Sugerimos fortemente que entre em nosso [canal no Discord](https://discord.gg/huKWpsVYx4) para tirar dúvidas e interagir com a equipe e outros(as) colaboradores(as)! 😉 | ||
| </Tip> |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Aqui você deve abrir a tag <Tip>
| >***Você pode navegar pelas etapas no menu à esquerda.*** | |
| > | |
| > Sugerimos fortemente que entre em nosso [canal no Discord](https://discord.gg/huKWpsVYx4) para tirar dúvidas e interagir com a equipe e outros(as) colaboradores(as)! 😉 | |
| </Tip> | |
| <Tip> | |
| >***Você pode navegar pelas etapas no menu à esquerda.*** | |
| > | |
| > Sugerimos fortemente que entre em nosso [canal no Discord](https://discord.gg/huKWpsVYx4) para tirar dúvidas e interagir com a equipe e outros(as) colaboradores(as)! 😉 | |
| </Tip> |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
o não estava retornando quando eu visualizava no markdown. Mas depois já entendi o que aconteceu, vou ajustar.
| *Maravilha!* Organizamos tudo o que você precisa no manual abaixo em 8 passos | ||
|
|
||
| Para facilitar a explicação, vamos seguir um exemplo já pronto com dados da [RAIS](https://basedosdados.org/dataset/br-me-rais). | ||
| Para facilitar a explicação, vamos seguir um exemplo já pronto com dados da [RAIS](https://basedosdados.org/dataset/3e7c4d58-96ba-448e-b053-d385a829ef00?table=86b69f96-0bfe-45da-833b-6edc9a0af213). |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Os links apontando para BD deve ser relativo `
| Para facilitar a explicação, vamos seguir um exemplo já pronto com dados da [RAIS](https://basedosdados.org/dataset/3e7c4d58-96ba-448e-b053-d385a829ef00?table=86b69f96-0bfe-45da-833b-6edc9a0af213). | |
| Para facilitar a explicação, vamos seguir um exemplo já pronto com dados da [RAIS](/dataset/3e7c4d58-96ba-448e-b053-d385a829ef00?table=86b69f96-0bfe-45da-833b-6edc9a0af213). |
| @@ -142,7 +143,7 @@ Após validadas as tabelas de arquitetura, podemos escrever os códigos de | |||
| Cada tabela limpa para produção pode ser salva como um arquivo único ou, caso seja muito grande (e.g. acima de 200 mb), ser particionada no formato [Hive](https://cloud.google.com/bigquery/docs/hive-partitioned-loads-gcs) em vários sub-arquivos. Os formatos aceitos são `.csv` ou `.parquet`. Nossa recomendação é particionar tabelas por `ano`, `mes` e `sigla_uf`. O particionamento é feito através da estrutura de pastas, veja o exemplo a baixo para visualizar como. | |||
|
|
|||
| #### Exemplo: RAIS - Particionamento | |||
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Adiciona uma linha entre o cabeção # e o paragrafo
|
|
||
| ### Materializando o modelo no BigQuery | ||
|
|
||
| Materializa um único modelo pelo nome em basedosdados-dev consumindo os dados de basedosdados-dev.{table_id}_staging |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Você precisa adiconar um escape quando tiver {something} porque esse arquivo é uma extensão do markdown, mdx.
| Materializa um único modelo pelo nome em basedosdados-dev consumindo os dados de basedosdados-dev.{table_id}_staging | |
| Materializa um único modelo pelo nome em basedosdados-dev consumindo os dados de basedosdados-dev.\{table_id\}_staging |
| dbt run --select dataset_id__table_id | ||
| ``` | ||
|
|
||
| Materializa todos os modelos em uma pasta em basedosdados-dev consumindo os dados de basedosdados-dev.{table_id}_staging |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Mesmo aqui
| dbt run --select model.dateset_id.dateset_id__table_id | ||
| ``` | ||
|
|
||
| Materializa todos os modelos no caminho em basedosdados-dev consumindo os dados de basedosdados-dev.{table_id}_staging |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Mesmo aqui
| dbt run --select models/dataset_id | ||
| ``` | ||
|
|
||
| Materializa um único modelo pelo caminho do arquivo sql em basedosdados-dev consumindo os dados de basedosdados-dev.{table_id}_staging |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Mesmo aqui
| ```python | ||
| from databasers_utils import TableArchitecture | ||
|
|
||
| arch = TableArchitecture( | ||
| dataset_id="<dataset-id>", | ||
| tables={ | ||
| "<table-id>": "URL da arquiterura do Google Sheet", # Exemplo https://docs.google.com/spreadsheets/d/1K1svie4Gyqe6NnRjBgJbapU5sTsLqXWTQUmTRVIRwQc/edit?usp=drive_link | ||
| }, | ||
| ) | ||
|
|
||
| # Cria o yaml file | ||
| arch.create_yaml_file() | ||
|
|
||
| Consulte também nossa [API](../api_reference_cli) para mais detalhes de cada método. | ||
| # Cria os arquivos sql | ||
| arch.create_sql_files() | ||
|
|
||
| **7.4** Crie os arquivos .sql e schema.yml a partir da tabela de arquitetura seguindo essa [documentação](https://github.com/basedosdados/pipelines/wiki/Fun%C3%A7%C3%A3o-%60create_yaml_file()%60) | ||
| <Tip caption="Caso você precise, nesse momento você pode alterar a consulta em SQL para realizar tratamentos finais a partir da tabela `staging`, pode incluir coluna, remover coluna, fazer operações algébricas, substituir strings, etc. O SQL é o limite!"/> | ||
| # Atualiza o dbt_project.yml | ||
| arch.update_dbt_project() | ||
|
|
||
| **7.5** Rode e teste os modelos localmente seguindo essa [documentação](https://github.com/basedosdados/pipelines/wiki/Testar-modelos-dbt-localmente) | ||
| ``` |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Remove a indentação porque isso é um erro de sintaxe no python
| ```python | ||
| import basedosdados as bd | ||
|
|
||
| tb = bd.Table( | ||
| dataset_id='<dataset_id>', | ||
| table_id='<table_id>') | ||
| DATASET_ID = "dataset_id" # Nome do dataset | ||
| TABLE_ID = "table_id" # Nome da tabela | ||
|
|
||
| tb = bd.Table(dataset_id=DATASET_ID, table_id=TABLE_ID) | ||
| ``` | ||
|
|
||
|
|
||
| ```python | ||
| tb.create( | ||
| path='<caminho_para_os_dados>', | ||
| if_table_exists='raise', | ||
| if_storage_data_exists='raise', | ||
| path=path_to_data, # Caminho para o arquivo csv ou parquet | ||
| if_storage_data_exists="raise", | ||
| if_table_exists="replace", | ||
| source_format="csv", | ||
| ) | ||
| ``` | ||
| ``` |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Remover a indentação
No description provided.