Análise do trade trade off


INCOSE International SymposiumVolume 24, edição 1, versão do registro on-line: 31 de outubro de 2018.


Opções para acessar esse conteúdo:


Se você é um membro da sociedade ou da associação e precisa de assistência para obter instruções de acesso on-line, entre em contato com nossa equipe de Atendimento ao Cliente da Revista.


wiley. force / Interface / ContactJournalCustomerServices_V2. Faça o login através de outras opções de login institucional onlinelibrary. wiley / login-options. Você pode comprar o acesso on-line a este artigo por um período de 24 horas (o preço varia de acordo com o título) Se você já possui uma conta de usuário Wiley Online ou Wiley InterScience: faça o login acima e adquira o artigo. Novos usuários: inscreva-se e proceda para comprar o artigo.


Procure o nome da sua instituição abaixo para fazer o login via Shibboleth.


Análise de sistema.


A análise do sistema permite aos desenvolvedores realizar objetivamente avaliações quantitativas de sistemas para selecionar e / ou atualizar a arquitetura do sistema mais eficiente e gerar dados de engenharia derivados. Durante a engenharia, as avaliações devem ser realizadas sempre que escolhas técnicas ou decisões são tomadas para determinar a conformidade com os requisitos do sistema.


A análise do sistema fornece uma abordagem rigorosa para a tomada de decisões técnicas. Ele é usado para realizar estudos de trade-off, e inclui modelagem e simulação, análise de custos, análise de riscos técnicos e análise de eficácia.


Princípios que regem a análise do sistema.


Uma das principais tarefas de um engenheiro de sistemas é avaliar os dados e artefatos de engenharia criados durante o processo de engenharia de sistemas (SE). As avaliações estão no centro da análise do sistema, fornecendo meios e técnicas.


definir critérios de avaliação com base nos requisitos do sistema; avaliar as propriedades de projeto de cada solução candidata em comparação com esses critérios; para marcar globalmente as soluções candidatas e para justificar as pontuações; e decidir sobre a (s) solução (s) apropriada (s).


O artigo Análise e Seleção entre Soluções Alternativas na área de conhecimento Aplicada aos Sistemas de Engenharia (KA) da Parte 2 descreve atividades relacionadas à seleção de possíveis soluções de sistema para um problema ou oportunidade identificada. Os seguintes princípios gerais de análise de sistemas são definidos:


A análise de sistemas baseia-se em critérios de avaliação baseados em uma descrição do sistema de problema ou oportunidade. Esses critérios basear-se-ão em torno de uma descrição ideal do sistema, o que pressupõe que um contexto do problema do sistema rígido possa ser definido. Os critérios devem considerar o comportamento e as propriedades do sistema necessários na solução completa, em todos os contextos e ambientes possíveis do sistema. Estes devem considerar problemas não funcionais, como segurança do sistema, segurança, etc. (consulte Engenharia de sistemas e Engenharia de especialidades para discussão adicional sobre a incorporação de elementos não funcionais). Essa descrição do sistema "ideal" pode ser suportada por descrições de sistemas suaves, de que critérios adicionais "soft" podem ser definidos. Por exemplo, uma preferência de partes interessadas em relação a determinados tipos de soluções, convenções sociais, políticas ou culturais relevantes a serem consideradas, etc. Os critérios de avaliação devem incluir, no mínimo, as restrições às escalas de custo e tempo aceitáveis ​​para as partes interessadas. Os estudos de comércio fornecem um mecanismo para a realização de análises de soluções alternativas. Um estudo de comércio deve considerar um conjunto de critérios de avaliação, com consciência adequada das limitações e dependências entre os critérios individuais. Os estudos de comércio precisam lidar com critérios objetivos e subjetivos. Deve-se ter cuidado para avaliar a sensibilidade da avaliação geral a critérios específicos.


Estudos de trade-off.


No contexto da definição de um sistema, um estudo de trade-off consiste em comparar as características de cada elemento do sistema e de cada arquitetura do sistema candidato para determinar a solução que melhor equilibra globalmente os critérios de avaliação. As várias características analisadas são coletadas em análise de custos, análise de riscos técnicos e análise de eficácia (NASA 2007).


As orientações sobre a realização de estudos de comércio para todos os tipos de contexto do sistema são caracterizadas nos princípios acima e descritas em mais detalhes no tópico Análise e Seleção entre Soluções Alternativas. De particular interesse para a análise SE são a eficácia técnica, o custo e a análise técnica de risco.


Análise de Eficácia.


A eficácia de uma solução de sistema de engenharia inclui várias características essenciais que geralmente são coletadas na seguinte lista de análises, incluindo (mas não limitado a): desempenho, usabilidade, confiabilidade, fabricação, manutenção ou suporte, ambiente, etc. Essas análises destacam o candidato soluções sob vários aspectos.


É essencial estabelecer uma classificação que limita o número de análises aos aspectos realmente significativos, como os principais parâmetros de desempenho. As principais dificuldades da análise de eficácia são classificar e selecionar o conjunto certo de aspectos de eficácia; por exemplo, se o produto for feito para um único uso, a manutenção não será um critério relevante.


Análise de custos.


Uma análise de custos considera os custos do ciclo de vida completo. Uma linha de base de custo pode ser adaptada de acordo com o projeto e o sistema. O custo do ciclo de vida global (LCC), ou o custo de propriedade total (TOC), podem incluir itens de mão-de-obra e itens não laborais exemplares, como os indicados na Tabela 1.


Os métodos para determinar o custo são descritos no tópico Planejamento.


Análise de Riscos Técnicos.


Toda análise de risco em relação a cada domínio é baseada em três fatores:


Análise de ameaças potenciais ou eventos indesejáveis ​​e sua probabilidade de ocorrência. Análise das consequências dessas ameaças ou eventos indesejáveis ​​e sua classificação em escala de gravidade. Mitigação para reduzir as probabilidades de ameaças e / ou os níveis de efeito prejudicial para valores aceitáveis.


Os riscos técnicos aparecem quando o sistema não pode satisfazer os requisitos do sistema por mais tempo. As causas residem nos requisitos e / ou na própria solução. Eles são expressos sob a forma de eficácia insuficiente e podem ter múltiplas causas: avaliação incorreta das capacidades tecnológicas; superestimação da maturidade técnica de um elemento do sistema; falha de peças; separação; ruptura, obsolescência de equipamentos, peças ou software, fraqueza do fornecedor (peças não conformes, atraso no fornecimento, etc.), fatores humanos (treinamento insuficiente, ajustes incorretos, manipulação de erros, procedimentos inadequados, malícia), etc.


Os riscos técnicos não devem ser confundidos com os riscos do projeto, mesmo que o método para gerenciá-los seja o mesmo. Embora os riscos técnicos possam levar a riscos do projeto, os riscos técnicos abordam o próprio sistema, e não o processo para seu desenvolvimento. (Consulte Gestão de Riscos para mais detalhes.)


Processo de abordagem.


Objetivo e Princípios da Abordagem.


O processo de análise do sistema é usado para: (1) fornecer uma base rigorosa para tomada de decisão técnica, resolução de conflitos de requisitos e avaliação de soluções físicas alternativas (elementos do sistema e arquiteturas físicas); (2) determinar o progresso na satisfação dos requisitos do sistema e dos requisitos derivados; (3) apoiar o gerenciamento de riscos; e (4) garantir que as decisões sejam tomadas somente depois de avaliar o custo, o cronograma, o desempenho e os efeitos de risco na engenharia ou na reengenharia de um sistema (ANSI / EIA 1998). Este processo também é chamado de processo de análise de decisão pela NASA (2007, 1-360) e é usado para ajudar a avaliar questões técnicas, alternativas e suas incertezas para apoiar a tomada de decisões. (Consulte Gerenciamento de Decisão para obter mais detalhes.)


A análise do sistema suporta outros processos de definição do sistema:


A definição dos requisitos das partes interessadas e os processos de definição dos requisitos do sistema usam a análise do sistema para resolver problemas relacionados a conflitos entre o conjunto de requisitos; em particular, relacionadas aos custos, riscos técnicos e eficácia (desempenhos, condições operacionais e restrições). Os requisitos do sistema sujeitos a riscos elevados, ou aqueles que exigem arquiteturas diferentes, são discutidos. Os processos de desenvolvimento de modelos de arquitetura lógica e desenvolvimento de modelos de arquitetura física usam-na para avaliar características ou propriedades de projeto de arquiteturas lógicas e físicas candidatas, fornecendo argumentos para selecionar o mais eficiente em termos de custos, riscos técnicos e eficácia (por exemplo, performances, confiabilidade , fatores humanos, etc.).


Como qualquer processo de definição do sistema, o processo de análise do sistema é iterativo. Cada operação é realizada várias vezes; cada passo melhora a precisão da análise.


Atividades do Processo.


Principais atividades e tarefas realizadas dentro desse processo incluem.


Planejando os estudos de trade-off: determine o número de soluções candidatas a analisar, os métodos e procedimentos a serem utilizados, os resultados esperados (exemplos de objetos a serem selecionados: arquitetura / cenário comportamental, arquitetura física, elemento do sistema, etc.) e os itens de justificação. Agende as análises de acordo com a disponibilidade de modelos, dados de engenharia (requisitos do sistema, propriedades de projeto), pessoal qualificado e procedimentos. Definir o modelo de critérios de seleção: Selecione os critérios de avaliação de requisitos não funcionais (desempenhos, condições operacionais, restrições, etc.) e / ou de propriedades de projeto. Classifique e ordene os critérios de avaliação. Estabeleça uma escala de comparação para cada critério de avaliação e pesa todos os critérios de avaliação de acordo com seu nível de importância relativa com os outros. Identifique soluções candidatas, modelos relacionados e dados. Avalie soluções candidatas usando métodos ou procedimentos previamente definidos: Execute análise de custos, análise de riscos técnicos e análise de efetividade colocando cada solução candidata em cada escala de comparação de critérios de avaliação. Marque cada solução candidata como uma pontuação de avaliação. Fornecer resultados ao processo de chamada: critérios de avaliação, escalas de comparação, pontuação das soluções, seleção de avaliação e possivelmente recomendações e argumentos relacionados.


Artefatos e elementos de Ontologia.


Este processo pode criar vários artefatos, como.


Um modelo de critérios de seleção (lista, escalas, pesagem) Relatórios de custos, riscos e análise de eficácia Relatórios de justificação.


Este processo lida com os elementos da ontologia da Tabela 2 na análise do sistema.


Identificador; nome; descrição; peso relativo; peso escalar.


Identificador; nome; descrição; valor.


Identificador; nome; descrição; montante; tipo (desenvolvimento, produção, utilização, manutenção, eliminação); intervalo de confiança; período de referência; técnica de estimativa.


Identificador; descrição do nome; status.


Verificar a correção da análise do sistema.


Os principais itens a serem verificados dentro da análise do sistema para obter argumentos validados são.


Relevância dos modelos e dados no contexto do uso do sistema, Relevância dos critérios de avaliação relacionados ao contexto de uso do sistema, Reprodutibilidade de resultados de simulação e de cálculos, Escala de precisão de comparações, Confirmação de estimativas e Sensibilidade das pontuações das soluções relacionadas aos pesos dos critérios de avaliação.


Veja Ring, Eisner e Maier (2018) para uma perspectiva adicional.


Métodos e técnicas de modelagem.


Uso geral de modelos: vários tipos de modelos podem ser usados ​​no contexto da análise do sistema: os modelos físicos são modelos em escala que permitem a simulação de fenômenos físicos. Eles são específicos para cada disciplina; As ferramentas associadas incluem maquetes, tabelas de vibração, bancos de teste, protótipos, câmara de descompressão, túneis de vento, etc. Os modelos de representação são usados ​​principalmente para simular o comportamento de um sistema. Por exemplo, diagramas de blocos de fluxo funcional aprimorados (eFFBDs), diagramas de estados, diagramas de máquinas de estados (baseados em linguagem de modelagem de sistemas (SysML)), etc. Os modelos analíticos são usados ​​principalmente para estabelecer valores de estimativas. Podemos considerar os modelos determinísticos e os modelos probabilísticos (também conhecidos como modelos estocásticos) para serem de natureza analítica. Modelos analíticos usam equações ou diagramas para se aproximar do funcionamento real do sistema. Eles podem ser muito simples (adição) a incrivelmente complicado (distribuição probabilística com várias variáveis). Use os modelos certos dependendo do progresso do projeto No início do projeto, os primeiros estudos usam ferramentas simples, permitindo aproximações aproximadas que têm a vantagem de não exigir muito tempo e esforço. Essas aproximações são muitas vezes suficientes para eliminar soluções de candidatos não realistas ou extrovertidos. Progressivamente com o progresso do projeto, é necessário melhorar a precisão dos dados para comparar as soluções candidatas ainda concorrentes. O trabalho é mais complicado se o nível de inovação for alto. Um engenheiro de sistemas sozinho não pode modelar um sistema complexo; ele deve ser apoiado por pessoas habilitadas de diferentes disciplinas envolvidas. Especialização especializada: quando os valores dos critérios de avaliação não podem ser dados de forma objetiva ou precisa, ou porque o aspecto subjetivo é dominante, podemos pedir aos especialistas especialistas. As estimativas procedem em quatro etapas: selecione os entrevistados para coletar a opinião de pessoas qualificadas para o campo considerado. Elaborar um questionário; um questionário preciso permite uma análise fácil, mas um questionário que está muito fechado corre o risco de negação de pontos significativos. Entreviste um número limitado de especialistas com o questionário, incluindo uma discussão aprofundada para obter opiniões precisas. Analise os dados com várias pessoas diferentes e compare suas impressões até chegar um acordo sobre uma classificação de critérios de avaliação e / ou soluções candidatas.


Os modelos analíticos frequentemente utilizados no contexto da análise do sistema estão resumidos na Tabela 3.


Os modelos que contêm estatísticas estão incluídos nesta categoria. O princípio consiste em estabelecer um modelo baseado em uma quantidade significativa de dados e número de resultados de projetos anteriores; eles podem se candidatar apenas a elementos / componentes do sistema cuja tecnologia já existe. Modelos por analogia também usam projetos anteriores. O elemento do sistema em estudo é comparado com um elemento de sistema já existente com características conhecidas (custo, confiabilidade, etc.). Então, essas características são ajustadas com base na experiência dos especialistas. As curvas de aprendizagem permitem prever a evolução de uma característica ou de uma tecnologia. Um exemplo de evolução: "Cada vez que o número de unidades produzidas é multiplicado por dois, o custo desta unidade é reduzido com uma determinada porcentagem, geralmente constante".


Considerações práticas.


As principais armadilhas e boas práticas relacionadas à análise do sistema são descritas nas próximas duas seções.


Algumas das principais dificuldades encontradas no planejamento e na análise do sistema são fornecidas na Tabela 4.


Práticas comprovadas.


Algumas das práticas comprovadas retiradas das referências são fornecidas na Tabela 5.


Referências.


Trabalhos citados.


ANSI / EIA. 1998. Processos para engenharia de um sistema. Filadélfia, PA, EUA: American National Standards Institute (ANSI) / Electronic Industries Association (EIA), ANSI / EIA-632-1998.


NASA. 2007. Manual de Engenharia de Sistemas. Washington, D. C .: Administração Nacional de Aeronáutica e do Espaço (NASA), NASA / SP-2007-6105.


Ring, J, H. Eisner e M. Maier. 2018. "Questões-chave da engenharia de sistemas, Parte 3: provando seu projeto". INCOSE Insight 13 (2).


Referências primárias.


ANSI / EIA. 1998. Processos para engenharia de um sistema. Filadélfia, PA, EUA: American National Standards Institute (ANSI) / Electronic Industries Association (EIA), ANSI / EIA 632-1998.


Blanchard, B. S., e W. J. Fabrycky. 2018. Engenharia e Análise de Sistemas, 5ª ed. Série Internacional Prentice-Hall em Engenharia Industrial e de Sistemas. Englewood Cliffs, NJ, EUA: Prentice-Hall.


NASA. 2007. Manual de Engenharia de Sistemas. Washington, DC, EUA: Administração Nacional de Aeronáutica e do Espaço (NASA), NASA / SP-2007-6105.


Referências adicionais.


Ring, J, H. Eisner e M. Maier. 2018. "Questões-chave da engenharia de sistemas, Parte 3: provando seu projeto". INCOSE Insight. 13 (2).


Discussão do SEBoK.


Forneça seus comentários e comentários sobre o SEBoK abaixo. Você precisará fazer login no DISQUS usando uma conta existente (por exemplo, Yahoo, Google, Facebook, Twitter, etc.) ou criar uma conta DISQUS. Basta digitar seu comentário no campo de texto abaixo e DISQUS irá guiá-lo através das etapas de login ou registro. O feedback será arquivado e usado para futuras atualizações do SEBoK. Se você forneceu um comentário que não está mais listado, esse comentário foi julgado. Você pode ver a adjudicação para comentários enviados antes do SEBoK v. 1.0 na Revisão e Adjudicação do SEBoK. Os comentários posteriores são abordados e as alterações são resumidas na Carta do Editor e Reconhecimentos e Histórico de Liberação.


Se você gostaria de fornecer edições neste artigo, recomendar novos conteúdos ou fazer comentários sobre o SEBoK como um todo, consulte o SEBoK Sandbox.


Como: concluir uma análise de compensação.


Existem muitas abordagens para completar uma análise formal dos trade-offs. Esta publicação resumirá dois.


As decisões importantes incluem fatores múltiplos, às vezes concorrentes. Um trade-off é a desistência de uma coisa em troca de outra. Apenas cada decisão complexa exige que você aceite ter menos de uma coisa para obter mais de outra coisa.


Ferramenta de trade-off de Ben Franklin.


A ferramenta de trade off de Ben Franklin fornece uma maneira simples e intuitiva de pesar trade-offs. Crie duas colunas verticais, uma com a etiqueta & # 8220; Pros & # 8221; e um & # 8220; Cons. & # 8221; Faça um brainstorming nas duas listas. Em seguida, emparelhe um item ou itens de cada lista com um item ou itens de igual peso da outra lista. Essas combinações de prós e contras, igualmente ponderadas, se cancelam mutuamente. No gráfico de amostra, os profissionais superam os contras na algebra de compensação e # 8220; Não há necessidade de uma ferramenta mais sofisticada para tomar a decisão. A metodologia poderia ser ensinada a uma criança pequena.


Visualizando trades em uma matriz de decisão.


A beleza de uma matriz de decisão é que você pode gerenciar facilmente a análise de compensação porque você pode ver onde os trade-offs são.


Um post anterior de três partes descreveu como completar uma análise multi-critérios. A Parte 3 ilustrou como construir uma matriz de decisão usando o exemplo do processo de seleção da faculdade.


A matriz acima mostra os resultados finais da avaliação de três colégios contra um conjunto de critérios ponderados. As células com a borda vermelha representam a pontuação mais alta em cada critério. O & # 8220; Benefício total & # 8221; é a soma das pontuações ponderadas. Como você pode ver, a matriz ajuda a esclarecer os compromissos específicos da decisão por critério individual.


Esses resultados podem levar uma família a decidir selecionar Siracusa porque tem o maior valor de benefício total e as pontuações mais altas em três critérios: Distância, Clubes e Alimentos. No entanto, os trade-offs também são claros. Delaware é superior em dois critérios: vida social e instalações. Templo, em um: Major. O quadro de decisão cria clareza: ao selecionar Siracusa, a família consegue o maior benefício total, mas renuncia a Instalações, Vida Social e Major superiores.


O desafio de qualquer decisão complexa é como esclarecer, gerenciar e avaliar os compromissos. A ferramenta de trade-off de Ben Franklin e uma matriz de decisão completam a tarefa de diferentes maneiras. Como você gerencia negócios em sua tomada de decisão?


Compartilhe esta publicação:


Como o que você está lendo? Inscreva-se agora!


Contate-Nos.


BLOG: SUBSCREVA HOJE!


Blog: publicações recentes.


A decisão é a virtude da vontade.


Joan Didion sobre o auto-respeito.


Os smartphones são a maior ameaça à educação K-12?


O Google identifica os cinco traços de equipes de alto desempenho.


Liderança escolar na era de Trump.


Blog: todas as postagens.


Tweets recentes.


O respeito pela dignidade dada por Deus a cada ser humano, independentemente da sua raça, etnia ou outras circunstâncias de seu nascimento, é a essência do patriotismo americano. Acreditar de outra forma é opor-se à própria ideia da América.


Decisões de compensação no design do sistema.


Compre este livro.


ISBN 978-3-319-43710-1 Envio gratuito para pessoas em todo o mundo Normalmente despachado dentro de 3 a 5 dias úteis.


Este livro é cerca de três aspectos principais do design do sistema: tomada de decisões sob incerteza, estudos de trade-off e análises de risco formal. Reconhecendo que o tratamento matemático desses tópicos é semelhante, os autores generalizam técnicas matemáticas existentes para cobrir as três áreas. Os pontos comuns a estes tópicos são pesos importantes, combinando funções, funções de pontuação, métricas quantitativas, priorização e análises de sensibilidade. Além disso, atividades e problemas de tomada de decisão humana usam essas mesmas ferramentas. Portanto, esses problemas também são tratados uniformemente e modelados usando a teoria da perspectiva. Dirigido a profissionais de engenharia e negócios e estudantes interessados ​​em engenharia de sistemas, análise de risco, gerenciamento operacional e modelagem de processos de negócios, as Decisões Tradeoff no Design do Sistema explicam como os humanos podem superar os vícios cognitivos e evitar erros mentais ao realizar estudos de trade-off e análises de risco. em uma ampla gama de domínios. Com o uso generoso de exemplos como um fio comum nos capítulos deste livro.


"Este livro fornece um excelente roteiro para projetar e produzir produtos competitivos. "


O Dr. Terry Bahill é Professor Emérito de Sistemas e Engenharia Industrial da Universidade do Arizona, Tucson e autor de seis livros de engenharia e 250 artigos. Dr. Bahill trabalhou com dezenas de empresas técnicas apresentando seminários sobre engenharia de sistemas e assessorando equipes de desenvolvimento de sistemas na descrição de seus processos de engenharia de sistemas. Um membro escolhido do IEEE, o Conselho Internacional de Engenharia de Sistemas (INCOSE) e do AAAS, seus interesses de pesquisa estão nos campos de design de sistemas, sistemas fisiológicos de modelagem, coordenação de mão-mão, tomada de decisão humana e engenharia de sistemas. Aplicação e teoria.


O Dr. Azad M. Madni é Professor de Engenharia Astronáutica e Diretor Técnico de Arquitetura e Engenharia de Sistemas da Universidade do Sul da Califórnia. Ele é o fundador e presidente da Intelligent Systems Technology, Inc., uma empresa especializada em simulações educacionais, métodos, processos e ferramentas baseados em jogos para engenharia de sistemas complexos. Um membro escolhido do AAAS, do Instituto Americano de Aeronáutica e Astronáutica, do IEEE e do Conselho Internacional de Engenharia de Sistemas (INCOSE), seus prêmios recentes incluem o Prêmio Lifetime Achievement 2018 da INCOSE-LA e o Prêmio Inovação Curriculum 2018 de o Instituto de engenheiros industriais. Os seus interesses de pesquisa incluem métodos formais e probabilísticos em engenharia de sistemas, arquitetura e engenharia baseadas em modelos, sistemas resilientes de engenharia e exploração da convergência disciplinar e tecnológica para aprimorar a engenharia de sistemas.


Requisitos de sistemas, design e análise de trade-off.


Universidade de Maryland, Escritório de Educação de Engenharia Avançada.


Universidade de Maryland, Escritório de Educação de Engenharia Avançada.


Visão geral do curso.


Requisitos de sistemas, design e análise de trade-off.


Descrição do Curso.


Este curso baseia-se em material coberto pela ENSE621 / ENPM641, enfatizando os tópicos de engenharia de requisitos, design de nível de sistema e análise de trade-off.


Processos de engenharia de requisitos; Representação e organização de requisitos; Implementação e aplicações de rastreabilidade; Capacidades de requisitos comerciais; Software de engenharia; Design do nível do sistema; Matrizes de estrutura de design; Princípios de design modular; Métodos de design baseados em componentes e interfaces; Design e compensação multi-objetivos de otimização; Abordagens ao redesenho do sistema em resposta a mudanças nos requisitos, confiabilidade, análise de trade-off e design baseado em otimização.


Os alunos completarão um projeto focado no desenvolvimento de requisitos e sua rastreabilidade para o sistema de nível de projeto de um sistema de engenharia.


Objetivos de aprendizado.


Completa um projeto focado no desenvolvimento de requisitos e sua rastreabilidade para o sistema de nível de design de um sistema de engenharia.


Conexões de Framework.


Os materiais dentro deste curso se concentram nas Habilidades e Habilidades de Conhecimento (KSAs) identificadas nas Áreas de Especialidade listadas abaixo. Clique para visualizar os detalhes da área de especialidade dentro da Estrutura de força de trabalho da Cibersegurança Nacional interativa.

Комментарии